InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
OpenAIが1,750億のパラメーターを持つGPT-3 AI言語モデルを発表
OpenAIの研究者チームは最近、1,750億のパラメーターを備えた自然言語のディープラーニングモデルであるGPT-3を説明する論文を発表した。これは、前のバージョンのGPT-2の100倍である。モデルは約5兆語で事前トレーニングされており、微調整することなくいくつかのNLPベンチマークで最先端のパフォーマンスを実現する。
-
MicrosoftのZeRO-2がAIトレーニングを10倍高速に
Microsoftは、クラスタサイズに対してスーパーリニアにスケールする、分散ディープラーニング最適化アルゴリズムZero Redundancy Optimizerのバージョン2(ZeRO-2)をオープンソースとして公開した。同社はZeRO-2を使用して、1,000億パラメータの自然言語処理(NLP)モデルを、従来の分散ラーニング技術の10倍の速度でトレーニングすることに成功している。
-
Facebook、プログラム言語間のコード変換を行うTransCode AIを発表
Facebook AI Researchは、教師なし(unsupervised)ディープラーニングを使用して、プログラミング言語のコードを別のプログラミング言語に変換するシステムであるTransCoderを発表した。TransCoderは280万以上のオープンソースプロジェクトを使用してトレーニングされており、ルールベースの手法を用いた既存のコード変換システムを能力的に凌駕する。
-
GitHubがMLベースの“Good First Issues”レコメンデーションをリリース
GitHubは、"good first issues feature"の最新バージョンの提供を開始した。これは、マシンラーニング(ML)モデルが"easy"と特定したイシューと、プロジェクトメンテナが選択して"easy"とラベル付けしたイシューのリストとを組み合わせたものだ。オープンソースのコントリビュータならば、経験の深浅を問わずに、この機能を使ってプロジェクト内の簡単なイシューを見つけ、対処することができる。
-
PyTorch 1.4リリースがJavaバインディングと分散トレーニングをサポート
Facebookがオープンソースとして公開するディープラーニングフレームワークのPyTorchが、バージョン1.4のリリースを発表した。Python 2をサポートする最終バージョンになる予定の今回のバージョンでは、分散トレーニングとモバイル推論が改善され、Javaサポートが導入されている。
-
SpotifyがKubeflow MLパイプライン用のTerraformモジュールをオープンソースとして公開
Spotifyは、マシンラーニングパイプラインソフトウェアのKubeflowをGoogle Kubernetes Engine(GKE)上で実行する、自社製のTerraformモジュールをオープンソースとして公開した。社内MLプラットフォームをKubeflowに切り替えることにより、運用投入までの時間を短縮すると同時に、従来のプラットフォームに比較して7倍の試験を実施できるようになった。
-
Facebook Researchが音源分離用のAIシステムを開発
Facebook Researchは先頃、ディープラーニングを採用した音源分離(music source separation)システムのDemucsをリリースした。Demucsは、人による評価を基準とした分離後の音楽の品質において、これまでに報告されているものを上回っている。
-
Googleが効率的ディープラーニングモデルのReformerをオープンソース化
Google AI研究者チームは先頃、Transformerディープラーニングモデルの効率改善バージョンであるReformerをオープンソースとして公開した。アテンション(attention)の計算にハッシュ技術を使用し、Reversible Residual Layer(可逆的残差レイヤ)を採用することにより、Reformerは、100万ワードのテキストシーケンスを16GBのメモリと単一のGPUアクセラレータのみで処理することが可能である。
-
説明可能なAIに関する調査結果を研究者チームが発表
IBM WatsonとArizona State Universityの研究者たちが、Explainable AI Planning(XAIP)の開発に関する調査結果を公開した。67の論文を対象に、この分野における傾向を図表として表したものだ。
-
IoTのためのディープラーニングモデルサイズを減らす技術を研究員たちが開発
Arm LimitedとPrinceton Universityの研究員たちが、わずか2KBのRAMで、IoT(internet-of-things)ハードウェアシステムのためのディープラーニングコンピュータビジョンモデルを生成する技術を開発した。ベイズ最適化とネットワークプルーニングを使って、このチームは最新の精度を保ちながら、画像認識モデルのサイズを減らすことができる。
-
Google、TensorFlow Enterpriseのベータを提供
Googleは最近のブログ記事で、エンタープライズグレードのサポートおよびマネージドサービスを含んだクラウドベースのTensorFlow機械学習サービス、TensorFlow Enterpriseを発表した。
-
Amazonがマシンラーニング用IDEのSageMaker Studioをリリース
先日のre:InventカンファレンスでAmazon Web Services(AWS)は、Amazon SageMaker Stduioを発表した。コード編集、トレーニングジョブのトラッキングとチューニング、デバッグをすべてひとつのWebベースUIに搭載した、マシンラーニング(ML)のための統合型開発環境(IDE)だ。
-
Apple、エッジにフォーカスしたAIスタートアップXnor.aiを買収
Appleは、エッジデバイス上で実行するAIモデルを構築するスタートアップXnor.aiをおよそ2億ドルで買収した。
-
Deep Java Library - Java開発者のための新たなディープラーニングツールキット
Amazonはディープラーニングモデルのトレーニング、デプロイ、推論生成を簡単にするオープンソースライブラリのDeep Java Library(DJL)をリリースした。DJLフレームワークは非依存性を備えており、既存のディープラーニングフレームワーク上でJava Native Access(JNA)を使用することで、一般的に使用されているディープラーニング機能を抽象化する。現時点では、Apache MXNetとTensorFlow用の実装が提供されている。
-
ディープラーニングフレームワークのSINGAがApacheトップレベルプロジェクトに昇格
Apache Software Foundation(ASF)は先頃、分散ディープラーニングフレームワークのSINGAが、プロジェクトの成熟性と安定性の向上によってトップレベルプロジェクト(TLP)に到達したと発表した。SSINGAは銀行や医療など、いくつかの分野の企業で既に採用されている。