InfoQ ホームページ Neural-Networks に関するすべてのコンテンツ
-
Google DeepMindのNFNetがディープラーニングを効率化
Amazon Redshiftのユーザは、クロスデータベースクエリを実行し、Redshiftクラスタ間でデータを共有できるようになった。これは、AWSがこれらの拡張機能を一般ユーザ向けにリリースしたことによる。
-
PyTorch 1.8がリリース - 分散トレーニングを強化、AMD ROCmをサポート
Facebookの開発したオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.8のリリースを発表した。APIがアップデートされ、分散トレーニングが改善された他、AMDのGPUアクセラレータ用のROCmプラットフォームのサポートが追加されている。ドメイン固有ライブラリであるTorchVision、TorchAudio、TorchTextの新バージョンも同時にリリースされた。
-
GoogleがAutoMLアルゴリズムのModel Searchのソースを公開
Google Researchの研究チームが、ディープラーニングモデル用に設計された自動マシンラーニング(AutoML)プラットフォームのModel Searchを、オープンソースとして公開した。試験ではシステムの作り出したモデルが、人が設計した最高のモデルを、より少ないトレーニング回数とモデルパラメータで能力的に上回る結果が示されている。
-
Microsoft SatinオーディオコーデックはAIを使用してSkype Silkよりも優れたパフォーマンスを得た
MicrosoftはSatinを発表した。これは、超低帯域幅と高度に制約されたネットワーク条件でSkypeのSilkコーデックよりも優れたパフォーマンスを得るためのAI技術を活用した新しいオーディオコーデックである。
-
Googleは兆パラメータのAI言語モデルSwitch Transformerをオープンソース化
Google Brainの研究者は、自然言語処理 (NLP) AIモデルであるSwitch Transformerをオープンソース化した。このモデルは、最大1.6兆のパラメータにスケールアップし、T5 NLPモデルと比較して最大7倍のトレーニング時間を改善し、同等の精度を実現する。
-
OpenAIが画像生成用のGPT-3モデルを発表
OpenAIは、GPT-3に基づいて12BパラメーターAIモデルをトレーニングした。GPT-3では、テキストの説明から画像を生成することができる。説明では、オブジェクトの位置や画像の遠近法など、多くの独立した属性を指定できる。そして、現実の世界には存在しないオブジェクトの組み合わせを合成することもできる。
-
Facebookが多言語音声認識ディープラーニングモデルをオープンソース化
Facebook AI Research（FAIR）はクロスリンガル音声認識（XSLR）、多言語音声認識AIモデルをオープンソース化した。XSLRは53の言語でトレーニングされており、一般的なベンチマークで評価すると、既存のシステムよりも優れている。
-
TensorFlow 2.4がリリース、CUDA 11のサポートとAPIアップデート
TensorFlowプロジェクトは、同ディープラーニングフレームワークのバージョン2.4.0リリースを発表した。CUDA 11とNVIDIAのAmpere GPUアーキテクチャのサポートに加えて、分散トレーニングのための新たなストラテジとプロファイリングツールを備えている。その他のAPIのアップデートには、Kerasでの混合精度演算(mixed-precision)とNumPyフロントエンドが含まれる。
-
GoogleとMicrosoftのAIモデル、言語理解ベンチマークにおいて人間の能力を凌駕
GoogleとMicrosoft、それぞれの研究チームが先頃、SuperGLUEベンチマークで人の基準点より高いスコアを持つ自然言語処理(NLP)AIモデルを開発した。SuperGLUEは、質問応答(question answering)や読解など、いくつかの言語理解(NLU)タスクにおけるモデルのスコアを測定するものだ。
-
DeepMindのAlphaFold2 AIが50年来の生物学の課題を解決
タンパク質構造予測センターはAlphaFold2がタンパク質構造予測の課題を解決したことを発表した。AlphaFold2はDeepMindによって開発されたAIシステムである。AlphaFold2は、グローバル距離テスト（GDT）メトリックで92.4の中央値スコアを達成した。これは、従来の方法との競合と見なされるしきい値を上回っている。
-
Caltechが偏微分方程式を解くAIをオープンソースとして公開
CaltechのDOLCITグループの研究者たちが、偏微分方程式(partial differential equations、PDE)を解くディープラーニングメソッドのFouries Neural Operator(FNO)をオープンソースとして公開した。FNOは既存の他のディープラーニングテクニックを性能面で凌駕しており、従来のソルバよりも3桁高速に処理することができる。
-
UberのオープンソースAI抽象化レイヤ、Neuropod
UberオープンソースのNeuropodは、機械学習フレームワークの抽象化レイヤであり、研究者は統合の労力を削減しながら、選択したフレームワークでモデルを構築できるため、同じプロダクションシステムで異なるフレームワークに実装されたモデルを交換できる。Neuropodは現在、TensorFlow、PyTorch、Keras、TorchScriptなどのいくつかのフレームワークをサポートしている。
-
OpenAIはニューラル言語モデルのスケーリング法則を近似する
人工知能会社OpenAIは、固定のコンピューティングバジェットの最適な割り当てを決定するため、クロスエントロピー損失を使用して言語モデルの経験的スケーリング法則を研究している。
-
Googleが高速アテンションモジュールのPerformerをオープンソース化
Googleは、入力シーケンス長に対して線形スケールするTransformerディープラーニングアーキテクチャのPerformerをオープンソースとして公開した。この特徴によってPerformerは、画素推定(pixel-prediction)やタンパク質配列のモデリングといった、長いシーケンスを必要とするタスクに使用することができる。
-
NVIDIAのAIがビデオストリーミングの帯域幅を10分の1に削減
GPUマニュファクチャのNVIDIAが、AIを活用したビデオ会議サービスMaxineプラットフォームを発表した。通信に必要な帯域幅を1桁削減可能なテクノロジがこれには含まれている。データ処理の大半をクラウドに移行することで、エンドユーザは、特別なハードウェアを必要とせずに圧縮のメリットを享受することが可能になる。