InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
テルアビブ大学、長文NLPベンチマークSCROLLSをリリース
テルアビブ大学(Tel-Aviv University)、Meta AI、IBM Research、Allen Institute for AIの研究者らが、さまざまな分野から収集した長いテキスト列を処理対象とする自然言語処理(NLP)ベンチマーク用のタスクセットを、Standardized CompaRison Over Long Language Sequences(SCROLLS)としてリリースした。ベースラインのNLPモデルを対象とした実験結果からは、現行のモデルに改善の余地が多くあることが示唆されている。
-
WaymoがBlock-NeRF 3Dビュー合成ディープラーニングモデルをリリース
Waymoは、自動運転車によって収集された画像から再構築された大規模な3Dワールドビュー合成のためのBlock-NeRFと呼ばれる画期的なディープラーニングモデルをリリースした。NeRFには、ニューラルネットワークで表面と体積の表現をエンコードする機能がある。
-
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
Meta AIは最近、data2vecをオープンソース化した。画像、テキスト、音声音声データに関する自己監視型ディープラーニングのための統合フレームワークだ。一般的なベンチマークで評価すると、data2vecを使ってトレーニングされたモデルは、モダリティ固有の目的でトレーニングされた最先端のモデルと同等かそれ以上のパフォーマンスを達成している。
-
DeepMindが量子化学AIモデルのDM21をオープンソース化
Googleの子会社であるDeepMindの研究者が、DM21をオープンソース化した。これは、電子密度を化学相互作用エネルギーにマッピングするためのニューラルネットワークモデルである。これは量子力学的シミュレーションの重要なコンポーネントである。DM21は、いくつかのベンチマークで従来のモデルよりも優れている。PySCFシミュレーションフレームワークの拡張として利用できる。
-
アリババがAutoMLアルゴリズムのKNASをオープンソース化
アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索（KNAS）をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習（AutoML）アルゴリズムだ。KNASは、モデル品質のプロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。
-
LambdaML: 深層ネットワークトレーニングにサーバレスを使うメリットとデメリット
「サーバレス機械学習トレーニングの謎を解くために」というタイトルの新しい研究は、サーバレスプラットフォームを活用して、ディープネットワークのトレーニングの実験的分析を提供することを目的としている。トレーニングに使われる FaaS は、学習アルゴリズムの分散性と集約ステップに課題がある。結果は、FaaS は (軽量モデルの場合に) より高速である可能性がありますが、IaaS よりも安価ではないことを示している。
-
継続的な深層学習の評価：画像分類のための新しいベンチマーク
継続的な学習は、ディープネットワークトレーニングの反復全体で知識を保持することを目的としている。「CLEARベンチマーク：実世界の画像に関する継続的な学習」というタイトルの新しいデータセットが最近公開された。この研究の目的は、継続的な学習モデルをより現実的な比較をするために、オブジェクトの自然な時間進化を伴う一貫した画像分類ベンチマークを確立することである。
-
OpenAIが質問応答AIのWebGPTを発表
OpenAIはWebGPTを開発した。GPT-3に基づく長い形式の質問応答用のAIモデルである。WebGPTは、Web検索クエリを使用して、その応答のサポートするリファレンスを収集する。Redditの質問に対する回答について、人間の審査員が69％の確率で、最高投票の回答よりも好んだ。
-
Facebookが20億パラメータの多言語音声認識モデルXLS-Rをオープンソース化
Facebook AI Research（FAIR）はXLS-Rをオープンソース化した。クロスリンガル音声認識（SR）AIモデルだ。XSLRは、128言語の436K時間の音声音声でトレーニングされている。以前の最大モデルよりも1桁多く、いくつかのダウンストリームSRタスクと翻訳タスクで現在の最先端技術を上回っている。
-
MLCommons、最新のMLPerfトレーニングベンチマークの結果を発表
エンジニアリングコンソーシアムのMLCommonsは先頃、MLPerf Trainingベンチマークコンペティションの最新ラウンドの結果を発表した。14の組織から158を越えるAIトレーニングジョブのパフォーマンスメトリクスが提出され、最高値には前回ラウンドに比較して2.3倍の向上が確認されている。
-
DeepMindが天気予報AIである降水のDeep Generativeモデルをリリース
DeepMindはDeep Generative Models of Rainfall（DGMR）のデータセットとトレーニング済みモデルスナップショットをオープンソース化した。短期の降水量予測用のAIシステムだ。58人の専門気象学者が、他の既存の方法との比較で実施した評価で、DGMRはテストケースの89％で精度と有用性で1位にランクインした。
-
MITの研究者がディープラーニングの計算負荷を調査
MIT、延世大学、ブラジリア大学の研究者チームが新しいWebサイトComputer Progressを立ち上げた。1,000を超える深層学習研究論文の計算負荷を分析するものだ。このサイトのデータにより、計算負荷が予想よりも速く増加していることが示されている。アルゴリズムにはまだ改善の余地があることを示している。
-
Facebook、ディープラーニングモデルの初期化を高速にするGHN-2 AIをオープンソースとして公開
Facebook AI Research(FAIR)とゲルフ大学(University of Guelph)の共同チームは、ディープラーニング・ニューラルネット���ークの初期パラメータを予測するGraph HyperNetworks(GHN-2)メタモデルの強化版をオープンソースとして公開した。GHN-2は単一CPU上で1秒未満で動作し、CIFAR-10データセット上において、追加的なトレーニングを必要とせず、最高77パーセントのtop-1精度でコンピュータビジョン(CV)ネットワークの値を予測することができる。
-
PyTorch 1.10がリリース - CUDA Graphs APIを追加、コンパイラを改善、Android NNAPIをサポート
Facebookが開発するオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.10のリリースを発表した。CUDA Graphs APIのインテグレーション、JITコンパイラのアップデートによるCPUパフォーマンスの向上に加え、Android Networks API(NNAPI)のベータサポートが含まれている。ドメイン固有ライブラリであるTorchVisionとTorchAudioの新バージョンもリリースされた。
-
QCon Plus MLパネルディスカッション - 実用化されたMLの次なるステップは何か？
先日のQCon Plusオンラインカンファレンスで、"ML in Production — What's Next?"と題されたパネルディスカッションが行われた。重要なポイントは次のとおりだ — エンジニアリングインフラストラクチャの貧弱さと学際的コミュニケーションの不足により、多くのMLプロジェクトが実運用環境で失敗している。モデルの説明性とエッジコンピューティングにおけるMLは、いずれもまだ完成の域に達していないが、重要なテクノロジである。