InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
スタンフォード大学がAI Index 2022年次報告書を公表
スタンフォード大学の人間中心人工知能研究所（HAI）は、2022年のAI Index年次報告書を発表した。このレポートでは、技術的成果の進歩、民間投資の急増、倫理的問題への関心の高まりなど、AIのトップトレンドが明らかになっている。
-
EleutherAIが200億パラメータAI言語モデルのGPT-NeoX-20Bをオープンソース化
EleutherAIの研究者はGPT-NeoX-20Bをオープンソース化した。これは、GPT-3に似た200億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは、公開されている825GBのテキストデータでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
Metaが会話型AIモデルプロジェクトCAIRaokeを発表
Meta AI Researchは最近、デジタルアシスタント向けのエンドツーエンドのディープラーニングモデルProject CAIRaokeを発表した。プロジェクトCAIRaokeは現在MetaのPortalデバイスで使われており、リマインダータスクについて評価すると、以前の会話モデルよりも優れている。
-
ワシントン大学がAIファインチューニングアルゴリズムのWISE-FTをオープンソース化
ワシントン大学（UW）、Google Brain、コロンビア大学の研究者チームは、ファインチューニングのための重み空間アンサンブル（WiSE-FT）をオープンソース化した。これは、分布シフト時のロバスト性を向上させるファインチューニングAIモデルのためのアルゴリズムである。いくつかのコンピュータービジョン（CV）ベンチマークでの実験では、WISE-FTの精度が最大6パーセントポイント向上したことが示されている。
-
アレン研究所が最新のEmbodied AIチャレンジを開始
アレン人工知能研究所（AI2）は、2022年版のAI2-THOR再配置チャレンジを発表した。このチャレンジでは、参加者に対して、仮想部屋でオブジェクトを移動させることができる自律エージェントを設計することが要求される。このチャレンジでは、新しいデータセットや、最新リリースのAI2-THORシミュレーションプラットフォームを使ったより高速なトレーニングなど、いくつかの改善がなされている。
-
ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上
Intel OpenVINOの最新リリースでは、よりクリーンなAPIが提供される。自然言語処理のサポートが拡張されており、新しいAUTOプラグインのおかげでパフォーマンスと移植性が改善している。InfoQは、詳細についてAI Intel OpenVINOのシニアディレクターMatthew Formica氏と話をした。
-
大学の研究者が機械学習のコンピューティングトレンドを調査
アバディーン大学、MIT、そして他のいくつかの機関の研究者チームが、機械学習（ML）モデル向けの過去のコンピューティング需要のデータセットをリリースした。このデータセットには、123の重要なモデルのトレーニングに必要な計算が含まれている。分析によると、2010年以降、トレンドが大幅に上昇している。
-
AlphaCode：ディープラーニングによる競争力のあるコード合成
AlphaCodeの研究で、目標指向のコード合成に関して有望な結果が示されており、ディープsequence-to-sequenceモデルが使われている。それは、以前のネットワークを拡張しており、CodeContestsという名前の新しいデータセットをリリースしている。これは、将来の研究ベンチマークに貢献するためである。
-
テルアビブ大学、長文NLPベンチマークSCROLLSをリリース
テルアビブ大学(Tel-Aviv University)、Meta AI、IBM Research、Allen Institute for AIの研究者らが、さまざまな分野から収集した長いテキスト列を処理対象とする自然言語処理(NLP)ベンチマーク用のタスクセットを、Standardized CompaRison Over Long Language Sequences(SCROLLS)としてリリースした。ベースラインのNLPモデルを対象とした実験結果からは、現行のモデルに改善の余地が多くあることが示唆されている。
-
WaymoがBlock-NeRF 3Dビュー合成ディープラーニングモデルをリリース
Waymoは、自動運転車によって収集された画像から再構築された大規模な3Dワールドビュー合成のためのBlock-NeRFと呼ばれる画期的なディープラーニングモデルをリリースした。NeRFには、ニューラルネットワークで表面と体積の表現をエンコードする機能がある。
-
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
Meta AIは最近、data2vecをオープンソース化した。画像、テキスト、音声音声データに関する自己監視型ディープラーニングのための統合フレームワークだ。一般的なベンチマークで評価すると、data2vecを使ってトレーニングされたモデルは、モダリティ固有の目的でトレーニングされた最先端のモデルと同等かそれ以上のパフォーマンスを達成している。
-
DeepMindが量子化学AIモデルのDM21をオープンソース化
Googleの子会社であるDeepMindの研究者が、DM21をオープンソース化した。これは、電子密度を化学相互作用エネルギーにマッピングするためのニューラルネットワークモデルである。これは量子力学的シミュレーションの重要なコンポーネントである。DM21は、いくつかのベンチマークで従来のモデルよりも優れている。PySCFシミュレーションフレームワークの拡張として利用できる。
-
アリババがAutoMLアルゴリズムのKNASをオープンソース化
アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索（KNAS）をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習（AutoML）アルゴリズムだ。KNASは、モデル品質の��ロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。
-
LambdaML: 深層ネットワークトレーニングにサーバレスを使うメリットとデメリット
「サーバレス機械学習トレーニングの謎を解くために」というタイトルの新しい研究は、サーバレスプラットフォームを活用して、ディープネットワークのトレーニングの実験的分析を提供することを目的としている。トレーニングに使われる FaaS は、学習アルゴリズムの分散性と集約ステップに課題がある。結果は、FaaS は (軽量モデルの場合に) より高速である可能性がありますが、IaaS よりも安価ではないことを示している。
-
継続的な深層学習の評価：画像分類のための新しいベンチマーク
継続的な学習は、ディープネットワークトレーニングの反復全体で知識を保持することを目的としている。「CLEARベンチマーク：実世界の画像に関する継続的な学習」というタイトルの新しいデータセットが最近公開された。この研究の目的は、継続的な学習モデルをより現実的な比較をするために、オブジェクトの自然な時間進化を伴う一貫した画像分類ベンチマークを確立することである。