InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
OpenAIが120億パラメータのコード生成AI Codexを発表
OpenAIは最近、Codexを発表した。自然言語の記述からプログラムコードを生成するAIモデルだ。CodexはGPT-3言語モデルをベースとしている。GPT-3の0％と比較して、OpenAIの公開されているHumanEvalテストデータセットの問題の70％以上を解決できる。
-
DeepMindがデータに依存しないディープラーニングモデルPerceiver IOをオープンソース化
DeepMindはPerceiver IOをオープンソース化した。さまざまな種類の入力と出力を処理できる汎用の深層学習モデルアーキテクチャだ。Perceiver IOは、トランスフォーマーの完全互換として機能する。ベースラインモデルと同等あるいはそれ以上のパフォーマンスを実現しつつも、ドメイン固有の前提はない。
-
MITが深層学習推論のためのエネルギー効率の高い光加速器を紹介
MITの量子フォトニクス研究所の研究者は、デジタル光ニューラルネットワーク（DONN）を開発した。光を使ってアクティブ化データと重みデータを送信する深層学習推論アクセラレータのプロトタイプだ。数パーセントの精度を犠牲にすることで、システムは従来の電子機器に比べて最大1000倍の伝送エネルギーのメリットを得られる。
-
BaiduのERNIE 3.0 AIモデルが、言語理解ベンチマークで人間のパフォーマンスを超えた
Baiduの研究チームは、Enhanced Language RepresentatioN with Informative Entities（ERNIE）の3.0バージョンに関する論文を発表した。これは自然言語処理（NLP）の深層学習モデルだ。モデルには100億のパラメーターが含まれており、SuperGLUEベンチマークで新しい最先端のスコアを達成し、人間のベースラインスコアを上回った。
-
Googleが8億パラメータ視覚・言語AIモデルのALIGNを発表
Google Researchは、大規模な画像とノイズの多いテキストの埋め込み（ALIGN）の開発を発表した。これは、800Mパラメータで事前トレーニング済みディープラーニングモデルで、18億の画像・テキストのペアのノイズの多いデータセットでトレーニングされている。このモデルは、いくつかのダウンストリームタスクで使用でき、画像・テキスト検索のいくつかのベンチマークで最先端の精度を実現している。
-
EleutherAIが60億パラメータGPT-3のクローンであるGPT-Jをオープンソース化
EleutherAIの研究者チームは、GPT-Jをオープンソース化した。これはGPT-3に基づく60億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは800GBのオープンソーステキストデータセットでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
GoogleがTensorFlow LiteをAndroidに統合、さらにAutomatic Acceleratorを追加
Googleは、Android ML Platformという名称で、新たなモバイルMLスタックを発表した。TensorFlow Liteを中核におくことにより、デバイス上でマシンラーニングを使用する際に生じる、さまざまな問題の解決を目指す。
-
Googleがトークンフリー言語モデルByT5をオープンソース化
Google Researchは、ByT5をオープンソース化している。これは抽象的なトークンの代わりに未加工のバイトで動作する自然言語処理（NLP）AIモデルである。ベースラインモデルと比較して、ByT5はいくつかのベンチマークタスクでより正確であり、スペルミスやノイズに対してより堅牢である。
-
InterCon 2021のパネルディスカッション：AIはエンドユーザにとって本当に有益か
ラスベガスで開催された直近のInterConでは、「AIはエンドユーザにとって本当に有益か」というタイトルのパネルディスカッションが特集された。いくつかの重要なポイントは、AIが生産性の向上と問題解決の支援による利益をもたらすこと、AIのガバナンスと倫理の必要性、およびトレーニングデータセットのバイアスに対する懸念があることであった。
-
InterCon 2021 基調講演: ビジネスにおけるAIアプリケーション
Las Vegasで最近開催されたInterConのオープニング基調講演では、ビジネスにおけるAIアプリケーションに焦���を当てた2つの講演が行われた。重要なポイントは次のとおりだ: ビジネス目標を特定することが重要であり、良いデータへのアクセスが大きな課題であり、AIはエンドカスタマに価値を提供する大きな可能性を秘めている。
-
Googleが20億パラメータのAIビジョンモデルをトレーニング
Google Brainの研究者は、20億個のパラメータを含む深層学習コンピュータビジョン（CV）モデルを発表した。このモデルは30億枚の画像でトレーニングされ、ImageNetで90.45％のトップの精度を達成し、新たに最先端の記録を打ち立てた。
-
FacebookがTransformer AIをスケールアップするExpire-Spanをオープンソース公開
Facebook AI Research(FAIR)は、入力中の記憶すべきアイテムを学習することによって、AIのメモリおよび計算能力に関する要件を低減するディープラーニング技術のExpire-Spanを、オープンソースとして公開した。FAIRによれば、Expire-Spanを併用したTransformerは、数万アイテムのシーケンスにまでスケールアップ可能であると同時に、パフォーマンス面においても従来のモデルよりも向上している。
-
AI会議の要約：ICLR 2021でのGoogle、Microsoft、Facebook、その他
最近の表現学習国際学会（ICLR）で、Google、Microsoft、IBM、Facebook、Amazonなどのいくつかのテクノロジー企業の研究チームが、ディープラーニングに関連するさまざまなAIトピックに関して、合計860件のうち250件近くの論文を発表した。
-
CMUがAIモデルの一般化を保証するアルゴリズムを開発
カーネギーメロン大学（CMU）の近似的に正しいマシンインテリジェンス（ACMI）ラボの研究者が、ランダム割り当て、訓練、追跡（RATT）に関する論文を発表した。ノイズの多いトレーニングデータを使って、深層学習モデルのTrueエラーのリスクの上限を示すアルゴリズムに関しての論文である。RATTを使って、モデルの開発者は、モデルが新しい入力データにどの程度一般化されるかを判断できる。ta.
-
MicrosoftのZeRO-Infinity Libraryで32兆個のパラメーターのAIモデルをトレーニング
Microsoftは最近、ZeRO-Infinityをオープンソース化した。これは、オープンソースのDeepSpeed AIトレーニングライブラリへの追加である。このライブラリは、非常に大規模なディープラーニングモデルをトレーニングするためのメモリ使用を最適化するものである。MicrosoftはZeRO-Infinityを使って、32のGPUのクラスター上で32兆のパラメーターを持つモデルをトレーニングし、1つのGPUで1兆のパラメーターモデルの微調整のデモを実施した。