InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
LAION、50億の画像-テキストペア・データセットLAION-5Bを公開
Large-scale Artificial Intelligence Open Network(LAION)は、50億を越える画像とテキストのペアを収めたAI用トレーニングデータセット"LAION-5B"をリリースした。LAION-5Bには、インターネットから収集した画像とキャプションが、前作であるLAION-400Mの14倍という規模で含まれており、無償で入手可能な最大の画像-テキストデータセットとなっている。
-
DeepMindが核融合研究装置のAIコントローラをトレーニング
Google子会社のDeepMindとEPFL(スイス連邦工科大学ローザンヌ校) Swiss Plasma Centerの研究者らが、核融合研究で使用するトカマク(tokamak)デバイスの制御アルゴリズムを生成する深層強化学習(RL)AIを開発した。このシステムは、シミュレータとのインタラクションを通じて制御ポリシを学習することで、実際のデバイスの制御への適用において、新たなプラズマ配位(plasma configuration)の実現を可能にしている。
-
本番環境でのディープネットワークのサービス提供：生産性と効率のトレードオフのバランス
最近公開された取り組みは、ディープニューラルネットワークをサービス提供するための、モダリティの選択肢の1つを提供するものである。組み込みのCPythonインタープリタを使うことで、本番処理でeagerモードモデルコードを直接利用できる。目標は、モデルを研究段階からエンドユーザに提供するまでのエンジニアリングの労力を削減し、将来の数値Pythonライブラリを移行するための概念実証（PoC）プラットフォームを作成することである。
-
NVIDIAが次世代AIハードウェアH100 GPUとGrace CPUスーパーチップを発表
最近のGTC会議で、NVIDIAは、AIコンピューティング用の次世代プロセッサを発表した。H100 GPUとGrace CPUスーパーチップである。H100はNVIDIAのHopperアーキテクチャをベースとしており、そこにはAIモデルのトレーニングを高速化するためのTransformer Engineが含まれている。Grace CPUスーパーチップは144個のArmコアを備えており、SPECrate 2017_int_baseベンチマークでNVIDIAの現在のデュアルCPU製品の性能を上回っている。
-
Googleが5400億パラメータのAI言語モデルPaLMをトレーニング
Google Researchは最近、Pathways Language Model（PaLM）を発表した。これは、5400億パラメータのAI自然言語処理（NLP）モデルで、BIGベンチベンチマークでは平均的な人間のパフォーマンスを超えている。PaLMは、多くの評価タスクで他の最先端のシステムよりも優れており、論理的推論やジョークの説明などのタスクで強力な結果を示している。
-
Google、AIによるGoogle Docsの要約生成機能を発表
Googleは、同社のDocsアプリに、ドキュメントのコンテンツの要約を自動生成する新機能を発表した。要約の生成には、Transformerアーキテクチャに基づいた自然言語処理(NLP)AIモデルを使用している。
-
3世代のtensorプロセッシングユニットから得られた10の教訓
GoogleのTPUグループが発行した最近のレポートでは、3世代のテンソルプロセッシングユニットの開発から得られた10のポイントが挙げられている。著者はまた、彼らの以前の経験が将来のtensorプロセッシングユニットの開発にどのように影響するかについても議論している。
-
スタンフォード大学がAI Index 2022年次報告書を公表
スタンフォード大学の人間中心人工知能研究所（HAI）は、2022年のAI Index年次報告書を発表した。このレポートでは、技術的成果の進歩、民間投資の急増、倫理的問題への関心の高まりなど、AIのトップトレンドが明らかになっている。
-
EleutherAIが200億パラメータAI言語モデルのGPT-NeoX-20Bをオープンソース化
EleutherAIの研究者はGPT-NeoX-20Bをオープンソース化した。これは、GPT-3に似た200億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは、公開されている825GBのテキストデータでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
Metaが会話型AIモデルプロジェクトCAIRaokeを発表
Meta AI Researchは最近、デジタルアシ��タント向けのエンドツーエンドのディープラーニングモデルProject CAIRaokeを発表した。プロジェクトCAIRaokeは現在MetaのPortalデバイスで使われており、リマインダータスクについて評価すると、以前の会話モデルよりも優れている。
-
ワシントン大学がAIファインチューニングアルゴリズムのWISE-FTをオープンソース化
ワシントン大学（UW）、Google Brain、コロンビア大学の研究者チームは、ファインチューニングのための重み空間アンサンブル（WiSE-FT）をオープンソース化した。これは、分布シフト時のロバスト性を向上させるファインチューニングAIモデルのためのアルゴリズムである。いくつかのコンピュータービジョン（CV）ベンチマークでの実験では、WISE-FTの精度が最大6パーセントポイント向上したことが示されている。
-
アレン研究所が最新のEmbodied AIチャレンジを開始
アレン人工知能研究所（AI2）は、2022年版のAI2-THOR再配置チャレンジを発表した。このチャレンジでは、参加者に対して、仮想部屋でオブジェクトを移動させることができる自律エージェントを設計することが要求される。このチャレンジでは、新しいデータセットや、最新リリースのAI2-THORシミュレーションプラットフォームを使ったより高速なトレーニングなど、いくつかの改善がなされている。
-
ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上
Intel OpenVINOの最新リリースでは、よりクリーンなAPIが提供される。自然言語処理のサポートが拡張されており、新しいAUTOプラ���インのおかげでパフォーマンスと移植性が改善している。InfoQは、詳細についてAI Intel OpenVINOのシニアディレクターMatthew Formica氏と話をした。
-
大学の研究者が機械学習のコンピューティングトレンドを調査
アバディーン大学、MIT、そして他のいくつかの機関の研究者チームが、機械学習（ML）モデル向けの過去のコンピューティング需要のデータセットをリリースした。このデータセットには、123の重要なモデルのトレーニングに必要な計算が含まれている。分析によると、2010年以降、トレンドが大幅に上昇している。
-
AlphaCode：ディープラーニングによる競争力のあるコード合成
AlphaCodeの研究で、目標指向のコード合成に関して有望な結果が示されており、ディープsequence-to-sequenceモデルが使われている。それは、以前のネットワークを拡張しており、CodeContestsという名前の新しいデータセットをリリースしている。これは、将来の研究ベンチマークに貢献するためである。