InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
OpenAIが質問応答AIのWebGPTを発表
OpenAIはWebGPTを開発した。GPT-3に基づく長い形式の質問応答用のAIモデルである。WebGPTは、Web検索クエリを使用して、その応答のサポートするリファレンスを収集する。Redditの質問に対する回答について、人間の審査員が69％の確率で、最高投票の回答よりも好んだ。
-
Facebookが20億パラメータの多言語音声認識モデルXLS-Rをオープンソース化
Facebook AI Research（FAIR）はXLS-Rをオープンソース化した。クロスリンガル音声認識（SR）AIモデルだ。XSLRは、128言語の436K時間の音声音声でトレーニングされている。以前の最大モデルよりも1桁多く、いくつかのダウンストリームSRタスクと翻訳タスクで現在の最先端技術を上回っている。
-
MLCommons、最新のMLPerfトレーニングベンチマークの結果を発表
エンジニアリングコンソーシアムのMLCommonsは先頃、MLPerf Trainingベンチマークコンペティションの最新ラウンドの結果を発表した。14の組織から158を越えるAIトレーニングジョブのパフォーマンスメトリクスが提出され、最高値には前回ラウンドに比較して2.3倍の向上が確認されている。
-
DeepMindが天気予報AIである降水のDeep Generativeモデルをリリース
DeepMindはDeep Generative Models of Rainfall（DGMR）のデータセットとトレーニング済みモデルスナップショットをオープンソース化した。短期の降水量予測用のAIシステムだ。58人の専門気象学者が、他の既存の方法との比較で実施した評価で、DGMRはテストケースの89％で精度と有用性で1位にランクインした。
-
MITの研究者がディープラーニングの計算負荷を調査
MIT、延世大学、ブラジリア大学の研究者チームが新しいWebサイトComputer Progressを立ち上げた。1,000を超える深層学習研究論文の計算負荷を分析するものだ。このサイトのデータにより、計算負荷が予想よりも速く増加していることが示されている。アルゴリズムにはまだ改善の余地があることを示している。
-
Facebook、ディープラーニングモデルの初期化を高速にするGHN-2 AIをオープンソースとして公開
Facebook AI Research(FAIR)とゲルフ大学(University of Guelph)の共同チームは、ディープラーニング・ニューラルネットワークの初期パラメータを予測するGraph HyperNetworks(GHN-2)メタモデルの強化版をオープンソースとして公開した。GHN-2は単一CPU上で1秒未満で動作し、CIFAR-10データセット上において、追加的なトレーニングを必要とせず、最高77パーセントのtop-1精度でコンピュータビジョン(CV)ネットワークの値を予測することができる。
-
PyTorch 1.10がリリース - CUDA Graphs APIを追加、コンパイラを改善、Android NNAPIをサポート
Facebookが開発するオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.10のリリースを発表した。CUDA Graphs APIのインテグレーション、JITコンパイラのアップデートによるCPUパフォーマンスの向上に加え、Android Networks API(NNAPI)のベータサポートが含まれている。ドメイン固有ライブラリであるTorchVisionとTorchAudioの新バージョンもリリースされた。
-
QCon Plus MLパネルディスカッション - 実用化されたMLの次なるステップは何か？
先日のQCon Plusオンラインカンファレンスで、"ML in Production — What's Next?"と題されたパネルディスカッションが行われた。重要なポイントは次のとおりだ — エンジニアリングインフラストラクチャの貧弱さと学際的コミュニケーションの不足により、多くのMLプロジェクトが実運用環境で失敗している。モデルの説明性とエッジコンピューティングにおけるMLは、いずれもまだ完成の域に達していないが、重要なテクノロジである。
-
AMDがディープラーニングアクセラレーターInstinct MI200シリーズGPUを発表
AMDは最近のAccelerated Data Center Premiere Keynoteで、MI200アクセラレータシリーズのInstinct MI250xと、それよりもわずかにローエンドのInstinct MI250 GPUを発表した。
-
ゼロショットラーニングの意外な効果 - Roland Meertens氏の講演より
先日のQCon PlusオンラインカンファレンスでRoland Meertens氏は、"The Unreasonable Effectiveness of Zero Shot Learning"と題して、AIベースのアプリケーション開発について講演した。その中で氏は、ファンデーションモデル(foundation model)とゼロショットラーニング(zero shot learning)を使ってアプリケーションのプロトタイプを迅速にデプロイし、フィードバックを得ることにより、大規模なデータセットの収集やモデルのトレーニングを不要にした２つの例を紹介した。
-
MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より
先日開催されたQCon PlusオンラインカンファレンスでFrancesca Lazzeri博士は、マシンラーニングオペレーション(MLOpe)について、"What You Should Know before Deploying ML in Production"と題して講演し、MLOpsの可能性、オープンソースインテグレーション、マシンラーニングパイプライン、MLFlowプラットフォームという４つの重要なトピックを取り上げた。
-
BigScience Research Workshop、AI言語モデルのT0をリリース
BigScience Research Workshopは、ゼロショット・マルチタスク(zero-shot multitask)学習の研究を目的として特別にトレーニングされた自然言語処理(NLP)AIモデルのシリーズを、T0としてリリースした。T0はBIG-benchベンチマークの大半において6倍規模のモデルを上回り、他のNLPベンチマークの一部では16倍の規模を持つGPT-3のパフォーマンスをも凌駕する。
-
Baiduが110億のパラメータを持つチャットボットAIのPLATO-XLを発表
Baiduは先頃、対話生成(dialog generation)用AIモデルのPLATO-XLを発表した。英語と中国語のソーシャルメディア上の会話から収集した10億以上のサンプルを使ってトレーニングした結果、いくつかの会話ベンチマークで既存の商用チャットボットを凌ぐ、最高レベルのパフォーマンスを達成している。
-
IBMがハードウェアベースのベクタ-シンボリックAIアーキテクチャを開発
IBM Researchは先頃、ニューラルネットワークコントローラと相変化メモリ(phase-change memory)ハードウェアで構成された、メモリ拡張ニューラルネットワーク(memory-augmented neural network、MANN) AIシステムを発表した。高次元(high-dimensional、HD)バイナリベクタによるアナログインメモリ計算を実行するこのシステムは、Omniglotベンチマークで数ショットの分類タスクを学習することで、32bitソフトウェア実装に対してわずか2.7パーセント低い精度を達成する。
-
AmazonはGaudiアクセラレータを搭載したDL1インスタンスをリリース
Amazonは最近、Habana LabsのGaudiアクセラレーターを搭載したEC2 DL1インスタンスの一般向け提供を発表した。新しいインスタンスは、コンピュータービジョン、自然言語処理、自動運転車の認識、推奨エンジンなどのユースケース向けの深層学習モデルのトレーニングに対して、より優れた価格パフォーマンスを提供する。