InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
Facebook、ディープラーニングモデルの初期化を高速にするGHN-2 AIをオープンソースとして公開
Facebook AI Research(FAIR)とゲルフ大学(University of Guelph)の共同チームは、ディープラーニング・ニューラルネットワークの初期パラメータを予測するGraph HyperNetworks(GHN-2)メタモデルの強化版をオープンソースとして公開した。GHN-2は単一CPU上で1秒未満で動作し、CIFAR-10データセット上において、追加的なトレーニングを必要とせず、最高77パーセントのtop-1精度でコンピュータビジョン(CV)ネットワークの値を予測することができる。
-
PyTorch 1.10がリリース - CUDA Graphs APIを追加、コンパイラを改善、Android NNAPIをサポート
Facebookが開発するオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.10のリリースを発表した。CUDA Graphs APIのインテグレーション、JITコンパイラのアップデートによるCPUパフォーマンスの向上に加え、Android Networks API(NNAPI)のベータサポートが含まれている。ドメイン固有ライブラリであるTorchVisionとTorchAudioの新バージョンもリリースされた。
-
QCon Plus MLパネルディスカッション - 実用化されたMLの次なるステップは何か？
先日のQCon Plusオンラインカンファレンスで、"ML in Production — What's Next?"と題されたパネルディスカッションが行われた。重要なポイントは次のとおりだ — エンジニアリングインフラストラクチャの貧弱さと学際的コミュニケーションの不足により、多くのMLプロジェクトが実運用環境で失敗している。モデルの説明性とエッジコンピューティングにおけるMLは、いずれもまだ完成の域に達していないが、重要なテクノロジである。
-
AMDがディープラーニングアクセラレーターInstinct MI200シリーズGPUを発表
AMDは最近のAccelerated Data Center Premiere Keynoteで、MI200アクセラレータシリーズのInstinct MI250xと、それよりもわずかにローエンドのInstinct MI250 GPUを発表した。
-
ゼロショットラーニングの意外な効果 - Roland Meertens氏の講演より
先日のQCon PlusオンラインカンファレンスでRoland Meertens氏は、"The Unreasonable Effectiveness of Zero Shot Learning"と題して、AIベースのアプリケーション開発について講演した。その中で氏は、ファンデーションモデル(foundation model)とゼロショットラーニング(zero shot learning)を使ってアプリケーションのプロトタイプを迅速にデプロイし、フィードバックを得ることにより、大規模なデータセットの収集やモデルのトレーニングを不要にした２つの例を紹介した。
-
MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より
先日開催されたQCon PlusオンラインカンファレンスでFrancesca Lazzeri博士は、マシンラーニングオペレーション(MLOpe)について、"What You Should Know before Deploying ML in Production"と題して講演し、MLOpsの可能性、オープンソースインテグレーション、マシンラーニングパイプライン、MLFlowプラットフォームという４つの重要なトピックを取り上げた。
-
BigScience Research Workshop、AI言語モデルのT0をリリース
BigScience Research Workshopは、ゼロショット・マルチタスク(zero-shot multitask)学習の研究を目的として特別にトレーニングされた自然言語処理(NLP)AIモデルのシリーズを、T0としてリリースした。T0はBIG-benchベンチマークの大半において6倍規模のモデルを上回り、他のNLPベンチマークの一部では16倍の規模を持つGPT-3のパフォーマンスをも凌駕する。
-
Baiduが110億のパラメータを持つチャットボットAIのPLATO-XLを発表
Baiduは先頃、対話生成(dialog generation)用AIモデルのPLATO-XLを発表した。英語と中国語のソーシャルメディア上の会話から収集した10億以上のサンプルを使ってトレーニングした結果、いくつかの会話ベンチマークで既存の商用チャットボットを凌ぐ、最高レベルのパフォーマンスを達成している。
-
IBMがハードウェアベースのベクタ-シンボリックAIアーキテクチャを開発
IBM Researchは先頃、ニューラルネットワークコントローラと相変化メモリ(phase-change memory)ハードウェアで構成された、メモリ拡張ニューラルネットワーク(memory-augmented neural network、MANN) AIシステムを発表した。高次元(high-dimensional、HD)バイナリベクタによるアナログインメモリ計算を実行するこのシステムは、Omniglotベンチマークで数ショットの分類タスクを学習することで、32bitソフトウェア実装に対してわずか2.7パーセント低い精度を達成する。
-
AmazonはGaudiアクセラレータを搭載したDL1インスタンスをリリース
Amazonは最近、Habana LabsのGaudiアクセラレーターを搭載したEC2 DL1インスタンスの一般向け提供を発表した。新しいインスタンスは、コンピュータービジョン、自然言語処理、自動運転車の認識、推奨エンジンなどのユースケース向けの深層学習モデルのトレーニングに対して、より優れた価格パフォーマンスを提供する。
-
トレーニング済モデル上で高速クエリ検索インデクスをサポートするTensorFlow Similarity
Francois Chollet氏とそのチームは先頃、TensorFlow SimilarityというTensorFlow用Pythonライブラリをリリースした。類似性学習(similarity learning)とは、画像内の似通った衣類から顔写真を使用した人物識別に至るまで、類似アイテムの検出を行うプロセスである。ディープラーニングモデルでは、イメージ間の類似性学習の正確性と効率を向上させるために、対照学習(contrastive learning)と呼ばれる手法が使用される。
-
少ないパラメータでTransformerの性能を凌駕するGoogleのGated Multi-Layer Perceptron
Google Brain所属の研究者らが、基本的なMLP(multi-layer perceptron、多層パーセプトロン)のみを含むディープラーニングモデルをGated Multi-Layer Perceptron(gMLP)として発表した。Transformerモデルよりも少ないパラメータを使用して、自然言語処理(NLP)タスクではパフォーマンスで凌駕し、コンピュータビジョン(CV)タスクでも同等の精度を実現している。
-
Google Techに関するプロジェクトのキュレーションコレクションであるGoogleのDev Libraryとは
Googleは、Googleテクノロジーに関連するオープンソースプロジェクトから厳選したコレクションを作成することを目的とした新しい構想を発表した。GoogleのDev Libraryには、コードリポジトリだけでなく、さまざまなインターネットソースから収集された記事、ツール、チュートリアルも含まれる。
-
MItの研究チームがAMM(Approximate Matrix Multiplication)アルゴリズムのMADDNESSをオープンソースとして公開
MITのComputer Science & Artificial Intelligence Lab(CSAIL)に所属する研究者たちが、AMM(Approximate Matrix Multiplication)を用いてマシンラーニングをスピードアップするアルゴリズムのMultiply-ADDitioN-lESS(MADDNESS)をオープンソースとして公開した。MADDNESSは積和演算を必要としないため、他の近似法よりも10倍、正確な乗算(exact multiplication)を実行する場合よりも100倍、高速に動作する。
-
学習済みモデルの一般への影響を研究するスタンフォード研究センター
スタンフォード大学は先頃、急増するマシンラーニングの研究機関やスタートアップを対象に、大規模な学習済みディープネットワーク(BERT、GPT-3、CLIPなど)を専門的に研究する新たな研究センターである、Center for Research on Foundation Models (CRFM)を発表した。