InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
AMDがディープラーニングアクセラレーターInstinct MI200シリーズGPUを発表
AMDは最近のAccelerated Data Center Premiere Keynoteで、MI200アクセラレータシリーズのInstinct MI250xと、それよりもわずかにローエンドのInstinct MI250 GPUを発表した。
-
ゼロショットラーニングの意外な効果 - Roland Meertens氏の講演より
先日のQCon PlusオンラインカンファレンスでRoland Meertens氏は、"The Unreasonable Effectiveness of Zero Shot Learning"と題して、AIベースのアプリケーション開発について講演した。その中で氏は、ファンデーションモデル(foundation model)とゼロショットラーニング(zero shot learning)を使ってアプリケーションのプロトタイプを迅速にデプロイし、フィードバックを得ることにより、大規模なデータセットの収集やモデルのトレーニングを不要にした２つの例を紹介した。
-
MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より
先日開催されたQCon PlusオンラインカンファレンスでFrancesca Lazzeri博士は、マシンラーニングオペレーション(MLOpe)について、"What You Should Know before Deploying ML in Production"と題して講演し、MLOpsの可能性、オープンソースインテグレーション、マシンラーニングパイプライン、MLFlowプラットフォームという４つの重要なトピックを取り上げた。
-
BigScience Research Workshop、AI言語モデルのT0をリリース
BigScience Research Workshopは、ゼロショット・マルチタスク(zero-shot multitask)学習の研究を目的として特別にトレーニングされた自然言語処理(NLP)AIモデルのシリーズを、T0としてリリースした。T0はBIG-benchベンチマークの大半において6倍規模のモデルを上回り、他のNLPベンチマークの一部では16倍の規模を持つGPT-3のパフォーマンスをも凌駕する。
-
Baiduが110億のパラメータを持つチャットボットAIのPLATO-XLを発表
Baiduは先頃、対話生成(dialog generation)用AIモデルのPLATO-XLを発表した。英語と中国語のソーシャルメディア上の会話から収集した10億以上のサンプルを使ってトレーニングした結果、いくつかの会話ベンチマークで既存の商用チャットボットを凌ぐ、最高レベルのパフォーマンスを達成している。
-
IBMがハードウェアベースのベクタ-シンボリックAIアーキテクチャを開発
IBM Researchは先頃、ニューラルネットワークコントローラと相変化メモリ(phase-change memory)ハードウェアで構成された、メモリ拡張ニューラルネットワーク(memory-augmented neural network、MANN) AIシステムを発表した。高次元(high-dimensional、HD)バイナリベクタによるアナログインメモリ計算を実行するこのシステムは、Omniglotベンチマークで数ショットの分類タスクを学習することで、32bitソフトウェア実装に対してわずか2.7パーセント低い精度を達成する。
-
AmazonはGaudiアクセラレータを搭載したDL1インスタンスをリリース
Amazonは最近、Habana LabsのGaudiアクセラレーターを搭載したEC2 DL1インスタンスの一般向け提供を発表した。新しいインスタンスは、コンピュータービジョン、自然言語処理、自動運転車の認識、推奨エンジンなどのユースケース向けの深層学習モデルのトレーニングに対して、より優れた価格パフォーマンスを提供する。
-
トレーニング済モデル上で高速クエリ検索インデクスをサポートするTensorFlow Similarity
Francois Chollet氏とそのチームは先頃、TensorFlow SimilarityというTensorFlow用Pythonライブラリをリリースした。類似性学習(similarity learning)とは、画像内の似通った衣類から顔写真を使用した人物識別に至るまで、類似アイテムの検出を行うプロセスである。ディープラーニングモデルでは、イメージ間の類似性学習の正確性と効率を向上させるために、対照学習(contrastive learning)と呼ばれる手法が使用される。
-
少ないパラメータでTransformerの性能を凌駕するGoogleのGated Multi-Layer Perceptron
Google Brain所属の研究者らが、基本的なMLP(multi-layer perceptron、多層パーセプトロン)のみを含むディープラーニングモデルをGated Multi-Layer Perceptron(gMLP)として発表した。Transformerモデルよりも少ないパラメータを使用して、自然言語処理(NLP)タスクではパフォーマンスで凌駕し、コンピュータビジョン(CV)タスクでも同等の精度を実現している。
-
Google Techに関するプロジェクトのキュレーションコレクションであるGoogleのDev Libraryとは
Googleは、Googleテクノロジーに関連するオープンソースプロジェクトから厳選したコレクションを作成することを目的とした新しい構想を発表した。GoogleのDev Libraryには、コードリポジトリだけでなく、さまざまなインターネットソースから収集された記事、ツール、チュートリアルも含まれる。
-
MItの研究チームがAMM(Approximate Matrix Multiplication)アルゴリズムのMADDNESSをオープンソースとして公開
MITのComputer Science & Artificial Intelligence Lab(CSAIL)に所属する研究者たちが、AMM(Approximate Matrix Multiplication)を用いてマシンラーニングをスピードアップするアルゴリズムのMultiply-ADDitioN-lESS(MADDNESS)をオープンソースとして公開した。MADDNESSは積和演算を必要としないため、他の近似法よりも10倍、正確な乗算(exact multiplication)を実行する場合よりも100倍、高速に動作する。
-
学習済みモデルの一般への影響を研究するスタンフォード研究センター
スタンフォード大学は先頃、急増するマシンラーニングの研究機関やスタートアップを対象に、大規模な学習済みディープネットワーク(BERT、GPT-3、CLIPなど)を専門的に研究する新たな研究センターである、Center for Research on Foundation Models (CRFM)を発表した。
-
ジョージア工科大学の研究者がワイヤレスブレインマシンインターフェースを開発
ジョージア工科大学の人間中心インターフェースおよびエンジニアリングセンターの研究者がSoft Scalp Electronics（SSE）を開発した。これは人間の脳信号を読み取るウェアラブルワイヤレス脳波記録（EEG）デバイスである。このシステムは、ニューラルネットワークを使ってEEGデータを処理することにより、デバイスを装着したユーザがアクティビティを想像するだけでビデオゲームを制御できるようになる。
-
Facebookがコンピュータビジョンモデル”Multiscale Vision Transformers”をオープンソースとして公開
Facebook AI Reserch(FAIR)は先頃、Transformerアーキテクチャに基づくコンピュータビジョン用ディープラーニングモデルであるMultiscale Vision Transformer(MViT)を、オープンソースとして公開した。MViTは、内部にいくつかの解像度低減(resolution-reduction)ステージを備えることにより、他のTransformerビジョンモデルをパフォーマンスで凌駕すると同時に、必要な計算能力の低減を実現しており、いくつかのベンチマークにおいては精度の最高値を更新している。
-
モバイル、科学計算、分散トレーニングを強化したPyTorch 1.9がリリース
Facebookがオープンソースで提供するディープラーニングフレームワークのPyTorchが、バージョン1.9のリリースを発表した。科学計算やモバイルのサポート、分散トレーニングなどが強化されている。全体として、新リリースには、1.8リリース以降の3,400以上のコミットが含まれている。