InfoQ ホームページ Neural-Networks に関するすべてのコンテンツ
-
PyTorch 1.10がリリース - CUDA Graphs APIを追加、コンパイラを改善、Android NNAPIをサポート
Facebookが開発するオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.10のリリースを発表した。CUDA Graphs APIのインテグレーション、JITコンパイラのアップデートによるCPUパフォーマンスの向上に加え、Android Networks API(NNAPI)のベータサポートが含まれている。ドメイン固有ライブラリであるTorchVisionとTorchAudioの新バージョンもリリースされた。
-
AMDがディープラーニングアクセラレーターInstinct MI200シリーズGPUを発表
AMDは最近のAccelerated Data Center Premiere Keynoteで、MI200アクセラレータシリーズのInstinct MI250xと、それよりもわずかにローエンドのInstinct MI250 GPUを発表した。
-
BigScience Research Workshop、AI言語モデルのT0をリリース
BigScience Research Workshopは、ゼロショット・マルチタスク(zero-shot multitask)学習の研究を目的として特別にトレーニングされた自然言語処理(NLP)AIモデルのシリーズを、T0としてリリースした。T0はBIG-benchベンチマークの大半において6倍規模のモデルを上回り、他のNLPベンチマークの一部では16倍の規模を持つGPT-3のパフォーマンスをも凌駕する。
-
Baiduが110億のパラメータを持つチャットボットAIのPLATO-XLを発表
Baiduは先頃、対話生成(dialog generation)用AIモデルのPLATO-XLを発表した。英語と中国語のソーシャルメディア上の会話から収集した10億以上のサンプルを使ってトレーニングした結果、いくつかの会話ベンチマークで既存の商用チャットボットを凌ぐ、最高レベルのパフォーマンスを達成している。
-
Facebookが将来の行動を予測できる新しいAIモデルを開発
Facebookは、Anticipative Video Transformer（AVT）と呼ばれる最新の機械学習プロセスを発表した。視覚的な解釈を用いて将来のアクションを予測できる。AVTは、ビデオでのアクション予測のためのエンドツーエンドのアテンションベースのモデルとして機能する。
-
IBMがハードウェアベースのベクタ-シンボリックAIアーキテクチャを開発
IBM Researchは先頃、ニューラルネットワークコントローラと相変化メモリ(phase-change memory)ハードウェアで構成された、メモリ拡張ニューラルネットワーク(memory-augmented neural network、MANN) AIシステムを発表した。高次元(high-dimensional、HD)バイナリベクタによるアナログインメモリ計算を実行するこのシステムは、Omniglotベンチマークで数ショットの分類タスクを学習することで、32bitソフトウェア実装に対してわずか2.7パーセント低い精度を達成する。
-
少ないパラメータでTransformerの性能を凌駕するGoogleのGated Multi-Layer Perceptron
Google Brain所属の研究者らが、基本的なMLP(multi-layer perceptron、多層パーセプトロン)のみを含むディープラーニングモデルをGated Multi-Layer Perceptron(gMLP)として発表した。Transformerモデルよりも少ないパラメータを使用して、自然言語処理(NLP)タスクではパフォーマンスで凌駕し、コンピュータビジョン(CV)タスクでも同等の精度を実現している。
-
IntelのLoihi 2とLava Frameworkでニューロモルフィックコンピューティング研究の進歩を目指す
Intelは、ニューロモルフィック (神経形態) コンピューティングの分野の研究用ツールを提供することを目的として、第2世代のニューロモルフィックチップであるLoihi 2 を発表した。また、IntelはLavaをリリースした。これは、従来のハードウェアとニューロモルフィックハードウェアの両方でニューロモルフィックアプリを構築するためのソフトウェアフレームワークだ。
-
MItの研究チームがAMM(Approximate Matrix Multiplication)アルゴリズムのMADDNESSをオープンソースとして公開
MITのComputer Science & Artificial Intelligence Lab(CSAIL)に所属する研究者たちが、AMM(Approximate Matrix Multiplication)を用いてマシンラーニングをスピードアップするアルゴリズムのMultiply-ADDitioN-lESS(MADDNESS)をオープンソースとして公開した。MADDNESSは積和演算を必要としないため、他の近似法よりも10倍、正確な乗算(exact multiplication)を実行する場合よりも100倍、高速に動作する。
-
学習済みモデルの一般への影響を研究するスタンフォード研究センター
スタンフォード大学は先頃、急増するマシンラーニングの研究機関やスタートアップを対象に、大規模な学習済みディープネットワーク(BERT、GPT-3、CLIPなど)を専門的に研究する新たな研究センターである、Center for Research on Foundation Models (CRFM)を発表した。
-
ジョージア工科大学の研究者がワイヤレスブレインマシンインターフェースを開発
ジョージア工科大学の人間中心インターフェースおよびエンジニアリングセンターの研究者がSoft Scalp Electronics（SSE）を開発した。これは人間の脳信号を読み取るウェアラブルワイヤレス脳波記録（EEG）デバイスである。このシステムは、ニューラルネットワークを使ってEEGデータを処理することにより、デバイスを装着したユーザがアクティビティを想像するだけでビデオゲームを制御できるようになる。
-
Facebookがコンピュータビジョンモデル”Multiscale Vision Transformers”をオープンソースとして公開
Facebook AI Reserch(FAIR)は先頃、Transformerアーキテクチャに基づくコンピュータビジョン用ディープラーニングモデルであるMultiscale Vision Transformer(MViT)を、オープンソースとして公開した。MViTは、内部にいくつかの解像度低減(resolution-reduction)ステージを備えることにより、他のTransformerビジョンモデルをパフォーマンスで凌駕すると同時に、必要な計算能力の低減を実現しており、いくつかのベンチマークにおいては精度の最高値を更新している。
-
モバイル、科学計算、分散トレーニングを強化したPyTorch 1.9がリリース
Facebookがオープンソースで提供するディープラーニングフレームワークのPyTorchが、バージョン1.9のリリースを発表した。科学計算やモバイルのサポート、分散トレーニングなどが強化されている。全体として、新リリースには、1.8リリース以降の3,400以上のコミットが含まれている。
-
OpenAIが120億パラメータのコード生成AI Codexを発表
OpenAIは最近、Codexを発表した。自然言語の記述からプログラムコードを生成するAIモデルだ。CodexはGPT-3言語モデルをベースとしている。GPT-3の0％と比較して、OpenAIの公開されているHumanEvalテストデータセットの問題の70％以上を解決できる。
-
DeepMindがデータに依存しないディープラーニングモデルPerceiver IOをオープンソース化
DeepMindはPerceiver IOをオープンソース化した。さまざまな種類の入力と出力を処理できる汎用の深層学習モデルアーキテクチャだ。Perceiver IOは、トランスフォーマーの完全互換として機能する。ベースラインモデルと同等あるいはそれ以上のパフォーマンスを実現しつつも、ドメイン固有の前提はない。