InfoQ ホームページ Neural-Networks に関するすべてのコンテンツ
-
NVIDIAが59ドルのJetson Nano 2GB Kitをリリース、AI開発をより身近なものに
JetsonシリーズのデバイスとソフトウェアSDKによってNVIDIAは、GPUベースのAIアプリケーションの学習と開発を行うための一貫性のある開発環境を作り上げている。
-
MITとToyotaが自動運転データセットDriveSegをリリース
Toyotaの先進安全技術研究センター (CSRC) とMITのAgeLabは、自動運転研究のデータセットであるDriveSegをリリースした。DriveSegには、25,000フレームを超える高解像度ビデオが含まれており、各ピクセルには12クラスの道路オブジェクトの1つがラベル付けされている。DriveSegは、非営利目的で無料で利用できる。
-
99.9％少ないパラメータでGPT-3パフォーマンスを上回るAIのトレーニング方法
LMU Munichの科学者チームは、自然言語処理 (NLP) モデルの深層学習トレーニング手法であるPattern-Exploiting Training (PET)を開発した。チームはPETを使用して、SuperGLUEベンチマークで1750億パラメータのGPT-3の3パーセント以上となる2億2300万パラメータを使用してTransformerNLPモデルをトレーニングした。
-
GoogleがTensorFlowモデル最適化のためのQuantization Aware Trainingをリリース
Googleは、TensorFlow Model Optimization Toolkit用のQuantization Aware Training（QAT）APIのリリースを発表した。QATは、ニューラルネットワークトレーニングプロセス中に低精度のハードウェアをシミュレートし、全体的なネットワーク損失メトリックに量子化誤差を追加する。これにより、トレーニングプロセスがトレーニング後の量子化の影響を最小限に抑えられる。
-
Facebookがタンパク質配列を処理するAIモデルをリリース
Facebook AI Researchの科学者チームが、DNA配列のタンパク質データを処理するディープラーニングモデルをリリースした。モデルには約7億のパラメータが含まれており、2億5,000万のタンパク質配列によるトレーニングで生物学的特性を学習した結果として、ゲノミクス予測タスクにおける現在の最先端技術の改善に使用することが可能である。
-
TensorFlow Quantumが量子コンピュータと機械学習をひとつにする
TensorFlow Quantum(TFQ)は、Google量子コンピューティングフレームワークCirqとTensorFlowを組み合わせて、量子機械学習(ML)モデルの作成を可能にする。
-
Salesforceがデータベース用自然言語インターフェースPhotonをリリース
Salesforce Researchの科学者チームと香港中文大学(Chinese University of Hong Kong)は、データベース用自然言語インターフェース(NLIDB)Photonをリリースした。パーザ構築にディープラーニングを使用することにより、一般的なベンチマークで63パーセントという精度と、あいまいな質問の明確化をユーザに求めるエラー検出モジュールを実現している。
-
GoogleのSEED RLが強化学習を80倍スピードアップ
Google Brainの研究者は最近、AI強化学習向けのスケーラブルで効率的なDeep-RL（SEED RL）アルゴリズムをオープンソース化した。SEED RLは、複数のRLベンチマークで最先端の結果をより低コストで、以前のシステムより最大で80倍高速に実現する分散型アーキテクチャである。
-
サイレントビデオのサウンドトラックがAIで生成可能に
研究者のGhose、Prevost両氏が、指示された無音のビデオに対して、リアルなサウンドの同期サウンドトラックを生成可能な、ディープラーニングアルゴリズムを開発した。 生成するサウンドをクラス分類するようにニューラルネットワークをトレーニングし、サウンドを生成するようにシーケンシャルネットワークをトレーニングした。これにより、時系列のイメージから、まったく様式の異なるサウンド生成への移行を可能にしたのだ！
-
自然言語処理とゲノミクス処理を進化させるGoogleのBigBirdモデル
Googleの研究者たちが新たに、BigBirdと呼ばれるディープラーニングモデルを開発した。Transformerニューラルネットワークで、これまでよりも最大8倍長いシーケンスを処理することができる。このモデルをベースとしたネットワークが、自然言語処理(NLP)およびゲノミクス処理において、新たに最高���パフォーマンスレベルを達成した。
-
PyTorch 1.6リリース、WindowsバージョンはMicrosoftが引き継ぎ
Facebookが開発するオープンソースのディープラーニングフレームワークであるPyTorchが、バージョン1.6のリリースを発表した。新たなAPIが加わり、パフォーマンスが改善されている。そのリリースに合わせてMicrosoftは、同フレームワークのWindows版に関する開発とメンテナンスを引き継ぐことを発表した。
-
GoogleオープンソースAIで自然言語をモバイルUIアクションにマッピングする
Googleは、一連の自然言語命令をモバイルデバイスのUIのアクションに変換するAIモデルをオープンソースにしている。モデルはTransformerディープラーニングアーキテクチャに基づいており、プロジェクト用に作成された新しいベンチマークデータセットで70％の精度を実現する。
-
OpenAIが1,750億のパラメーターを持つGPT-3 AI言語モデルを発表
OpenAIの研究者チームは最近、1,750億のパラメーターを備えた自然言語のディープラーニングモデルであるGPT-3を説明する論文を発表した。これは、前のバージョンのGPT-2の100倍である。モデルは約5兆語で事前トレーニングされており、微調整することなくいくつかのNLPベンチマークで最先端のパフォーマンスを実現する。
-
OpenAIがニューラルネットワークを理解するためのビジュアライゼーションツールであるMicroscopeを紹介
OpenAIはMicroscopeをリリースした。これは、すべての重要なレイヤーと8つの主要なコンピュータービジョン（CV）モデルのニューロンのビジュアライゼーションである。これらのモデルは、解釈可能性に関してよく研究されている。このツールは、研究者がこれらのCVモデルを駆動するニューラルネットワークの内部に形成される機能やその他の重要な属性を分析するのに立つ。
-
MicrosoftのZeRO-2がAIトレーニングを10倍高速に
Microsoftは、クラスタサイズに対してスーパーリニアにスケールする、分散ディープラーニング最適化アルゴリズムZero Redundancy Optimizerのバージョン2(ZeRO-2)をオープンソースとして公開した。同社はZeRO-2を使用して、1,000億パラメータの自然言語処理(NLP)モデルを、従来の分散ラーニング技術の10倍の速度でトレーニングすることに成功している。