InfoQ ホームページ Deep+Learning に関するすべてのコンテンツ
-
AppleのML ComputeフレームワークがTensorFlowトレーニングを加速
最近のmac OS Big Surリリースの一部として、AppleはML Computeフレームワークを組み込んでいる。ML Computeは、IntelとM1ベースのMacの両方で、CPU上とGPU上において、トレーニングを改善するために最適化された数学ライブラリを提供する。それによって、TensorFlowディープラーニングライブラリを使用してトレーニング時間を最大7倍改善する。
-
MicrosoftがGPT-3 AIモデルの独占ライセンスを取得
Microsoftは、自然言語処理（NLP）用のOpenAIのGPT-3ディープラーニングモデルのライセンスに関する、OpenAIとの契約を発表した。Microsoftの発表によると、モデルの「独占的」ライセンスが付与されるが、OpenAIは引き続き独自のAPIを介してモデルへのアクセスを提供する。
-
UberのオープンソースAI抽象化レイヤ、Neuropod
UberオープンソースのNeuropodは、機械学習フレームワークの抽象化レイヤであり、研究者は統合の労力を削減しながら、選択したフレームワークでモデルを構築できるため、同じプロダクションシステムで異なるフレームワークに実装されたモデルを交換できる。Neuropodは現在、TensorFlow、PyTorch、Keras、TorchScriptなどのいくつかのフレームワークをサポートしている。
-
Googleが高速アテンションモジュールのPerformerをオープンソース化
Googleは、入力シーケンス長に対して線形スケールするTransformerディープラーニングアーキテクチャのPerformerをオープンソースとして公開した。この特徴によってPerformerは、画素推定(pixel-prediction)やタンパク質配列のモデリングといった、長いシーケンスを必要とするタスクに使用することができる。
-
Google、Facebook、Microsoftの大規模多言語AIモデル
Google、Facebook、Microsoftの各研究者グループがそれぞれ、多国語AIモデルの最新の成果を発表している。GoogleとMicrosoftは、XTREMEベンチマークによる測定において、NLPタスクで現在最高のパフォーマンスを達成したモデルをリリースした。またFacebookは、英語中心でない多対多の翻訳モデルを開発している。
-
GoogleがObject Detection APIでのTensorFlow2のサポートを発表
Googleは、TensorFlow Object Detection（OD）APIにおいてTensorFlow 2（TF2）のサポートを発表した。このリリースには、イーガーモード互換のバイナリ、2つの新しいネットワークアーキテクチャ、およびサポートされているすべてのモデルに対する事前トレーニング済みの重みが含まれている。
-
GoogleがコンピュータビジョンモデルのBig Transferをオープンソース化
Google Brainは、ディープラーニングのコンピュータービジョンモデルであるBig Transfer（BiT）向けに事前トレーニング済みモデルと微調整コードをリリースした。このモデルは、公開されている一般的な画像データセットで事前にトレーニングされており、わずか数個のサンプルを微調整すると、いくつかのビジョンベンチマークで最先端のパフォーマンスと同等か上回ることができる。
-
NVIDIAのAIがビデオストリーミングの帯域幅を10分の1に削減
GPUマニュファクチャのNVIDIAが、AIを活用したビデオ会議サービスMaxineプラットフォームを発表した。通信に必要な帯域幅を1桁削減可能なテクノロジがこれには含まれている。データ処理の大半をクラウドに移行することで、エンドユーザは、特別なハードウェアを必要とせずに圧縮のメリットを享受することが可能になる。
-
NVIDIAが59ドルのJetson Nano 2GB Kitをリリース、AI開発をより身近なものに
JetsonシリーズのデバイスとソフトウェアSDKによってNVIDIAは、GPUベースのAIアプリケーションの学習と開発を行うための一貫性のある開発環境を作り上げている。
-
MITとToyotaが自動運転データセットDriveSegをリリース
Toyotaの先進安全技術研究センター (CSRC) とMITのAgeLabは、自動運転研究のデータセットであるDriveSegをリリースした。DriveSegには、25,000フレームを超える高解像度ビデオが含まれており、各ピクセルには12クラスの道路オブジェクトの1つがラベル付けされている。DriveSegは、非営利目的で無���で利用できる。
-
Facebookは機械学習プライバシーライブラリのOpacusをオープンソース化
Facebook AI Research（FAIR）はOpacusのリリースを発表した。OpacusはPyTorchフレームワークを使用して深層学習モデルをトレーニングするときに差分プライバシー技術を適用する高速ライブラリである。Opacusは、他のプライバシーライブラリと比較して桁違いの高速化を実現できる。
-
UdacityとMicrosoftがML Engineer on Azureコースを発表
MicrosoftとUdacityは協力して、Azure Suiteを使用したモデルのトレーニング、検証、デプロイに焦点を当てた機械学習（ML）エンジニアトレーニングプログラムを立ち上げた。このプログラムは、コーディングの経験が非常に少ない学生を対象としており、Azure自動MLの使用に重点を置いている。
-
99.9％少ないパラメータでGPT-3パフォーマンスを上回るAIのトレーニング方法
LMU Munichの科学者チームは、自然言語処理 (NLP) モデルの深層学習トレーニング手法であるPattern-Exploiting Training (PET)を開発した。チームはPETを使用して、SuperGLUEベンチマークで1750億パラメータのGPT-3の3パーセント以上となる2億2300万パラメータを使用してTransformerNLPモデルをトレーニングした。
-
GoogleがTensorFlowモデル最適化のためのQuantization Aware Trainingをリリース
Googleは、TensorFlow Model Optimization Toolkit用のQuantization Aware Training（QAT）APIのリリースを発表した。QATは、ニューラルネットワークトレーニングプロセス中に低精度のハードウェアをシミュレートし、全体的なネットワーク損失メトリックに量子化誤差を追加する。これにより、トレーニングプロセスがトレーニング後の量子化の影響を最小限に抑えられる。
-
Facebookがタンパク質配列を処理するAIモデルをリリース
Facebook AI Researchの科学者チームが、DNA配列のタンパク質データを処理するディープラーニングモデルをリリースした。モデルには約7億のパラメータが含まれており、2億5,000万のタンパク質配列によるトレーニングで生物学的特性を学習した結果として、ゲノミクス予測タスクにおける現在の最先端技術の改善に使用することが可能である。