InfoQ ホームページ Natural-Language-Processing に関するすべてのコンテンツ
-
Meta社のリアルタイム音声翻訳AIシステムに向けたResearch SuperCluster
Meta社のエンジニアリング部門の最近の記事から、同社がリアルタイム音声翻訳、言語処理、コンピューター・ビジョン、拡張現実 (AR)の進歩に使用されるResearch SuperCluster (RSC)インフラをどのように構築しているかが明らかになった。
-
Google、AIのファインチューニング方法であるDistilling Step-by-Stepをオープンソース化
ワシントン大学とGoogle Researchのチームは先日、より小さな言語モデルのファインチューニングを行う手法であるDistilling Step-by-Stepをオープンソース化した。Distilling Step-by-Stepは、標準的なファインチューニングよりも少ないトレーニングデータで、700倍のパラメータを持つ数発のプロンプト大規模言語モデル（LLM）を凌駕する小さなモデルを生成できる。
-
Googleの音声AI AudioPaLMが音声転送で翻訳を行う
Googleの研究者は、音声転送によるテキスト音声変換 (TTS)、自動音声認識（ASR）、音声翻訳（S2ST）を行う大規模言語モデル（LLM）であるAudioPaLMを発表した。AudioPaLMはPaLM-2 LLM をベースにしており、翻訳ベンチマークではOpenAIのWhisperを上回っている。
-
OpenAI、強力で費用対効果が高く、ユーザーフレンドリーなエンベッディングモデルを発表
OpenAIは、テキスト検索、テキスト類似性、コード検索など、これまでの5つのモデルの機能を統合した最先端のエンベッディングモデルであるtext-embedding-ada-002を発表した。この新しいモデルは、従来のもっとも高性能なモデルであるDavinciをほとんどのタスクで上回り、しかも99.8%の大幅なコスト削減を実現している。また、text-embedding-ada-002はより使いやすくなっており、ユーザーにとってより便利な選択肢となっているのだ。
-
Stability AIが70億パラメータのオープンソースな言語モデル「StableLM」を公開
Stability AIは、大規模言語モデル（LLM）スイートであるStableLMのための訓練済み重みづけモデルを2セット公開した。これらのモデルは、1.5兆個のテキストトークンで学習済で、CC BY-SA-4.0の下で商用利用が許可されている。
-
Microsoft Semantic Kernel、従来のプログラムとのLLM統合を実現
マイクロソフトは、 大規模言語モデル（LLM）と従来のプログラムとの統合を可能にするlightweight SDK「Semantic Kernel（SK）」をオープンソース化し、プロンプトのテンプレート化、ベクトル化メモリ、インテリジェント・プランニングなどの機能を活用を可能にした。
-
Metaが1750億パラ���ータAI言語モデルのOPTをオープンソース化
Meta AI Researchは、1750億パラメーターAI言語モデルのOpen Pre-trained Transformer（OPT-175B）をリリースした。このモデルは1800億のトークンを含むデータセットでトレーニングされている。GPT-3と同等のパフォーマンスを示す一方で、必要なカーボンフットプリントはGPT-3トレーニングの7分の1のみである。
-
Amazonが51言語のAIトレーニングデータセット”MASSIVE”を公開
Amazon Alexa AIのNatural Language Understandingグループは "Multilingual Amazon SLURP (SLU resource package) for Slot Filling, Intent Classification, and Virtual-Assistant Evaluation"(MASSIVE)をリリースした。自然言語理解(NLU)AIモデルのトレーニングを目的として、51言語から100万件のアノテーション付きサンプルを収めたデータセットだ。データを使用するためのコードやツールも含まれている。
-
Googleが5400億パラメータのAI言語モデルPaLMをトレーニング
Google Researchは最近、Pathways Language Model（PaLM）を発表した。これは、5400億パラメータのAI自然言語処理（NLP）モデルで、BIGベンチベンチマークでは平均的な人間のパフォーマンスを超えている。PaLMは、多くの評価タスクで他の最先端のシステムよりも優れており、論理的推論やジョークの説明などのタスクで強力な結果を示している。
-
Google、AIによるGoogle Docsの要約生成機能を発表
Googleは、同社のDocsアプリに、ドキュメントのコンテンツの要約を自動生成する新機能を発表した。要約の生成には、Transformerアーキテクチャに基づいた自然言語処理(NLP)AIモデルを使用している。
-
EleutherAIが200億パラメータAI言語モデルのGPT-NeoX-20Bをオープンソース化
EleutherAIの研究者はGPT-NeoX-20Bをオープンソース化した。これは、GPT-3に似た200億パラメーターの自然言語処理（NLP）AIモデルである。このモデルは、公開されている825GBのテキストデータでトレーニングされており、同様のサイズのGPT-3モデルに匹敵するパフォーマンスを備えている。
-
ディープラーニングツールキットIntel OpenVINOではAPIが拡張され、パフォーマンスが向上
Intel OpenVINOの最新リリースでは、よりクリーンなAPIが提供される。自然言語処理のサポートが拡張されており、新しいAUTOプラグインのおかげでパフォーマンスと移植性が改善している。InfoQは、詳細についてAI Intel OpenVINOのシニアディレクターMatthew Formica氏と話をした。
-
AlphaCode：ディープラーニングによる競争力のあるコード合成
AlphaCodeの研究で、目標指向のコード合成に関して有望な結果が示されており、ディープsequence-to-sequenceモデルが使われている。それは、以前のネットワークを拡張しており、CodeContestsという名前の新しいデータセットをリリースしている。これは、将来の研究ベンチマークに貢献するためである。
-
テルアビブ大学、長文NLPベンチマークSCROLLSをリリース
テルアビブ大学(Tel-Aviv University)、Meta AI、IBM Research、Allen Institute for AIの研究者らが、さまざまな分野から収集した長いテキスト列を処理対象とする自然言語処理(NLP)ベンチマーク用のタスクセットを、Standardized CompaRison Over Long Language Sequences(SCROLLS)としてリリースした。ベースラインのNLPモデルを対象とした実験結果からは、現行のモデルに改善の余地が多くあることが示唆されている。
-
OpenAIは人間の指示に従うためのInstructGPT言語モデルを導入
OpenAIはGPT-3言語モデルを見直した。そして、有害な言語や誤った情報に関する不満に対処するためにInstructGPTと呼ばれる新しいデフォルトツールを導入した。