InfoQ ホームページ Natural-Language-Processing に関するすべてのコンテンツ
-
Facebookが多言語音声認識ディープラーニングモデルをオープンソース化
Facebook AI Research（FAIR）はクロスリンガル音声認識（XSLR）、多言語音声認識AIモデルをオープンソース化した。XSLRは53の言語でトレーニングされており、一般的なベンチマークで評価すると、既存のシステムよりも優れている。
-
AWSがプレビュー版としてHealthLakeとRedshift MLを発表
AWSは、12月のre:Invent 2020中に、Amazon HealthLakeサービスのプレビューリリース版とRedshift MLと呼ばれるAmazon Redshiftの機能を発表した。Amazon HealthLakeは、ヘルスケア、健康保険、製薬会社がNLP（Natural Language Processing）を利用してデータから価値を引き出すためのデータレイクサービスである。Redshift MLは、SageMakerへのゲートウェイをRedshiftユーザーに提供するサービスである。
-
GoogleとMicrosoftのAIモデル、言語理解ベンチマークにおいて人間の能力を凌駕
GoogleとMicrosoft、それぞれの研究チームが先頃、SuperGLUEベンチマークで人の基準点より高いスコアを持つ自然言語処理(NLP)AIモデルを開発した。SuperGLUEは、質問応答(question answering)や読解など、いくつかの言語理解(NLU)タスクにおけるモデルのスコアを測定するものだ。
-
MicrosoftがGPT-3 AIモデルの独占ライセンスを取得
Microsoftは、自然言語処理（NLP）用のOpenAIのGPT-3ディープラーニングモデルのライセンスに関する、OpenAIとの契約を発表した。Microsoftの発表によると、モデルの「独占的」ライセンスが付与されるが、OpenAIは引き続き独自のAPIを介してモデルへのアクセスを提供する。
-
OpenAIはニューラル言語モデルのスケーリング法則を近似する
人工知能会社OpenAIは、固定のコンピューティングバジェットの最適な割り当てを決定するため、クロスエントロピー損失を使用して言語モデルの経験的スケーリング法則を研究している。
-
RasaがOpen Source AI Assistant Framework 2.0を発表
テキストおよび音声ベースのAIアシスタント開発を自動化するための、カスタマイズ可能なオープンソースのマシンラーニングフレームワークであるRasaのバージョン2.0がリリースされた。対話管理、トレーニングデータのフォーマット、インタラクティブなドキュメントが大幅に改善されている。最新リリースではさらに、導入のための学習曲線が短縮化される一方で、習熟したユーザ向けの設定オプションの拡張も行われている。
-
Google、Facebook、Microsoftの大規模多言語AIモデル
Google、Facebook、Microsoftの各研究者グループがそれぞれ、多国語AIモデルの最新の成果を発表している。GoogleとMicrosoftは、XTREMEベンチマークによる測定において、NLPタスクで現在最高のパフォーマンスを達成したモデルをリリースした。またFacebookは、英語中心でない多対多の翻訳モデルを開発している。
-
99.9％少ないパラメータでGPT-3パフォーマンスを上回るAIのトレーニング方法
LMU Munichの科学者チームは、自然言語処理 (NLP) モデルの深層学習トレーニング手法であるPattern-Exploiting Training (PET)を開発した。チームはPETを使用して、SuperGLUEベンチマークで1750億パラメータのGPT-3の3パーセント以上となる2億2300万パラメータを使用してTransformerNLPモデルをトレーニングした。
-
ExBERT、NLPモデルで学習された表現を探索するためのツール
MIT-IBM AI Labsと Harvard NLP Groupは、exBERTと呼ばれるTransformersモデルで学習した表現を調査するためのインタラクティブな視覚化ツールのライブデモをリリースした。事前発行があり、ソースコードも公開される。
-
スタンフォードNLPグループがStanzaをリリース：Python NLPツールキット
スタンフォードNLPグループは最近、新しいPython自然言語処理ツールキットであるStanzaをリリースした。Stanzaは、テキスト分析（66の人間の言語をサポート）用の言語に依存しない完全なニューラルパイプラインと、StanfordのCoreNLP JavaソフトウェアへのPythonインターフェイスの両方を備えている。
-
MicrosoftとGoogleが言語横断のAIタスクに対する新しいベンチマークをリリース
Microsoft ResearchとGoogle AIの研究チームはAIシステムの言語間自然言語理解（NLU）タスク向けの新しいベンチマークを発表した。そのタスクには、固有表現抽出や質問応答などがある。GoogleのXTREMEは40の言語をカバーし、9つのタスクを含む。一方、MicrosoftのXGLUEは27の言語と11のタスクをカバーする。
-
Salesforceがデータベース用自然言語インターフェースPhotonをリリース
Salesforce Researchの科学者チームと香港中文大学(Chinese University of Hong Kong)は、データベース用自然言語インターフェース(NLIDB)Photonをリリースした。パーザ構築にディープラーニングを使用することにより、一般的なベンチマークで63パーセントという精度と、あいまいな質問の明確化をユーザに求めるエラー検出モジュールを実現している。
-
Googleが表形式データを使用して自然言語の質問に答えるためのAIをオープンソース化
GoogleのTable Parser（TAPAS）をオープンソース化した。それは、表形式のデータから自然言語の質問に答えることができるディープラーニングシステムである。TAPASはWikipediaから抽出された620万のテーブルでトレーニングされ、いくつかのベンチマークで最先端のパフォーマンスに匹敵する、あるいは、それらのパフォーマンスを超えている。
-
自然言語処理とゲノミクス処理を進化させるGoogleのBigBirdモデル
Googleの研究者たちが新たに、BigBirdと呼ばれるディープラーニングモデルを開発した。Transformerニューラルネットワークで、これまでよりも最大8倍長いシーケンスを処理することができる。このモデルをベースとしたネットワークが、自然言語処理(NLP)およびゲノミクス処理において、新たに最高のパフォーマンスレベルを達成した。
-
AIカンファレンス概括 - ACL 2020におけるFacebook、Google, Microsoft、その他
先日行われたAssociation for Computational Linguistics(ACL)の年次ミーティングでは、自然言語処理(Natural Language Processing、NLP)に関連するさまざまなAIの話題を取り上げた合計779件の論文が発表されたが、その中の200件近くは、Facebook、Google、Microsoft、Amazon、Salesforceなどのハイテク企業の研究チームによるものだった。