Baiduの研究チームは、Enhanced Language RepresentatioN with Informative Entities（ERNIE）の3.0バージョンに関する論文を発表した。これは自然言語処理（NLP）の深層学習モデルだ。モデルには100億のパラメーターが含まれており、SuperGLUEベンチマークで新しい最先端のスコアを達成し、人間のベースラインスコアを上回った。
モデルといくつかの実験について、Baiduのブログ投稿に記載されている。非構造化テキストのみでトレーニングされる他のほとんどの深層学習NLPモデルとは違い、ERNIEのトレーニングデータには構造化知識グラフデータが含まれているため、モデルはより一貫性のある応答を出力できる。このモデルは、入力を潜在表現にエンコードするためのTransformer-XL「バックボーン」と、自然言語理解（NLU）用と自然言語生成（NLG）用の2つの個別のデコーダーネットワークで構成される。ERNIEは、SuperGLUEに新しい最高スコアを記録し、MicrosoftとGoogleの記録を塗り替えただけでなく、54の中国語NLPタスクでも最先端のスコアを記録した。
OpenAIのGPT-3やGoogleのT5など、テキストのみでトレーニングされた大規模な深層学習モデルは、さまざまな問題においてうまく機能する。しかし、研究者は、これらのモデルが、入力に存在しない世界の知識を必要とするNLUタスクで苦労することが多くあることわかっている。これに対処するために、2019年の初めに、清華大学の研究者は、テキストと知識グラフデータを組み合わせたモデルであるERNIEの最初のバージョンをオープンソース化した。その年の後半に、Baiduは2.0バージョンをリリースした。これは、GLUEベンチマークで90を超えるスコアを獲得した最初のモデルであった。
GPT-3や他のモデルと同様に、ERNIE 3.0は、マスキングや言語モデリングなど、教師なし学習タスクを使ってテキストで事前トレーニングされている。知識グラフデータをトレーニングプロセスに組み込むために、Baiduチームは、ユニバーサルナレッジテキスト予測（UKTP）と呼ばれる新しい事前トレーニングタスクを作成した。このタスクでは、モデルに百科事典からの文と、その文の知識グラフ表現が与えられる。その際、データの一部をランダムにマスクしている。次に、モデルはマスクされたデータの正しい値を予測する必要がある。Baiduによると、全体として、トレーニングデータセットは4TBであり、これまでで最大の中国語のテキストコーパスだ。
研究者は、いくつかのダウンストリームタスクでERNIEのパフォーマンスを評価した。 NLUに対して、チームは、感情分析、ニュース分類、固有表現抽出、ドキュメント検索など、14のタスクのために異なる45のデータセットでモデルを微調整した。NLGに対して、テキストの要約、クローズドブックの質問応答、機械翻訳、ダイアログの生成など、7つのタスクのために9つのデータセットを使った。すべてのタスクで、ERNIEは新しい最先端のパフォーマンススコアを記録した。ゼロショットNLGパフォーマンスを測定するために、人間の注釈者はERNIEと他の3つのモデルからの出力をスコアリングした。結果として、ERNIEは「平均して最も一貫性があり、流暢で正確なテキスト」を生成していた。
ディープラーニングニューラルネットワークモデルと「古き良きAI」技術を組み合わせたニューラルシンボリックコンピューティングは、活発な研究領域だ。2020年、清華大学のチームはカナダの研究者と協力してKEPLERを開発した。これは、Wikipediaのテキストコンテンツを、構造化されたWikidataナレッジベースと組み合わせてトレーニングされた。最近では、MITのチームがGPT-3ディープラーニングモデルとシンボリックワールドステートモデルを組み合わせてGPT-3のテキスト生成の一貫性を向上させた。バークレーの研究者はニューラル質問応答システムとDr. Fillと呼ばれる「クラシックAI」クロスワードパズルソルバーを組み合わせました。
BaiduはERNIE 3.0のコードとモデルをリリースしていないが、バージョン2.0はGitHubで入手できる。BaiduのWebサイトには、ERNIE 3.0のインタラクティブなデモもある。