MetaのToolformer、APIを活用したゼロショットNLPタスクでGPT-3を引き離す

Meta AI Researchは、自然言語処理（NLP）タスクの解決を支援するためにAPIの呼び出しを学習する言語モデルToolformerを発表した。 Toolformerはモデルの微調整に使用されるトレーニングデータセットを自動的にアノテートし、いくつかのゼロショットNLPタスクの性能で大きくGPT-3モデルを引き離す。

Toolformerは6.7Bパラメータで事前学習されたGPT-J大規模言語モデルをベースにしている。このモデルには、入出力が一致する人間が作成したAPIコールの例が、トレーニングデータサンプルの前にプロンプトとして与えられる。モデルに入力すると、結果を生成するためにAPIコールを挿入すべき箇所を示すアノテーションサンプルが生成される。モデルはそのアノテーションつきデータセットで微調整される。この微調整されたモデルの実験ではAPIコールを使用することで、いくつかのゼロショットNLPベンチマークで175BパラメータのGPT-3のような大規模モデルを凌駕することが示された。Metaは次のように述べている。

Toolformerは、その中核となる言語モデリング能力を犠牲にすることなく、さまざまな下流タスクでゼロショット性能を大幅に向上させ、しばしば、はるかに大きなモデルに匹敵する性能を実現します。

GPT-3のような大規模言語モデル（LLM）は、さまざまなNLPタスクで良好なゼロショット性能を発揮し、通常モデルが大きいほどその性能は高くなる。しかしLLMはその規模に関わらず、算術など一部のタスクで苦戦することが多い。また規模の大小にかかわらずモデルの学習後に発生した事象に関する質問、例えば "クリスティアーノ・ロナウド氏はどのチームでプレーしているか？"といった質問にも不正確に答えてしまうことがある。この問題に対するMetaの解決策はLLMにウェブ検索エンジンや電卓などの外部ツール（API）を使用するように教えることで、そうしなければ性能が劣化しかねないタスクを支援することだ。

データセット・アノテーションのプロンプト。
Image Source: https://arxiv.org/abs/2302.04761

重要なアイデアは、言語モデルを使用して、それ自身のためのトレーニングデータセットを生成することだ。このデータセットはCommon Crawlデータセットのサブセットを用いて生成され、データセット内の各例に対して、APIコールとその結果をテキストに追加するようモデルに求めるプロンプトを追加する。研究者たちはAPIコールの損失指標あるいは「フィットネススコア」を開発した。その結果をテキストに加えることでテキスト内の次のトークンの予測が悪くなる場合は、編集が破棄されるようにした。

データセットのアノテーション処理。
Image Source: https://arxiv.org/abs/2302.04761

Toolformerは質問応答API、Wikipedia検索エンジン、機械翻訳システム、電卓、カレンダーの5種類のツールを使用するようにトレーニングされた。MetaはベースラインのGPT-Jモデル、66BパラメータのOPTモデル、175BパラメータのGPT-3モデルとの性能を比較する実験をいくつか行った。Toolformerは、ほぼすべてのタスクでベースラインを上回った。質問応答ではGPT-3が、多言語における質問応答ではベースラインのGPT-Jが、英語以外の言語に対してより良いパフォーマンスを発揮した。研究者はこれはToolformerがアノテーションされた英語のみのデータセットで微調整をしたからであるとしている。

AI開発者のジェイ・ハック氏はTwitterのスレッドでToolformerの論文をレビューし、こう指摘した。

著者たちは、このトレーニングプロセスを繰り返し行うことをまだ試みていないのです！トレーニング済みのツールフォーマーを使って、さらに包括的なデータセットをブートストラップし、APIなどをより複雑に使用し、そして繰り返すことができます。大きな可能性を秘めており、試してみるべきです。

Meta社はToolformerのコードを公開していないが、独立系AI開発者のPhil Wang氏とEnrico Shippole氏がそれぞれMetaの論文に基づいた実装をオープンソースで公開している。