Allen Institute for AI(AI2)は、言語モデル(LM)の予測出力を解釈し制御する、対話型ツールのLM-Debuggerをオープンソースとして公開した。LM-DebufferはすべてのHuggingFace GPT-2モデルを対象に、モデルのニューラルネットワークの隠れ層(hidden layer)の更新をダイナミックに修正することにより、ユーザのテキスト生成プロセスへの介入を可能にする。
リリース発表は研究者のMor Geva Pipek氏によって、AI2ブログ上で行われた。Geva氏と同僚による前回の成果をベースとするLM-Debuggerは、内部のトークン表現と、Transformerネットワークの非表示のフィードフォワード層による更新処理を表面化する。HuggingFace GPT-2モデルのサポートに加えて、その他のモデルも"わずかなローカル修正のみ"で操作できるようになる。システムの持つ対話型UIを使用すれば、各層を通じたトークン表現の更新をトレースすることや、小さなサブ更新(sub-update)を抑制してモデルの出力を変化させることも可能だ。一連の実験の中で、AI2チームは、GPT-2のわずか10個のサブ更新を変更するだけで、出力の有害性を50パーセント低減できることを示した。さらに、サブ更新が出力生成の"早期終了"のシグナルを送ることで、平均20パーセントの計算処理を節減できることも明らかにした。チームによると、
私たちの成果は、最新のLMの予測構築プロセスに光を当てて、解釈可能性、制御、効率性に関する研究の有望な方向性を示唆するものです。
Transformerアーキテクチャは、ディープラーニング自然言語モデルにおけるデファクト標準になっている。しかしながら、ほとんどのディープラーニングモデルがそうであるように、モデルがその出力を生み出した理由を理解することが難しい場合がある。このことが、有害な、あるいは誤解を招く出力に対する懸念と相まって、この種のモデルの内部動作の理解に対する関心の高まりを招いているのだ。
Geva氏とチームは先日、特定のTransformerコンポーネント、すなわち非表示フィードフォワード層がモデル出力に及ぼす影響を調査した論文を発表した。その中で氏らは、これらの層を入力トークン表現の更新と見なせること、さらにそれらの更新が出力語彙全体の分布と見なせることを示した。より具体的に言うと、それぞれのフィードフォワード層を、概念(concept)をエンコードし、特定のトークンの出現確率を"昇格"あるいは強化するサブ更新を実行する、値ベクタ(value vector)のセットに分解することができる、ということだ。従って、意図に沿わないトークンの昇格を抑制すれば、モデルの出力を、最終的な出力トークンの方向に仕向けることが可能になる。
イメージ引用: https://github.com/mega002/lm-debugger
以上の洞察を用いて、AI2チームは、出力生成の過程で発生するサブ更新の調査と修正の可能なWebベースのUIを構築した。上の図は、層の出力分布のトークンのトップ10を、そのいずれかを"抑制"するオプションと合わせて示したものだ。LM-Debuggerには検索機能もあり、昇格する上位トークンが表示される。これにより、値ベクタによってエンコードされた概念を分析し、それに関連する値ベクタのクラスタを特定することが可能になる。
説明可能なAIシステム(Explainable AI system)は、活発な研究テーマのひとつである。2019年にInfoQは、AI2のAllenNLP Interpretツールキットを紹介した。これは勾配ベースのメソッドを使用して、自然言語処理(NLP)モデルの結果を説明するものだ。InfoQではさらに、MIT、IBM AI Labs、Harvard NLP Groupの開発した、exBERTというインタラクティブな可視化ツールについてもレポートしている。このツールを使えば、BERTのようなエンコーダのみのTransformerモデルで学習した表現を探索することが可能になる。
LM-Debuggerに関するTwitterでの議論の中で、このシステムがBERTに適用可能かを問うユーザに対して、Geva氏は次のように答えている。
LM-DebuggerをBERTのようなモデルの解析に使用することは可能ですし、非常に興味深いものになるでしょう。実施してみたいと思うのであれば、喜んでガイドさせて頂きます。将来的には、このためのサポートを追加したいですね。
LM-DebuggerのコードはGitHubで公開されている。中～大規模のGPT-2モデルを使用したシステムのデモが、AI2のWebサイトで使用できる。