MIT-IBM AI Labsと Harvard NLP Groupは、exBERTと呼ばれるTransformersモデルで学習した表現を調査するためのインタラクティブな視覚化ツールのライブデモをリリースした。事前発行があり、ソースコードも公開される。
インタラクティブツールは、NLP研究者が、Transformersモデルによって形成された強力なコンテキスト表現の意味についての洞察を得るのに役立つ。これらのモデルは一連の学習済み自己アテンションメカニズムによって構築されるため、アテンションが学習した内容を正確に分析して、誘導バイアスを見つけることが重要である。exBERTは、表現が言語的特徴か位置情報のどちらをキャプチャするかを調査することで視覚情報をレンダリングする。その視覚情報により、モデルとコーパスに対するアテンションとトークンの埋め込みの両方に対する洞察を得ることができる。exBERTは、BERT（Transformersの双方向エンコーダ表現）と呼ばれるGoogleの言語モデルにちなんで名付けられているが、任意のTransformerモデルとコーパスをexBERTの任意のドメインあるいは言語に適用できることに注意してください。事前発行では研究者はBERTを使用してケーススタディを実行した。理由は、BERTが表現学習に最も一般的に使用されているTransformerモデルであり、学習を伝達するための多数のアプリケーションがあるためである。オズの魔法使いをレファレンスのコーパスとして使用する。所定のレイヤーとヘッドでBERTがマスクされたトークンの言語的特徴を学習するが、そのレイヤーとヘッドをツールを使って調査および分析する。
exBERTは、特定のコーパス内のトークンごとに、アテンションと内部表現のビューを表示する。アテンションビューでは、ユーザはレイヤーを変更したり、ヘッドを選択したり、集約されたアテンションを表示したりできる。
トークンをマスクしたり、コーパス全体でトークンを検索して、最も類似度の高い結果をコーパスビューにフィードし、ユーザが表現を理解できるようにすることができる。
AIアプリケーションが私たちの日常生活にさらに組み込まれるようになるにつれて、Explainable AI（XAI）を強調することがより重要になってきている。NLPモデルでアテンションを視覚化するために多くのツールが開発されてきている。アテンションマトリックスヒートマップから2部グラフ表現までである。exBERTはBertVizと呼ばれるオープンソースツールの1つにインスパイアされた。BertVizは、BERTモデルでマルチヘッドの自己アテンションを視覚化するために構築されたものである。exBERTの研究者は、BertVizがBERTのアテンションの調査をより速く、よりインタラクティブにするために大きな一歩を踏み出したと信じている。しかし、「attended-to埋め込みを理解せずにアテンションパターンを解釈したり、忠実な解釈のためにアテンションだけに依存すると誤った解釈につながる可能性がある」と事前発表で加えて述べている。exBERTは、静的分析の利点と、より動的で直感的なビューを組み合わせて、基礎となるモデルのアテンションと内部表現の両方を実現することを目指している。