IBM WatsonとArizona State Universityの研究者たちが、Explainable AI Planning(XAIP)の開発に関する調査結果を公開した。67の論文を対象に、この分野における傾向を図表として表したものだ。
ASUのYochan Lab所属のSubbarao Kambhampati教授をリーダとするこのチームは、目標状態の達成を目的として一連のアクション(あるいは計画)の立案を行う、自動計画システムの領域を中心にレビューを行った。説明可能な(explainable)計画システムは、特定のアクション、あるいは一連のアクションが選択された理由に関する質問に回答することができる。この分野における説明可能なシステムは、アルゴリズムベース、モデルベース、計画ベースに分類される。いずれの分野の研究もここ最近は増加傾向にあるが、最も活発な研究が行われているのはモデルベースのシステムである。
XAI(Explainable AI、説明可能なAI)は、2016年のDARPAによる支援により、近年では注目の研究課題となっている。コンピュータ画像処理や自然言語処理といった"パーセンプション(perception、認知)"の問題に対するマシンラーニング適用の広がりは、LIMEやAllenNLP Interpretといった分類器(classifier)のための説明可能性技術の開発へとつながっている。パーセプションは環境の現在の状態を決定する上で重要なスキルだが、ロボットや自動運転車、さらにはゲームプレイAIなどの自律システムは、行動に対する判断も行わなくてはならない。これらのAIシステムには多くの場合、計画(planning)、すなわち、AIが目的を達成するために必要な一連の行動を生成する必要がある。
Explainable AI Planning(XAIP)システムは、特定の行動が計画に含まれる理由、あるいは含まれない理由など、計画に対する質問に答えることができる。同チームは、システムをアルゴリズムベース、モデルベース、計画ベースに分類した。アルゴリズムベースによる説明は、主としてエンドユーザよりもアルゴリズムをデバッグするシステム設計者にとって有用なものであることが多い。計画ベースの説明は、"長期かつ大規模(over long time horizons and over large state spaces)"に運用される計画をユーザに理解させるために、要約化や抽象化が使用される。"ユーザの演算能力はAIより極めて低い"という事実に配慮して、大部分の研究はモデルベースの説明を対象に行われているのだが、"検証データ(ground truth)"とは異なるメンタルモデルを持つことも少なくない。これらのシステムでは、システムモデルに対してユーザが持つメンタルモデルを認識する必要があるのだ。
DARPAのXAIプログラムでは、説明可能なシステムを開発する理由のひとつとして、AIが生成する結果に対するユーザの信頼性向を挙げている。一方でKambhampati教授の研究チームは、説明プロセスを"ハイジャック"することで、"事実ではないが、ユーザが満足するような"説明を生成することも可能だ、と指摘する。AIやロボットが社会において効果的であるためには、このような策略も必要になるかも知れない、と示唆する研究者もいる。ディープラーニングの第一人者であるGeoffrey Hinton氏は説明可能性の必要を重視しておらず、次のようにツイートしている。
あなたがガンに罹っていて、説明能力がないが90パーセントの回復率を持つブラックボックスAIか、80パーセントの回復率の人間の外科医のどちらかを選択しなければならないとしましょう。AIの外科医を非合法にしたいと思いますか？
Kambhampati教授はこれを"二分法の誤用"であるとして、長期的には正確性と説明可能性の両方が必要なのだ、と主張している。