Googleは最近のブログ投稿で、What-Ifツールの新しい統合を発表した。これにより、データサイエンティストはAIプラットフォーム（コードベースのデータサイエンス開発環境）でモデルを分析できる。顧客は、AIプラットフォームにデプロイされたXGBoostおよびScikit Learnモデルに対してWhat-Ifツールを使用できるようになった。
昨年、GoogleのTensorflowチームはWhat-Ifツールを立ち上げた。それは、データサイエンティストがデータセットを視覚化し、TensorFlowモデルの出力をよりよく理解できるように設計されたインタラクティブなビジュアルインターフェイスである。それが、XGBoostとScikit Learnモデルのサポートも提供するようになり、Tensorflowだけに制限されなくなった。データサイエンティストは、AIプラットフォームノートブック、Colabノートブック、Jupyterノートブックを使うローカルから新しい統合を使用できる。
このツールを使用すると、データサイエンティストはコードを記述せずにさまざまなデータポイントを調整し、モデルがどのように振る舞うかを分析できる。さらに、同じデータセットで2つの異なるAIモデルのパフォーマンスを同時にテストできる。これにより、高度な対比を可能にし、個々のデータポイントまたはデータセットスライス全体を検査する比較を行うことができる。また、次のことができる。
- 「ファセットダイブ」機能を使用して、データセットでのAIモデルのパフォーマンスを別のモデルと比較し、カスタムの視覚化を作成する
- 推論結果を混同マトリックス、散布図、ヒストグラムに整理することにより、単一モデルのパフォーマンスを検査する
- AIモデルのパフォーマンスで堅牢なテストを実行する機能を追加または削除して、データポイントを編集する
ソース: https://pair-code.github.io/what-if-tool/
Googleの意思決定インテリジェンスヘッドであるCassie Kozyrkov氏は、datascienceのブログ投稿に向けて次のように述べています。
What-Ifツールは初心者向けには設計されていないが（基本を理解する必要がありますが、Pythonやノートブックの初心者でない場合に最適です）、実務アナリストおよびMLエンジニアにとって業務を促進してくれる素晴らしいツールです。
新しい統合を使用するには、データサイエンティストがgcloud CLIを使用してモデルをトレーニングし、Google Cloud AIプラットフォームにデプロイする必要がある。次に、データサイエンティストは、WitConfigBuilderオブジェクトを設定することにより、What-Ifツールでデータセットのパフォーマンスを表示できる。
config_builder = (WitConfigBuilder(test_examples)
.set_ai_platform_model('your-gcp-project', 'gcp-model-name', 'model-version')
.set_target_feature('thing-to-predict')
WitWidget(config_builder)
テストサンプルは、JSON辞書のリスト、JSONリスト、グラウンドトゥルースラベルを含むtf.exampleプロトのいずれであっても、モデルによって期待される形式です。それによって、異なる機能がモデルの予測にどのように影響するかを調査できる。
データサイエンティストが最初に見るのはデータポイントエディタである。そこには、提供されたデータセットのすべての例と、モデルによる予測の結果が表示されます。さらに、メインパネルのこのエディタから、データサイエンティストはデータポイントについて何でも変更し、モデルを再実行して、変更が予測にどのように影響するかを確認できる。
ソース: https://twitter.com/7wData/status/1152606660743110656/photo/1
次の[Performance + Fairness]タブでは、データサイエンティストがデータセット全体のモデルの集計結果を表示できる。さらに、このタブについて、Google Cloud Platformの開発支援者であるSara Robinson氏はブログで次のように述べています。
機能ごとにデータセットをスライスし、それらのスライスを通してパフォーマンスを比較し、モデルが最高または最低のパフォーマンスとなるデータのサブセットを特定できます。これは、MLの公平性調査に非常に役立ちます。
最後に、What-Ifツールの機能の詳細については、ウォークスルーガイドとドキュメントを参照してください。