QCon Londonカンファレンスにおいて、マイクロソフトのプリンシパルプロダクトマネージャーであるMehrnoosh Sameki氏が"責任あるAI ～ 原則から実践へ"と題して講演した。彼女は責任あるAIの6つの主要な原則と、これらの原則を実践するために不可欠な4つの要素について説明し、Fairlearn、InterpretML、責任あるAI Dashboardなどの有用なツールを紹介した。
Sameki氏は、"倫理的なAI"や"信頼されるAI"ではなく"責任あるAI"という言葉を選んだ。責任あるAIという言葉はより全体的でプロアクティブなアプローチを体現しており、コミュニティで広く共有されていると、彼女は考えている。この分野を議論する人は、共感、謙虚さ、そして役に立つ姿勢を示すべきである。AIの状況は急速に進化しており、企業がAI技術の導入を加速させているため、私たちの社会的な期待は変化し、規制も生まれてくるだろう。そのため、個人がAI主導の意思決定の根拠を問い合わせる権利の導入がベストプラクティスになりつつある。
Sameki氏は、6つの基本的な側面に基づくマイクロソフトの責任あるAI原則の概要を説明した。
- 公平性
- 信頼性・安全性
- プライバシーとセキュリティ
- 包括性
- 透明性
- 説明責任
また、これらの原則を効果的に実施するために不可欠な4つの要素である "ツールとプロセス" "訓練と実践" "ルール"、"ガバナンス"が概説された。発表では責任あるAIをめぐるツールやプロセス、実践が主に取り上げられていた。
公平性の重要さは、それが防ぐ潜在的な弊害を思い浮かべると、よく理解できる。そのような弊害の例としては、音声認識システムにおいて性別によって性能を変えたり、ローンの適格性を判断する際に肌の色を考慮したりするなど、さまざまなグループに対して異なる質のサービスを提供することが挙げられる。こうした弊害の可能性を評価し、その意味を理解することは非常に重要である。公平性に取り組むために、マイクロソフトは評価指標と可視化による評価、基準とアルゴリズムによる緩和を可能にするツール、Fairlearnを開発した。
InterpretMLは、AIアルゴリズムの理解とデバッグを目的とした、もう一つの便利なツールである。説明可能なブースティングマシンのようなグラスボックスモデルと、ブラックボックスモデルの両方に対応している。これによりユーザーは予測を見抜き、その予測に影響を与える上位k個の要因の特定が可能となる。また、InterpretMLは強力なデバッグツールとして、「ユーザーがAIから異なる結果を得るためにはどうしたらよいか」といった反実仮想を提供する。反実仮想は、機械学習エンジニアに、あるサンプルが意思決定の境界からどれだけ離れているか、どの特徴が意思決定を"反転"させる可能性がもっとも高いか洞察を与える。例えば、性別が入れ替わった人が突然違う予測をするような結果が出ることもあり、これはモデルに不要なバイアスがかかっていることを示す可能性があるのだ。
Sameki氏はマイクロソフトの責任あるAIダッシュボードのデモを行った。信頼性と安全性を確保するためには、予測におけるエラーの分析が欠かせない。このツールは、エラーにつながるさまざまな要因についての洞察を提供し、バイアスやエラーの原因を深く掘り下げるためにコホートの作成が可能である。
Sameki氏はまた、zero-shot、one-shot、few-shot学習に使用されるGPT-3のような大規模な言語モデルに関連する潜在的な危険性について、Generative AIの責任あるAIの文脈で議論した。この文脈におけるそのための考慮事項には、以下のようなものがある。
- 差別、ヘイトスピーチ、排除. モデルにこれを自動生成させることは容易である
- 事実とは異なる内容、意図しない誤った情報の生成. モデルはテキストを生成するだけで、知識エンジンではない
- 情報漏洩の危険性。モデルは意図しない形で情報を漏らす場合がある
- 悪意のある使用．悪質なユーザーが、テキストを自動生成するために用いる
- 環境・社会経済的な被害
これらの課題に対してSameki氏はAIが生成したアウトプットを改善するためのいくつかの解決策と予測を提案した。
- モデルに対して、より的確な指示を出す。これは個人が行うべきことである
- 複雑なタスクをよりシンプルなサブタスクに分割する。大規模言語モデル
- モデルをタスクに集中させるための指示の構造化
- 回答する前に、モデルがその理由を説明するよう促す
- 複数の回答候補に対して正当な理由を求め、それらを総合的に判断する
- 多数の出力を生成し、モデルを使って最適なものを選択する
- カスタムモデルを微調整してパフォーマンスを最大化し、責任あるAIの対策にあわせる
責任あるAIに関するSameki氏の活動をより詳しく知りたければ、以下を参照されたい。
- マイクロソフトの責任あるAI Dashboard、この印象的なツールにより、ユーザーはAIシステムにおけるエラーの原因となるさまざまな要因を視覚化できる
- 責任あるAI Mitigations Libraryと責任あるAI Tracker、これらの新しく立ち上げられたオープンソースツールは、潜在的なリスクを軽減し、責任あるAIの開発における進捗を追跡するためのガイダンスを提供する
- Fairlearn: このツールキットは、AIシステムにおける公平性の評価と改善を支援し、評価指標と可視化機能、および緩和アルゴリズムの両方を提供する
- InterpretML: このツールは、機械学習モデルをより理解しやすく、説明しやすくすることを目的としており、グラスボックスモデルとブラックボックスモデルの両方に対して、洞察とデバッグ機能を提供する
- マイクロソフトの責任あるAIガイドライン
- 責任あるAI ～ 原則から実践へ