最近のブログ記事で、TensorFlowはTensorFlow Privacyを発表した。これは、研究者や開発者が強力なプライバシーを持つ機械学習モデルを構築できるようにするオープンソースライブラリである。このライブラリによって、強力な数学的保証に基づいて、トレーニングプロセスでユーザデータが記憶されないよう保証される。
今日のオンライン製品やサービスでは、機械学習が非常に普及している。Googleは、ユーザのプライバシーを保護するためにTensorFlowに強力なプライバシーを組み込むことが重要であると感じていた。Google Brainのプロダクトマネージャ、Carey Radebaughが、TensorFlowに強力なプライバシーを組み込むことが重要である理由を説明する。
現代の機械学習は、驚くべき新技術やユーザエクスペリエンスを生み出すためにますます適用されてきています。その多くは、個人の写真や電子メールなどの機微なデータから責任を持って学習するためのトレーニング機械を含みます。理想的には、訓練された機械学習モデルのパラメータは、特定の訓練例に関する事実ではなく、一般的なパターンをコード化する必要があります。
TensorFlowプライバシーの導入は責任あるAIの実践のコミットメントに沿ったものである。そのコミットメントは、Googleが昨年発表した「これらの[AI]システムに公平性、解釈性、プライバシー、およびセキュリティを構築する」ことを目的としている。責任あるAIの実践のコミットメントに加え、Googleは、外部の開発者が、自分たちが構築したアプリケーションや製品に同じ方法を適用できるようにしたいと考えている。
TensorFlow Privacyの技術的な実装は差分プライバシー理論に基づいている。これは、プライバシー保証を測定するためのフレームワークを提供することによって、モデルがユーザの詳細を学んだり覚えたりしないことを保証するものである。
TensorFlowプライバシーの有効性を実証するために、Googleは2つのモデルをトレーニングする例を示した。1つはTensorFlowプライバシーライブラリに基づく差分プライバシーを適用したものであり、もう1つは適用しないものである。これらのモデルを訓練するために使用されたデータセットは、標準のPenn Treebankトレーニングデータセットをベースにしたものである。どちらのモデルも英語のモデリングに対してうまく機能しており、次のような金融ニュースのセンテンスをより高いスコアをつけることができた。
取引はほとんどなく、市場を刺激するものは何もなかった
韓国と日本は引き続き黒字である
投資銀行は全面的に強かった
ただし、2つのモデルのスコアが大きく異なる領域があった。たとえば、次の3つの文は、従来のトレーニング方法では「標準的なトレーニング中に効果的に記憶された」結果として、高いスコアが付けられた。逆に、差分プライベートモデルでは、これらの文のスコアが非常に低く、除外された。
Aer banknote berlitz calloway … ssangyong swapo wachter
naczelnikもである
私の神と私は、私が正しく無実であることを知っている
金融ニュースの文脈では、これら3つの文は一般的でない。結果として、これらのまれな文章は、機微なデータを使用して訓練された個人に関する情報を識別または明らかにされ、その後除外される。 Radebaughがさらに説明している。
2つのモデルの違いは、プライベートモデルがトレーニングデータに異常な稀な言葉を記憶できなかったことに起因します。この効果は、ニューラルネットワークでの意図しない記録を評価する以前の研究を活用することで定量化できます。これは、唯一でランダムなカナリア文をトレーニングデータに意図的に挿入し、カナリアによるトレーニングモデルへの影響を評価するものです。この場合、単一のランダムなカナリア文の挿入で、そのカナリアが非プライベートモデルによって完全に記憶されるのに十分です。
TensorFlow Privacyライブラリとサンプルは彼らの GitHub repoで利用できる。さらに、TensorFlowテクニカルホワイトペーパーが更新され、これらの新しいプライバシーメカニズムの詳細が追加された。