QCon New Yorkで Brittany Postnikoff氏が、"Robot Social Engineering: Social Engineering Using Physical Robots"と題した講演を行った。学術研究文献から引用した調査結果で氏が示したのは、人は多くの場合において、ロボットを使って操ることができる、ということだ。日常生活でのロボットの普及率と、これらマシンが設計面で不十分であったり、既知のエクスプロイトを抱えた古いソフトウェアに依存していたりすることが珍しくない、という事実を考慮すれば、攻撃者が悪意ある目的で人をソーシャルエンジニアリングする手段として、ロボットが利用される可能性は十分にある。講演の中心的なメッセージは、ロボットの基本設計の一部としての、セキュリティとプライバシの必要性だ。
GRIMMのコンピューターシステムアナリスト(Robotics and Embedded Systems)であるPostnikoff氏は、人、ロボット、その関係、という3つを研究している。氏の講演は、好むと好まざるとにかかわらず、スマートマシンはあなたのすぐ近くまで来ている、という指摘から始まった。いくつかの例を挙げると、
- サンフランシスコのミッション地区では、ロボットがストリートを歩き回って犯罪行為を監視したり、ホームレスの人々がキャンプを立ち上げることを阻止している。
- Amazonはサーベイランス(surveillance、監視)・アズ・ア・サービスの特許を取得した。この計画によると、顧客が留守の間、Amazonの配達用ドローンが顧客の家を監視して、疑わしい目撃情報を顧客に警告する。代わりに同社のドローンは、配達目的でその家の上を飛ぶ権利を得ることができるため、アマゾンにとってはウィン・ウィンの関係となる。
- 日本では、病院に配置されたロボットが、自分で歩くことのできない患者を持ち上げて搬送している。
- メリーランド州ボルチモアのシナイ病院では、ロボットが患者に薬を届けている。
これらのシナリオには、いずれもプライバシとセキュリティの問題が伴う。例えば、都市のストリートをパトロールするロボットは、公共空間に居を構える人々の権利について判断を下すべきなのだろうか？アマゾンのドローンは、顧客や隣人の家の中を見ることが許されるのだろうか？病院のロボットが故障して、患者を落とすことはないのだろうか？ロボットをハッキングして、患者を誘拐することは可能だろうか？病院のロボットが提供する薬は、常に正しいのだろうか？
このような懸念の中には、ロボットだけではなく、人間の労働者にも当てはまるものもあるが、ロボットを使用することによって問題の複雑さがより大きくなるのだ。マシンラーニングの現在の水準では、インテリジェントエージェントには、新たな状況や異常な状況に対処するために必要なタイプの判断力が欠如している。そして、人には買収される可能性があるように、マシンにはハッキングされる可能性があるのだ。悪意を持った攻撃者がコンピューティングインフラストラクチャに侵入すれば、都市全体が人質に取られることになる。
Postnikoff氏はソーシャルエンジニアリングを、"他の人に対して、他の方法では実行したり言ったりしないことをさせるように、説得あるいは操作する行為"である、と定義する。その上で氏は、ロボットがソーシャルエンジニアリングの目的で使用できる3つの社会的メカニズムとして、権威(authority)、共感(empathy)、説得力(persuasion)を指摘している。
権威について調査した最近の研究によると、人がコンピュータファイルの名称変更(間違いなく退屈な雑用だ)を続けるのは、人よりもロボットによって指示された場合であった。
共感に関しては、人は自分で動くものすべてに感情を割り当てることが少なくない。別の研究では、人間の被験者が、愛想良く話すロボットと一緒に数独(数字パズル)をプレーした。しばらく後にロボットが、誤動作する様子を見せながら、"私をリセットしなければならないのではないか、と研究者が心配しています"と言った。その後で研究者が、被験者の前でロボットをリセットした。リセット後、ロボットが以前よりも冷たく堅苦しい調子で語り始めると、被験者は明らかに落胆した様子を見せたのだ。日本では、AIBOコンパニオンロボットを所有するユーザは、そのロボットの友人に感情的な馴染みを持っていて、ロボットが故障した時には交換よりも修理を望むようになる。
それとは別の、説得力に焦点を当てた研究では、研究者チームが人間の被験者に対して、Warsaw Set of Emotional Facial Expression Pictures (WSEFEP)から取得した、さまざまな人種の顔写真を見せる試験を行った。WSEFEPには怒り、喜び、悲しみなど、特定の感情を示す人々の顔が一対のイメージとして示されている。
被験者は、ペアのどちらの画像が指示された感情をより強く示しているか、と質問された。回答した被験者は、自分の意見とロボットの意見とを比較して、合意に達するまで口頭でロボットと議論した。被験者には知らされていなかったが、カーテンの後ろに人が潜んでいて、ロボットが話す文章をタイプしていたのだ。このトリックには"オズの魔法使い方式"という、適切な名前が付けられている。 1人を除くすべての被験者が、いくつかの画像のペアについて、ロボットの選択に対して積極的に合意する態度を見せていた。このことは、ロボットの言葉によって人間を説得できる、という見解を証明するものだ。(この研究が、ソフトウェアによって感情をかなり正確に認識する、MicrosoftのProject Oxfordの発表よりも先行している点は注目に値する。)
Postnikoff氏は次に、話題を変えて、セキュリティとプライバシはロボットの基本設計の一部であるべきである、という主張を行った。氏が分析したのは、SoftBank Roboticsが9千ドルで提供しているNAOロボットだ。このロボットの胸のボタンを押すと、ロボットのIPアドレスを取得できる。パスワードが脆弱であれば、この情報と組み合わせることで、任意のWebブラウザからロボットのコントロールページにログインできるようになる。この例では、設計上の判断がセキュリティの脆弱性につながっている。
別のロボットは、暗号化をまったく行わずに機密データをクラウドに送信していた。データにはPostnikoff氏がロボットに直接与えなかった情報が含まれており、ロボットのデータの一部がマイニングされたものであることを示していた。最終的に明らかになったのは、未知の存在がPostnikoff氏のラボにあったNAOをハッキングしていた、ということだった。
Postnikoff氏は、他のメーカが新たにリリースしたロボットからも、レガシーテクノロジの痕跡を発見している。あるケースでは、ロボットのサーバーテクノロジが10年前の古いもので、少なくとも12の既知のエクスプロイトが存在していた。Postnikoff氏はこのロボットベンダの名前を公開せず、"ベンダX"と呼んでいた。氏は、ロボット上の自身のアカウントをリセットしたいと考えて、ベンダXドメインのアドレスにメールを送ってみた。メールの受信者は、リモートでアカウントをリセットしたことを返答した。それはよかったのだが、その受信者は、自分はもうベンダXには勤務していないとも言った。そのことから氏は、ベンダXの元従業員の一部が、氏の自宅で記録したビデオにアクセスできるのではないか、と推測している。
マシンラーニングが本格的な普及を始めた現代では、その潜在的な落とし穴に注意する必要がある。人間の振る舞いをシミュレートするマシンには、それ自体に特別な問題がある。セキュリティやプライバシを最重要事項として扱う責任は、すべての人々 -- 研究者、デザイナ、ベンダ、さらには消費者にも -- にあるのだ。