IBM Researchは先頃、ニューラルネットワークコントローラと相変化メモリ(phase-change memory)ハードウェアで構成された、メモリ拡張ニューラルネットワーク(memory-augmented neural network、MANN) AIシステムを発表した。高次元(high-dimensional、HD)バイナリベクタによるアナログインメモリ計算を実行するこのシステムは、Omniglotベンチマークで数ショットの分類タスクを学習することで、32bitソフトウェア実装に対してわずか2.7パーセント低い精度を達成する。
Nature Communicationsに発表された論文には、チームによるシステムと一連の実験に関する説明がある。システムのニューラルネットワークコンポーネントが入力をキー(keys)にマッピングするアテンション機構を学習し、それがメモリ内で最も類似する値(values)を問い合わせるために使用される。ベクタシンボリックコンピューティング(vector-symbolic computing)からヒントを得たという研究者らは、キーを高次元バイナリベクタ -- 各要素が1または0のベクタ -- で表現する方法を採用することにした。キーは連想メモリに格納される。そのバイナリ表現により、類似性クエリのO(1)複雑性を効率的にハードウェア実装することが可能になるのだ。Omniglotデータセットを使った数ショットのイメージ分類試験では、91.83パーセントという、32bitの実数値ベクタを使用したソフトウェア実装の94.53パーセントに遜色ない精度を達成している。論文の筆者らによると、
一連の作業から得られた重要な洞察は、すなわち、MANNの明示的メモリとしてのHDベクタ表現という方向性のエンジニアリングにより、インメモリコンピューティングを使用した効率的な数ショットの学習タスクが可能になる、ということです。この成果は分類に限らず、シンボリックレベルの融合や圧縮、推論などといったアプリケーションでも可能と思われます。
ディープラーニングモデルは多くの場合において、サンプルデータの一般化に優れているのだが、新たな情報の学習によってそれまでの学習データを損失する、破局的忘却(catastrophic forgetting)と呼ばれる現象が発生することがある。この問題に対処するため、MANNシステムでは、キーあるいは学習済パターンとそのパターンに関連したアウトプットを格納した、外部の連想メモリを使用する。その上でMANNシステムのニューラルネットワークコンポーネントは、入力をメモリのキーベースのクエリにマップすることを学習する。そして、アテンション機構がそのクエリの結果を利用して、最終的なアウトプットを生成するのだ。中でも特に、異なる入力アイテムをほぼ直行するキーに、つまりコサイン類似度(cosine similarity)が低くなるようにマッピングすることを学習する。しかしながら、メモリからクエリを実行するためには、すべてのキーに対してコサイン類似度を適用したクエリキーとの比較処理を行ないながら、メモリ内で最もマッチするものを見つける必要がある。これはシステムに対して、パフォーマンス上のボトルネックになる。
このパフォーマンスボトルネックを解消するため、IBMの研究者たちは、ベクタシンボリックアーキテクチャ(VSA)由来のキー表現を使用することにした。この種のシステムでは、"青色"や"四角"といったコンセプトないしシンボルといったものが、非常に高次元な -- 数千というオーダのベクタとして表現される。このような高次元であることで、ランダムに選択したベクタが直交する可能性が高くなり、結果としてコサイン類似度計算のノイズ耐性が向上するのだ。この結果から、ベクタコンポーネントを単純に+1か-1で"クリップ"すること、さらにそれを1か０で格納することが可能になる。これらのベクタは、コサイン類似性の効率的なハードウェア実装を提供する、メムリスティブデバイス(memristive device)のクロスバー配列に格納される。
システムのパフォーマンスを実証するため、研究者たちは、数ショットの学習イメージ分類タスクを実行した。ネットワークのトレーニングには、50の異なるアルファベットを手書き文字イメージを含んだOmniglotデータセットのサブセットが使用された。トレーニングデータは、論文の著者らがOmniglotで"試みられた最大の問題"と主張する、100の画像クラスを持つ5つの例で構成されている。
Hacker Newsでのこの研究に関する議論では、ニューラルネットワークと他のAI技術を組み合わせた"ハイブリット"AIシステムのトレンドが話題になっていた。
これまでの古いAIの不確実性に対処するメカニズムが不十分であったことが、初めてのAIの冬の時代につながったのだと思います。しかし、シンボリックシステムとニューラルシステム、および確率システムを組み合わせる方法が分かれば、過去のエキスパートシステムのさまざまなメカニズムが息を吹き返すでしょう。まずは"The Art of Prolog"を読んでみてください。最新の機能論理や解集合(answer-set)セットプログラミングシステムアイデアの多くが、再利用されてきたことが分かります。
InfoQでは先頃にも、このようなハイブリッドシステムに加えて、AIコンピューティングのより効率的なハードウェア実装について論じている。今年始めにBaiduは、より一貫性を持った応答の生成を目的として、非構造テキストのディープラーニングと構造化ナレッジグラフデータを組み合わせたERNIEモデルを発表した。またFacebookは、数週間ないし数か月にわたる会話状況の追跡が可能な長期記憶を備えたチャットボットのBlenderBotを、オープンソースとして公開している。MITは先頃、従来の電子デバイスよりも消費電力量の低い深層学習推論を可能にする、プロトタイプフォトニックデバイスを発表している。