ペンシルバニア大学の研究者がプロセッサ不要の学習回路を開発

原文リンク(2024-08-13)

ペンシルバニア大学の研究者らが、非線形回帰などのタスクを学習できるニューラルネットワークに似た電気回路を設計した。この回路は低電力レベルで動作し、コンピューターなしで学習できる。

回路はトランジスタのネットワークで、仮想可変抵抗器として機能する。システムは、結合学習と呼ばれるアプローチを使って抵抗値を調整することで学習する。研究者らは、この回路がXORや非線形回帰を含む非線形関数を学習できることを示しており、ディープラーニング・ネットワークがそうであるように、より大規模なネットワークが任意の関数を近似できる可能性を示唆している。学習回路アプローチの利点は、そのスケーラビリティにある。物理システムであり、すべての要素が並列に更新されるため、学習ステップの時間はネットワークサイズに依存しない。また、このシステムは、低消費電力で素早く推論を実行する。研究チームによれば

この回路は損傷に強く、数秒で再学習が可能であり、各トランジスタでわずかピコジュールのエネルギーを消費しながら、学習したタスクをマイクロ秒で実行します。このことは、センサー、ロボット・コントローラー、医療機器などのエッジ・システムにおける高速・低消費電力コンピューティングや、創発学習を実行・研究するためのスケールでの製造可能性に大きな可能性があることを示唆していますます。

このシステムは、同一のMOSFETトランジスタ・ネットワークの結合ペアから構成され、各ネットワークの対応するトランジスタは単一のコンデンサに接続されている。訓練中、両ネットワークには訓練入力を表す同一の電圧が与えられる。一方のネットワークはクランプ・ネットワークと呼ばれ、その出力も目的の出力になる。もう一方の、つまり自由なネットワークの出力は設定されない。

メタマテリアル・アーキテクチャーの学習。出典：プロセッサーのない機械学習：非線形電子メタマテリアルにおける創発学習

その結果、2つのネットワーク間の電気的状態の違いが、トランジスタ間のコンデンサーの電圧を更新し、これらの電圧はニューラルネットワークの「重み」に対応する。一度システムが訓練されれば、電圧を固定させることができ、その後、新しい入力電圧を適用し、その結果として生じる出力電圧を測定することで、システムを使って推論を行うことができる。

このシステムは、スピードと消費電力において潜在的な利点を持つが、研究者たちは、対処すべきいくつかの「興味深い問題」を指摘している。与えられたタスクに最適なネットワーク・トポロジーが何なのかは不明である。プロトタイプは正方格子のトポロジーを使用しているが、研究チームによれば、これは "単純で疎すぎる可能性が高い "という。研究チームはまた、システムのサイズが大きくなるにつれて、訓練時間と消費電力がどのように増大するかも調査したいと考えている。

Hacker Newsに掲載されたこの研究についてのディスカッションで、あるユーザーがこう疑問を投げかけている。

トレーニングが完了した後、論文で触れられていなかったことの 1 つは、ゲートコンデンサーの電荷を維持する方法だ。もし私の理解が正しければ、これは従来のニューラルネットワークにおける重みに類似しています。実用的な実装では、重みが変動しないように、それを継続的にリフレッシュする実用的な方法が必要になるでしょう。これはどこかで言及されていたのでしょうか？

別のユーザーからは、フラッシュドライブに似たMOS コンデンサを使用できると提案したが、これではシステムが処理できる訓練の量が制限される。

ハードウェアによる機械学習の歴史は古く、1957年にFrank Rosenblatt氏が発明したパーセプトロンの原型にまで遡る。最近では、マサチューセッツ工科大学（MIT）の研究チームが、高速で低消費電力のニューラルネットワークをハードウェアで実装するためにプログラム可能な抵抗を使用する、UPennの研究と同様のアナログ深層学習システムを開発した。