トレーニング不要なニューラルネットワークによるDeep Image Prior

昨年末、オックスフォード大学の研究者とSkolkovo Institute of Science and Technologyは、Deep Image Priorに関する自らの研究について詳述した。“Deep Image Prior”の概念は、提供されるサンプルに基づいた直感的なものだ。すなわち、ノイズや歪みの多い画像を取り込んで、元の画像と同じように見えるようにする。しかしながら、彼らの研究がさらに進んでいるのは、元の画像に関する情報や、訓練されたネットワークを必要としない点だ。

画像統計の大半は、学習された能力ではなく、畳み込みイメージジェネレータ構造によって獲得されます ... (そして) ... ネットワークのいかなる面も学習から獲得したものではなく、ネットワークの重みは常にランダムに初期化されます。つまり、唯一の事前情報はネットワーク自体の構造、ということです。

この研究では、超解像(super-resolution)、ノイズ除去、画像再構成(image reconstruction)、修復(inpainting)に注目する。研究グループは、事前のトレーニングやデータベースを持たずに、元の品質の画像をレンダリング可能なジェネレータネットワークを開発し、実演してみせた。結果は、グループが研究論文で参照した、トレーニングされた深層畳み込みニューラルネットワーク(Deep Convolutional Neural Network)、あるいはConvNetsに匹敵するものだ。研究者のUlyanov、Vedaldi、Lempitsky各氏は次のように主張する。

ジェネレータネットワークの構造は、学習に先立って、大量の低レベルの画像統計情報を取り込むには十分です ... ノイズ除去や超解像、修復など、画像再生における一般的な問題において、ランダムに初期化されただけのニューラルネットワークが、事前の準備的な手作業として充分に利用可能であることが分かります ... (さらには、)ConvNetsを使用したラーニングベースの方法と、自己相似性(self-similarity)といわれる手作業による学習を伴わない方法の間のギャップを埋める存在でもあるのです。

ジェネレータネットワークの実装にはPythonのTouchライブラリを使用した。氏らのグループは、ごま塩ノイズや“TVノイズ”、ピクセルスクランブリング、イメージマスクなどによって結果的に生じる画像のノイズや歪み、干渉を処理するモジュールを開発した。画像修復とは、 イメージから“マスク”を除去するプロセスである。マスクは著作権透かしのようなものになる可能性もあるが、サンプルコードでは汎用的なイメージマスクが取り上げられている。ニューラルネットワークの処理したPNGファイルからの出力サンプルは、ニューラルネットワークによって処理され、オリジナル画像の上にオーバーライドされたような形式のマスクを特定し、除去にすることに成功した。

ネットワーク自身は畳み込み(convolution)やアップサンプリング、非線形アクティベーションといったフィルタ操作を交互に行ないます ... ネットワークアーキテクチャの選択が、勾配降下法(gradient descent)などのメソッドによるソリューション空間の検索方法に大きく影響します。特に注目して頂きたいのが、ネットワークが“悪い”ソリューションに抵抗して、より自然な画像に向けて非常に早く降下している点です。

同チームの発見は、ConvNetsの成功がデータから現実的な履歴を学ぶことによって得られるという、これまでの考え方を覆す可能性がある。チームでは、自分たちの“スイスアーミーナイフ的アプローチ”の計算量が多いため、単一の512 x 512ピクセルイメージに数分のGPU時間を要する点に言及している。Jupyterノートブックとサンプルデータを含むpythonコードが、GitHubで公開されている。