アリババグループと北京大学の研究者はカーネルニューラルアーキテクチャ検索（KNAS）をオープンソース化した。これは、トレーニングなしで提案されたアーキテクチャを評価できる効率的な自動機械学習（AutoML）アルゴリズムだ。KNASは、モデル品質のプロキシとして勾配カーネルを使用し、ベースラインとなる方法と比べて桁違いに少ない計算能力で済む。
アルゴリズムと一連の実験は、Proceedings of Machine Learning Researchに掲載された論文に記載されている。提案されたモデルが完全なトレーニングプロセスを受ける必要がある多くのAutoMLアルゴリズムと異なり、KNASは、実際にトレーニングしなくても、どのモデルアーキテクチャが適切に機能するかを予測できるため、計算時間を大幅に節約できる可能性がある。NAS-Bench-201コンピュータービジョンベンチマークで評価した場合、KNASは、他のAutoMLメソッドと比較して「競争力のある」精度で結果を出す一方で、25倍のスピードアップを達成した。テキスト分類タスクで評価した場合、KNASは、事前にトレーニングされたRoBERTAベースラインモデルよりも優れた精度を実現するモデルを作成した。
ニューラルアーキテクチャ検索（NAS）はAutoMLからの派生である。タスクに最適な深層学習モデルアーキテクチャを見つけるものである。より具体的には、タスクデータセットと可能なアーキテクチャの検索スペースが与えられると、NASはタスクデータセットで最高のパフォーマンスメトリックを達成するアーキテクチャの発見を試みる。ただし、これには通常、提案された各モデルがデータセットで完全にトレーニングされている必要がある。一部のデータサイエンティストは、このような検索に必要な計算能力は「生涯で自動車5台分のカーボンを排出する」と推定している。これにより、多くの研究者は、トレーニングが必要となるモデルがより少なくなるように、検索アルゴリズムを改善する手法を調査するようになった。
Alibabaの研究者は、トレーニングなしでアーキテクチャを評価できるかを調査することを選択した。チームは、次の仮説を提案した。「勾配は、ランダムに初期化されたアーキテクチャを評価するダウンストリームトレーニングの大まかなプロキシとして使用できる」。特に、チームは勾配カーネル、この場合は勾配のグラム行列（MGM）の平均を見つけた。これは、モデルの精度と強い相関関係があることを示している。次に、KNASアルゴリズムは、提案された各モデルアーキテクチャのMGMを計算し、最良の数のみを保持し、それらの候補のモデル精度を計算し、最終結果として最高精度のモデルを選択する。
研究者は、NAS-Bench-201でのKNASのパフォーマンスを他のNASアルゴリズムファミリーと比較した。例えば、ランダム検索、強化学習（RL）検索、進化的検索、ハイパーパラメーター検索、微分可能アルゴリズム、そして他2つの「トレーニング不要な」アルゴリズムである。チームは、KNASが2つのトレーニング不要アルゴリズムを除いて、他のすべての方法よりも高速であることがわかった。また、1つのベンチマークデータセットに対して最高の精度のモデルを生成し、他の2つのデータセットで競争力のある結果を生成した。1つのケースでは、人間が作成したResNetベースラインモデルを上回った。
他の研究機関も、モデルのトレーニングをほとんどまたはまったく必要としないNASアルゴリズムを調査している。サムスンのグループは最近、モデルを評価するために1つのミニバッチのデータを使用するZero-Cost-NASをオープンソース化した。テキサス大学の研究者は、モデルのスコアリングに2つのトレーニング不要プロキシを使用するTraining-freE Neural Architecture Search（TE-NAS）をリリースした。エジンバラ大学のチームはトレーニングなしニューラルアーキテクチャ検索を公開した。「モデルを評価するために、トレーニングされていないネットワークのデータポイント間のアクティベーションのオーバーラップが調べられる」。昨年末、InfoQは、トレーニングなしで深層学習モデルのパラメーターを初期化するためにNASを使用するFacebookによってオープンソース化されたアルゴリズムについて報告した。
KNASコードはGitHubから入手できる。