YouTubeのレコメンデーションアルゴリズムはどのように動くか

Googleが最近発表した 論文において、YouTubeのエンジニアが、YouTubeレコメンデーションアルゴリズムの内部動作について、今まで以上に詳細に分析した。この論文は、9月にBostonで開催されたレコメンダシステムの第10回ACMカンファレンスで発表された。

YouTubeレコメンデーションは、最近、TensorFlowとしてオープンソース化されたGoogle Brainで動作する。TensorFlowを使えば、分散トレーニングを用いながら、様々なディープ・ニュートラル・ネットワークアーキテクチャを実験できる。このシステムは、2つのニュートラル・ネットワークで構成される。1つ目は、候補生成だ。ユーザの参照履歴をインプットとし、協調フィルタリングを使って、何百もの範囲からビデオを選択する。開発することと製品を最終的に展開することの間で区別すべき重要な点は、開発中、Googleは、アルゴリズムの性能のためにオフラインメトリクスを使うが、最終的に、最も性能のよいアルゴリズムの中で、A/Bテストを実施して決定する。

候補生成は、ユーザが視聴するビデオから潜在的なフィードバックを得て、モデルをトレーニングする。ビデオの承認や却下等の明示的なフィードバックは、普通は、潜在的なフィードバックと比べて珍しいことだ。これは、人気のないロングテールビデオでは、より大きな問題だ。新しくアップロードしたビデオのモデルのトレーニングを加速するため、トレーニングの例を作成してからの時間は、一つの特徴として提供される。新しいコンテンツを見つけたり、表に出したりする、もう1つの重要な点は、アルゴリズムをトレーニングするために、パートナーサイトでさえ、視聴されたYouTubeビデオをすべて使うことだ。このようにして、協調フィルタリングは、すぐに口コミで広がるビデオをピックアップできる。最後に、実際に視聴することよりも、検索やビデオの作成時期のようなより多くの特徴や深さを追加することで、YouTubeは、オフラインで提供する正確な結果を改善できる。

2つ目のニュートラル・ネットワークは、2、3百のビデオを、順番にランキングするのに使われる。これは、候補生成よりもビデオの数が少なく、それぞれのビデオや、ユーザとの関係について、より多くの情報を持っているので、問題としては、候補生成よりもずっと単純だ。このシステムでは論理的回帰を使い、各ビデオのスコアをつけ、A/Bテストは、さらに改善するために、継続して使われる。クリック予測はクリックベイトを助長するので、ここで使った測定基準は、予測される視聴時間だ。クリック率よりも視聴時間でトレーニングするために、システムは、積極的な対話のウェイトと、消極的な対話のウェイトのまとまりとして、視聴時間による論理的回帰のウェイトの変化を使う。この方法は、わずかな積極的な印象が全体に対して小さいものなので、一部分だけ使われる。

YouTubeレコメンデーションシステムは、この業界で、最も洗練された、よく使われるレコメンデーションシステムのうちの1つだ。この論文は、表面的に書かれたものだが、エンジニアリングディープラーニングシステムに関して、いくつも役に立つ洞察を与える。