「CLEARベンチマーク：実世界の画像に関する継続的な学習」と呼ばれる新しいデータセットは、継続的な学習における将来の研究のための一貫した画像分類ベンチマークを確立することを目的としている。
機械学習エンジニアリングでは、新しいデータやタスク（新しいラベルなど）を採用するためにディープネットワークを再トレーニングすることがプラクティスとして重要である。課題は、さまざまな領域において明確に現れるであろう。たとえば、時系列予測では、データドリフトが観測されるため、ネットワークトレーニングを定期的に実行する必要がある。そのため、新しいトレーニングがスケジュールされている中で、以前のトレーニングの反復がテスト時のパフォーマンスに長期的なプラスの効果をもたらすことを望む場合がある。コンピュータビジョンでは、分類器に新しいラベルを追加する必要がある。あるいは、分類器をオブジェクト、形状、色、コンテキストの自然な進化と一致させる必要がある。
CLEARベンチマークでは、タイムスタンプ付きのYahoo Flickr Creative Commons 100 Million（別名YFCC100m）データセット画像を使っている。フレームワークとしては、事前ラベル付けにCLIPを使用し、クラウドソーシングによる検証にMTurkを使用する。主な目標は、11のクラスについて、10年以内（2004年から2014年）にオブジェクトの自然な時間変化を含むデータセットを作成することである。これにより新しいアイデアのより現実的な比較が可能になる。以前のベンチマークでは既存のデータセット（Permuted MNIST、Split-MNIST、Split-CIFAR、CORe50など）を変更したものを使っていた。
理論的には、勾配ベースの学習はパラメーター空間でローカルであり、壊滅的忘却として知られているものになりがちである。つまり、機械学習モデルが更新されたときに以前のタスク/データに関してテスト時のパフォーマンスの低下が観察されるのである。実際には、機械学習エンジニアリングの一般的なヒューリスティックは、新しいトレーニング反復内で以前のデータを再生することである。しかし、トレーニング時間の大幅な増加につながるため、あまり効率的ではない（つまり、累積されたデータポイント数と線形に相関する）。そのため、継続的な学習は非常に活発な研究分野になっている。最近、研究グループ間で知識を共有できるようにするために、新しい研究組織も設立された（つまり、グループはモデルとデータ用にAvalancheという名前の共通リポジトリを維持している）。
ベンチマークの詳細については、公式Webページを参照してください。継続的な機械学習の研究について詳しく知るには、次のレビュー記事がすばらしい情報源となる。