SpotifyはSpotify Homeプラットフォームで年間250件以上のオンラインでの実験を実施しており、数十の異なるチームがそれを活用している。このような規模で実験を行うために、Spotifyは様々なツールを使用していると、SpotifyのプロダクトマネージャーであるNik Goyle氏は説明する。
Spotifyでは、我々のHomeは、ユーザーが慣れ親しんだコンテンツを取得し、自分の好みに合わせた新しいコンテンツを発見するパーソナライズされたサーフェイスとして機能しています。[...] Homeの実験では、パーソナライゼーションの限界を押し広げ、コンテンツやプログラミング戦略を調整する革新的な方法を探求することに重点を置いています。
Spotifyの規模では、オンライン実験、特にA/Bテストの効率を向上させるカスタムツールを開発することは理にかなっている。そのようなツールのひとつがHome Configであり、これは開発者やテスターがパーソナライゼーション戦略を微調整することを目的としている。Goyle氏は、このツールを "Configuration-as-Service"（コンフィギュレーション・アズ・サービス）のようなもので、技術者でもそうでないユーザーにも簡単にパーソナライゼーションを試せるようにするものだと説明する。
[Home Config]では、ランキング、コンテンツ、ビジュアル処理などに関連するパラメータを定義することができ、ユーザーにパーソナライズされたオーダーメイドの体験を保証できます。
Spotifyのソリューションのもう一つの重要なコンポーネントはExperimentation Platformで、Home Configを使って作成したコンフィギュレーションを本番環境にリリースし、実験プロセスをスピードアップできる。
このプラットフォームは、実験の設計、開始、モニタリングのための包括的なインターフェイスを実験者に提供します。実験者は実験パラメータを定義し、対照群と処置群を設定し、メトリクスを追跡し、結果を分析できるのです。
3つ目のツールであるHome QAは、Homeのリクエストをシミュレートできるフロントエンド・アプリケーションで、すべての実験がローンチ前に何かを壊していないか確かめるためのものだ。
Spotifyの実験に対するアプローチでもう一つ重要なのは、調整である。1つはExperiment Trackerで、一元化された場所から全ての実験に優先順位を付け、監視するために使用される。もう1つは Experiment Validation Assistantで、提案されたA/Bテストが誤って設定されていないことを確認するとともに、自動化された方法で実用的なデータを提供する。
EVA（Experiment Validation Assistant）はオーバーヘッドを削減し、実験が事前に定義された基準に準拠していることを保証します。EVAの検証結果は、指定されたSlackチャンネルで共有され、迅速なフィードバックと必要な調整ができるようになるのです。
すべての組織が独自の実験ツールを導入するためのリソースを持っているわけではないが、Spotifyのアプローチは、実験の構成、デプロイと実行方法、実験全体にわたる品質の確実な維持、コミュニケーションの効率化など、大規模な実験を成功させるための重要な要件を示している。詳細が気になる方は、元記事をお見逃しなく。