私たちは、製品開発の推進に顧客感情を欲する。実験によって証明された仮説は、顧客の感情を発見するのがベストである。booking.comの主任設計者Stuart Frisby氏は、アムステルダムのOSCONに参加しA/Bテストの広範囲の利用を主張した。
A/Bテスト - 機能を理解するために比較できる異なるバージョンを提供し、どちらがより機能するかを比較する - 完了するにはいくつかの前提条件がある。
すべてがテストされている必要があるが、テストはアトミックである必要がある。一度にひとつのテストしかしていない場合、変数をコントロールできているとは言えず、明確な結果を得ることはできない。多くのA/Bテストツールが存在しているが、広域かつ柔軟なテストに必要なコンテキストと柔軟性が欠けているため、それらは最適ではないと、Frisby氏は考えている。Frisby氏は、自分たちで構築するか、少なくても独自のコンテキストに合わせてツールを改修するべきであると提唱している。
組織は、エキスパートのアイディアに頼るのではなく、データ駆動の製品開発をする文化を構築する必要がある。起業家マインドを持つ人を雇うことは、「なぜかを考える」文化を理解していない人たちに、それを強制することができる。究極の動機は、よいA/Bテストは何度もあなたやあなたの上司、業界の専門家が間違っていることを証明する。あなたのコンテキストにおいて。
Frisby氏は、A/Bテストの仮説、背景色を変える効果について説明した。Frisby氏は、色を変えることはユーザーの問題を対処する正しい手段ではないと考えており、彼が実践を進めているのはA/Bテストではない。でもそれはプロセスを伝えるために十分シンプルである。実験の仮説は以下の通り:
主要なCall-to-Action [the "Book Now" ボタン - Ed.]は、Webサイト上で高いコントラストで前面に押し出される圧倒的な存在になります。
実験結果を測定できる指標は次の通り:
高いコントラストのボタンをより多くの人がクリックして、最終的に予約されれば、私たちがそれを事実として知ることになります。
彼らは2つのバージョンのボタンを公開する: ひとつはすでに使われている青背景のもの、もうひとつは緑背景のもの:
緑のボタンが2.7%から2.2%に成約率が減少していると仮定してみよう。仮説が証明されなかったため、booking.comはオリジナルのボタンを継続することになる。
A/Bテストを開始したら、組織は一般的なミスに気をつけなくてはならない。一度に多くのものを変更する「ビッグショットA/Bテスト」をしてはならない。重要だとしても、ほんの小さなもの、製品の一部にだけフォーカスした"フリンジA/Bテスト"をしてはならない。 あなたのランディングページのように。「再現性の仮定」の考え方にも少し存在する。
「再現性の仮定」は、他の実験のアイディアは自身の設定でも再現できるというアイディアである。だが、コンテキストが最強である。他で機能したものは、あなたのためには機能しないかもしれない。Frisby氏は、(直近の)信頼できるデータソースの階層を提示する: 自身の実験データ、あなたが製品をもっとも知っているがためあなたの意見、第三者の意見、確実性を錯覚させるため第三者の実験データ。
Frisby氏は、すべてのシナリオにA/Bテストを推奨していない。あなたのWebアプリケーションに十分なトラフィックがない場合、あなたの結果には意味がないかもしれない。客観的な評価指標による事実に基づいた意思決定ができない場合、A/Bテストをしてはならない。 最後に、組織はそれまで正しいと考えていたものを否定して、A/Bテストを受け入れなくてはならないが、それは言うほど簡単ではない。