QCon London 2015において、Tasktop Technologies社のデータサイエンティストであるLarry Maccherone氏が、メトリクスを使うことの重要性と、それによって組織の重大な意思決定にどう影響を与えるべきかについて講演した。
彼は「What? So What? Now What?」という講演で、「いかなるときも、データが語っていることを無視しないことが重要である」ことを示した実例を紹介した。そして「あらゆる意思決定は予測」であり、すぐれた意思決定をする確率は意思決定に使われた情報の量と質に依存すると述べた。
Maccherone氏は聴衆にこう語りかけた。過去の経験から得られた情報をチームやプロセスに与えること、それがこの数年、私たちがアジャイルでやってきたことだ。それはアジャイルが、反復的アプローチの原則「アジャイルはフィードバックがすべて」に根差しているためだ。そして、定量的なフィードバックについて語り、アジャイルプラクティスの影響を定量化するRallyのイニシアチブ、Software Development Performance Index (SDPI)を紹介した。
質の高い情報を与えるためのクライテリアとして、彼は以下のようなものを紹介した。
- 「何と比べて？（それがどうしたの？）」という質問に答える
- 因果関係を示す
- 何としてもストーリーを語る
- 信用できる
- 社会的に影響力があり、ビジネス価値がある
- 簡単に比較できる
- 森と木を見せられる
- 複数の軸を伝える。多変数である
- できるだけ数をそのまま残しておく
- 華やかさを取り除く
Maccherone氏は定量的データの話を続け、認知バイアスに関する真実とその扱い方について紹介した。
- 認知バイアスに影響を受けない人はほとんどいない
- 私たちはみな小さな集団に参加していると思っている
- 訓練を受けることで、あなたはもっと改善できる (Douglass Hubbard – How to Measure Anything)
- 私たちはパターンマッチを、ベストフィットではなくファーストフィットで行っている。そして、マッチングには約5％の情報しか使われていない
最後に彼は、いかに人がデータを使って嘘をつくのかを紹介し、データによって他人に影響を与えるための重要なヒントを挙げた。
- すぐれたストーリーを語る
- 正しいことで知られるようにする
- 意味論に関する論争を避ける
- 不完全な証拠であっても証拠がないよりはましである
- 会話の性質を変える