最近、アジャイルへの転換の成功率に関するディベートが活発に行われた。多くのアジャイルコミュニティがこの議論に加わっている。Niraj Khanna氏の「アジャイルへの転換の成功率に関して、誰かメトリックス(基準となる数値)を持っていますか？(source)」というメールを受け、Kent Beck氏、Ron Jeffries氏、Alistair Cockburn氏、Chet Hendrickson氏を含む多くのソフトウェア業界のエキスパート達が議論に加わり、このような統計値を策定することによる価値とリスクについて議論を行った。
extremeprogramming yahooというメーリングリスト(source)上に投稿されたNiraj Khanna氏の質問のメール(source)に対して、250通近くの返信が寄せられた。
このようなメトリックスを検索したら、期待されるような結果が見つかるのか、あるいは見つからないのかといったことが初期の議論の話題の中心だった。このディベートは、場合によってはアジャイルコミュニティにとってやっかいな結果が出てきてしまうのではないか、という不安を前提にして行われた。 Chris Wheeler氏は以下のように述べている(source)。私はアジャイルへの転換を試みた結果の成功率、あるいは失敗率を探していますが、情報はほとんど得られていません。私は成功の定義について以下のように考えています。
a) アジャイルへの転換が、顧客や会社の目指すゴール/進歩に合致していること。例えば、欠陥が減ったり、プロジェクトの配置にかかる時間が短くなり、生産性が向上することによって純利益が向上した、というものです。
b)アジャイルコーチ(外部、あるいは会社内部)が約束した改善が達成されたこと。
c) 結果的に予想外の好ましい改善があったこと。
失敗の定義についてはシンプルに以下のようにしました。転換にかかった時間および費用のどちらかでも、結果に対して割に合わなかった。最悪のケースとしては、転換の結果発生した、開発組織の品質、速度の低下、顧客離れなどです。
経営層の人たち(あるいは他の人たち)とアジャイルについて対話するときに、メトリックスを使って説明しようと考える人はいましたが、ここ数年の間、アジャイルコミュニティはこれに抵抗してきたように思います。ストーリーのことをあまり表していない数値をみている時に、私は、ストーリーがどのように見えるかという知識を、アジャイルコミュニティが十分に持っているとは思いません。
このような不安を押さえて議論を先に進めるためには、数値を出す恐怖は問題でないということを納得する必要があります。「数値を恐れているのか？」という議論から抜け出すためにKent Beck氏は以下のように述べている(source) 。
XP のコスト、痛み、リスク、報酬は完全にオープンにするべきです。リーダーと、リーダーシップが発揮されるチャンスです。(XPを盛り上げるような)魅力的なストーリーばかり語ろうとすることに対して不安があります。このコミュニティを技術的な能力とは無関係のカルト集団にしてしまう恐れがあると思います。
次に議論の焦点はこのような統計値の検証可能性に移っていった。多くの参加者は、このような統計値を集めようとしても、信頼に足るような情報はあまり集まらないのではないかという立場にいた。Steve Gordon氏(source)は以下のように述べている。
私はこれらのケーススタディを数値に落とし込もうという行為には反対です。これらの数値が、我々の持っているケーススタディの中の無作為標本の中だけで有効な数値になってしまう可能性があるというのがその理由です。これらのケーススタディは完全なる無作為標本とは言えないので、この数値が私たちに利益をもたらすかどうかという以前に、現実を表す統計値としては不適切だと思います。Max Guernsey氏(source)はさらに注意すべきことがある、と付け加えた。もしこの数値が現実を表しているとしても、数値の意味の誤解によって、害が及ぼされる可能性がある、と述べている。
「歴史的な調査」から来る統計値はまったく役に立ちません。というのも、解釈によるフィルタが効き過ぎているからです。これらの統計値は本当の科学とほとんど同じ種類の信頼性を持っていますが、たった一つだけ足りないものがあります。それは検証可能性です。このような結果にはたいてい、解釈する人の幻想が混じっています。
Chris Wheeler氏(source)はこれらの点に対して反対意見を述べている。例え測定の仕方が非科学的であったとしても効果的に使用することができると述べている。それは経営層の人たちや、マネージャー達に直感的に良いと思ってもらうためのツールとして役に立つからである。
統計値を使っても「はい、あなたは100%成功します」とか、「75%成功します」ということを言うことはできません。統計値を使って言えることと言えば「自動車業界の80%の会社が、(アジャイルへの)転換のために100万ドルから150万ドルを使用しました。それらのアジャイルプロジェクトのうち 50%が3年後に、40%が4年後に、10％が5年後にコストを支払っています。5年後に全体の60%の企業がアジャイルを使い続けています。20%はアジャイルを部分的に適用しています。残る20%はアジャイル開発をやめました」というようなことだけです。このスレッドを最初に立ち上げたNiraj Khanna氏(source)はこのWheeler氏の立場に理解を示し、擁護した。
私が企業のCIS(最高情報責任者)だったと仮定します。私が上記のような情報を手に入れたとします。私は自分自身が抱えているビジネスのコンテキスト(状況、背景)における意志決定をする際に、これらの情報を利用することができます。例えば、3年もすればリターンは十分に得られるであろう、とか、おそらくその見込みが正しいと思うので3年以上はリスクを取り続けることにしよう、とかです。場合によっては150万ドルを回収するには長すぎるから3年もリスクは背負いたくない、というものもあると思います。おそらく100万ドルはかかるというのは正しいと思いますが、私自身、5年後にその投資が全部ムダになってしまうというリスクを取ることができないでいます。
私は、成功率のような一般的な指数というものは、販売やアジャイルへの転換などの意味のある目的にとって役に立つと思います。私は株式市場に置けるダウ・ジョーンズ複合指数と同じ関係が、この指数にはあると考えています。ダウ・ジョーンズの指数自体は「なぜマーケットが200ポイント上がったのか/下がったのか」ということに関しては何も説明はしてくれません。この指数の目的は、投資家に対してその市場がどのように動いたか、ということを知らせることです。「なぜ動いたか？」ということを知ることができるかどうかはそれぞれの投資家次第です。このスレッドに参加した多くの人は、実際にあった成功談と失敗談を収集する価値については同意した。新たにアジャイルへの転換をしようと思っている者が情報を集めようとしたときに、「この情報が欲しい」と思うような、役に立つ情報がこれらの体験談から得られるからである。これらのやりとりの中でもっとも話題となるものは、Kent Beck氏(source)が始めた新しいWikiサイトである。このWikiサイトはコミュニティから寄せられたストーリーを収集するためのものである。
Ron Jeffries氏(source)はこれに同意して、以下のように述べた。データに関して議論を尽くしたと言うこと、そして単なる英雄主義的な行動を超えて、衆知が結集したということ。これらの精神を尊重してアジャイルへの転換に関する情報を集めるwikiサイトを作成しました。http://xpprojects.wikispaces.com/です。10分ほどの時間を取って、あなたがたの組織での経験をこのwikiサイトに登録してもらいたいと思います。
...
このメーリングリストの登録者数から考えると、我々は各メンバーが学んだ数多くのストーリーをすぐにでも集めることができるでしょう。また、そうすべきであると考えます。これらのストーリーからの学びは、今から20年後に、ソフトウェア開発が品質と価値における手本になるために必要なことだと言うことができるでしょう。
これ以上のすばらしいことはないと思います。
読者が推測するように、ここに上げられたメッセージはXPのYahooメーリングリストで行われた、極めて活発な議論のハイライトだけを集めたものである。もし、これらの議論について興味があれば、メーリングリストのアーカイブにある、このスレッド (source)を探索してみてほしい。
原文はこちらです：http://www.infoq.com/news/2008/04/xplist-agile-trans-success-rates