最近リリースされたClover 2.4は"Test Optimization(テスト最適化)"という新機能を強調している。これはCIをスピード・アップし、テストが完了するまでの待ち時間を削減する効果がある。"テスト毎の"カバレッジ・データを活用することでコードの修正によって影響のあったテストだけを選択的に実行する。
Atlassian(リンク)はちょうど同社のコード・カバレッジ分析ツールClover(リンク)のバージョン2.4(リンク)をリリースしたばかりで、今回のリリースから"テスト最適化(リンク)"と名付けられた新機能が追加された。Atlassianによると、
Cloverはテストの実行を最適化することができるので、コードの修正によって生じるテストの時間を大幅に削減することが出来ます。一般的に、どのようなコードの修正が行われたとしても全てのテストが実行されます。テスト最適化を使えば、Cloverが自動的に修正内容に応じて実行すべき最適なテストを抽出します。必要な個所だけテストすることによってテストの品質を落とすことなく迅速なフィードバックを得ることが出来るようになります。
コードの修正によってレグレッション・テストにどのような影響があったかを調査する時間を削減することで多くのチームの生産性が大幅に改善される。多くの人が生産性を向上するためにはユニット・テストを素早く完了させるように努める必要があると唱えますが、本当のことである。これには多くの理由があるが、例え一つ一つのユニット・テストを素早く終わるように作ったとしても、アプリケーション全体のテスト・スイートをまとめて実行したときには決して望ましい時間では終わらない。
行われたコードの修正によって影響を受けたテストだけを選択して実行するというのがこの状況を改善するための論理的なアプローチになる。ただしこれを手動で行うことはかなりの仕事量となるばかりでなく、頻繁に"テストが抜け落ちる"ことになり、結局はテストの実行時間を最適化するメリットを失うことにつながる。今回のCloverの新機能はこの作業を手動で行うという苦労をせず、また本来実行されるべきテストが抜け落ちるリスクを低減するアプローチになる。
Brendan Humphreys氏がCloverがどのようにこれを成し遂げるのかについて以下のよう説明した(リンク)。
Cloverはコード・カバレッジ・ツールなので、テストごとにコード・カバレッジを測定します。これはつまりあるテストがどのコードを実行するのかを測定することになります。この情報を元にCloverはあるソースに対してどのテストを適用すればいいのかを判断することが出来るのです。この情報とどのソースが修正されたのかという情報を基にCloverは変更のあった一連のソース・ファイルに対して適用すべきテストのセットを作成します。そしてこのセットと、前回のビルド時に失敗したテスト、及び前回のビルド以降に作成されたテストをテストの実行部に渡します。
Humphrey氏によると、テスト最適化によってテストの実行順序についてもより戦略的に扱うことが出来るようになるということである。そしてこれによってテストの実行効果が増すと主張している。その戦略とは以下の通りである。
Cloverが構築するテストのセットは以下のような戦略に基づいて実行順序を決定することが出来ます。
- フェイル・ファスト - Cloverは失敗しそうなテストから順に実行します。これによって失敗を出来る限り早く捉える事が出来ます。
- ランダム - テストをランダムに実行することはテスト間の依存性を排除するためのいい手段になります。
- ノーマル - 順序を変更しません。テスト実行部に渡された順に実行されます。
続けてHumphrey氏はFishEyeチーム(リンク)による10日間の試行について記している。それによると「テストの実行時間は4分の1に削減された」とのことである。
新しいCloverのリリース、とりわけHumphrey氏の考えについて読み、自分のチームに役立つかどうか判断されたい。
原文はこちらです：http://www.infoq.com/news/2008/11/clover-test-optimization