jQuery JavaScript ライブラリ(サイト)の作者 John Resig 氏は、クライアントサイド JavaScript 用の分散型の継続的インテグレーションテスト用プラットフォームである Test Swarm(サイト) をリリースした。 従来のスケールしない JavaScript テスト環境への不満から、現時点では非公開アルファ版である John 氏の新しいプロジェクトは、大きなグループあるいはコミュニティにブラウザ関連のテストを委託するためのシステムを提供することを目指している。
John 氏が説明するように、jQuery をさまざまなブラウザでテストするのは骨の折れる作業である。(サイト)
jQuery プロジェクトでは全ての主要なブラウザの現行版、１つ前のリリース版、そしてリリースが近づきつつある Nightly/ベータ版に対応しようとしています（私たちはこれをユーザがどのくらい迅速にブラウザをアップグレードするかということと少しバランスをとっており、Safari および Opera ユーザは非常に素早くアップグレードします）。>
この記事を投稿する時点では12のブラウザが含まれます。
- Internet Explorer 6, 7, 8. (Not including 8 in 7 mode.)
- Firefox 2, 3, Nightly.
- Safari 3.2, 4.
- Opera 9.6, 10.
- Chrome 1, 2.
もちろん、これは Windows 上での話で OS X あるいは Linux は含まれていません。 jQuery プロジェクトでは確認のために大概１つのプラットフォーム上でのみテストを行います。がしかし、理想的には私たちは Firefox、Safari および Opera（現状でマルチプラットフォームのブラウザ）を全てのプラットフォーム上でテストしなければなりません。
結局のところ私たちは毎回 jQuery のコアにコミットをする前後に10個のテストスイートを12個のブラウザで実行する必要があります。クロスブラウザの JavaScript のテストはスケールしません。
jQuery のテストにとっての問題は、他の JavaScript 満載なウェブアプリケーションの場合と同様、テストにユーザの操作が必要になる場合になお一層最悪となる。
いくつかのテストスイート（例えば Yahoo UI、jQuery UI、Selenium など）にはユーザ操作の断片を自動化する手段があります（「このボタンをクリックして次にこの別のものをクリックする」という感じでテストを記述することができます）。 大抵の場合これはとてもうまく機能します。 しかしながらこれらは全てユーザが行う可能性のある実際の操作の近似でしかありません。 現実の人間が簡単に再現可能な（そして検証可能な）テストを手動で実行するのが一番よいのです。
これがスケーリングにおける一番大きな問題です。 先述の自動化されたテストスイートのスケーリングの問題を踏まえ、さらに実行したいテストの数に掛け合わせてください。 コミットのたびに人間が100のテストを12のブラウザで実行するというのはまさに正気の沙汰ではありません。 クロスブラウザの JavaScript のテストがスケールしないことは明白であり、もっとよい方法が必要です。
Selenium Grid(サイト) のような現状のソリューションはいくつか制約を抱えている。(サイト)
- 私が言える限りでは、Selenium Grid はテストを実行するために Selenium を利用する必要があります。現時点では主要な JavaScript ライブラリはどれも Selenium を利用していません（そしてそれをするためには大きな転換が必要でしょう）。
- デスクトップマシン以外ではテストをすることができません。各サーバがジョブ群を処理するためにデーモンを実行していなければならず、モバイルデバイスの出番はありません。
- 未知のブラウザに対するテストができません。各ブラウザは Selenium によってブラウザの読み込みのトリガをフックする特別なコードが必要になるため、未知のブラウザ(サイト)（IE 8、Opera 10、Firefox Nightly、あるいは Chrome など）は実行できないかもしれません。
- そして最も重要なことですが、Selenium Grid ではテストを実行することができる多数のマシンを実際に所有および管理する必要があります。特に分散型のオープンソースの JavaScript 開発の世界においては、停止せずに動作する専用のマシンを所有するために資金を工面するのは必ずしも常に実現可能というわけではありません。
John 氏のソリューションである Test Swarm は、実行するテストを探している中枢サーバに継続的に確認を行う JavaScript クライアントに基づいている。
TestSwarm がうまく機能することを私がどのように思い描いているかを説明します。オープンソースの JavaScript ライブラリは自身のテストスイート群を中枢サーバに送信し、ユーザは支援をするためにメンバの一員として参加します。 ライブラリのユーザは単に日々の通常の活動の間に追加の2、3個のブラウザウィンドウを開いておくことによって、（彼らの！）プロジェクトに参加して手助けを行っているように感じることができます。
またライブラリ開発者側は手動テストをユーザに委託することもできます。 ユーザは新しい手動テストが到着した際に通知され（効果音の合図とか？）、すぐにそれらを実行することができます。
これらユーザからの援助には全く見返りが無いわけではなく、最も活躍しているユーザを記録する高得点掲示板があり、ライブラリ開発者側はトップの貢献者に賞品（Tシャツ、マグカップ、書籍、その他）を授与することができます。
InfoQ は John Resig 氏に連絡を取り、詳細について尋ねた。
InfoQ: TestSwarm はどのようなライセンスでリリースされる予定ですか？
MIT ライセンスでリリースの予定です（サーバソフトウェアは PHP と MySQL で、クライアントサイドはいくつかのシンプルな JavaScript になります）。
InfoQ: これはフレームワークベンダだけでなく他の組織にとっても役立つものになると思われますか？
私は間違いなくこれは他のグループおよびベンダにとって有用であろうと考えています。私は以下のような感じでうまく普及していくものと想像しています。
- 主要な JavaScript ライブラリ（テストスイートおよびテスト体制を確立しているもの全て）に公開することから始める。
- 任意のオープンソースの JavaScript プロジェクトに公開範囲を拡大する。
- 匿名のユーザによるテストの実行が受け入れられる任意の組織に公開する。
もちろん、これらの間中はいつでも任意の組織あるいはグループが単純にサーバソフトウェアをダウンロードして自身の Swarm のインスタンスを実行することはでき、必ずしもメインの Test Swarm サーバを経由しなければならないわけではありません。
John 氏はまた彼の最初のアナウンスで Test Swarm の「企業」版(ブログ)について言及している。
既に Test Swarm の「企業」版には高い関心があります。 私は当面のソリューション（完全なオープンソースのソフトウェアをリリースすること以外）を計画してはいませんが、将来的な展開の余地（ひょっとすると、JavaScript テスト用の Mechanical Turk のような、ユーザが手動テストを実行することで対価を受けることができるとか、まぁ分からないですけど、発展のためのネタはたくさんあります）は残しておきたいと思います。
もし Test Swarm に興味があるならば、アルファ版にサインアップ(サイト)することができる。
JavaScript(参考資料)、jQuery(参考資料)、リッチインターネットアプリケーション(参考資料)および継続的インテグレーション(参考資料)についてより詳しい情報はここ InfoQ で見つけることができる。