1980年代半ばにJim Gray氏(とそのほかの人)によって、トランザクション・システムのパフォーマンス測定に関して画期的な論文が書かれた。TPC評議会の創設に、その論文は役だった。 Spec Organizationは、ほぼ同時期に、より広範なパフォーマンステストの標準化を目指して設立された。それ以来、TPCベンチマークとSpecベンチマークは標準的なものとなり、ベンダーのパンフレットでコンプライアンスやパフォーマンスのレベルを顧客に納得してもらうために頻繁に利用されてきた。昨今SOAが注目されていながら、SOAをベースとするパフォーマンステストの公式なベンチマークが存在しないことから、ベンダーはその場限りの手法で争ってきた。特に、ESBやWebサービス層のパフォーマンスの測定ではその傾向は顕著だった。しかしSpec Organizationは、SOAベースの製品のための公式仕様を作成しようとしていると最近発表した。.
発表によると、現在のところIBM、OracleとVMWareが支援に興味を持っているが、貢献したいと考えている人からは喜んで話を聞きたいと考えているし、作業部会のメンバーになるのにSpecのメンバーになる必要はないとのことだ。作業部会の議長であるAndrew Spyker氏の言葉が次のように引用されている。
SOAを利用している企業のメリットには、ビジネスの柔軟性の向上とコストの最適化といったものがあります。業界標準のベンチマークによって、SOAの利用者がパフォーマンスを改善するためのベストプラクティスを理解するのに役にたつでしょうし、ベンダーにとっては典型的な顧客のシナリオに基づいてパフォーマンスの最適化を行うことができるようになります。
このベンチマークも、他のSpecベンチマークと同様に、斬新的に改善されていくものになろう。従って、テスト対象の初期のリストはそういった観点から考えられるべきである。たとえば、次のようなものに関するパフォーマンス・テストだ。
- アプリケーション・サーバ上でWebサービスを利用したサービス。
- サービスに接続して、それらを仲介するESB技術。
- BPELを使ってサービスを複合アプリケーションとして制御。
ここでも何度も取り上げられてきたとおり、SOAはWebサービスではない。従って、ベンチマークが単にSOAPに基づいた技術に閉じないことを私たちは望んでいる。実際、Spec Organizationは、次のように述べている。
SOAパフォーマンス作業部会は、最初にベンチマークが対象とした技術だけが重要なのではないと気がついている。他の技術を取り入れたSOAの別の側面が、将来、調査されていくだろう。
どのベンチマークも同様なのだが（そして、Gray氏が20年以上前に指摘したように）、ベンチマークの妥当性は、実際の利用方法をどれだけ正確に測定しているかに依存している。したがってSpec SOA作業部会は、どんな測定を思いつこうとも、顧客にとって何が重要なのかを確認していかなければならない。しかし、それがうまくいけば、様々なSOAに基づいた実装のパフォーマンスを測定する標準的で正確な方法となるだろう。