Cockroach Labsは最近、年次クラウドレポートをリリースした。そこで、Google Cloud Platformを総合でベストプロバイダーとしている。2021 Cloud Reportでは、重要なアプリケーションとワークロードを表すベンチマークでAWS、Azure、GCPを比較されている。
Cockroach Labsのチームは、54台のマシンで評価をした。さまざまなベンチマークツールを使用して約1000回のベンチマークを実行し、4つの主要な領域を測定した。その4つは、CPUパフォーマンス（CoreMarkを使用）、ネットワークパフォーマンス（Netperfを使用）、ストレージI/Oパフォーマンス（FIOを使用）、OLTPパフォーマンス（TPC-Cの派生を使用）である。
レポートではGCPがパフォーマンスとスループットにおいて最適なクラウドとして選択されている。一方で、オープンソースのCockroachDBデータベースをサポートする企業によると、AWSはネットワーク遅延については最高のパフォーマンスを提供するが、ストレージI/OとシングルコアCPUのパフォーマンスに遅れがある。GCPは、4つのスループットベンチマークすべてで最速の処理速度を実現した。ベンチマークは、ネットワークスループット、ストレージI/O読み取りスループット、ストレージI/O書き込みスループット、最大tpmスループットである。AmazonのGraviton2プロセッサベースのマシンは、マルチコアCPUパフォーマンスに最適である。ultra-disksのおかげで、AzureはIOPSの読み取りと書き込みのでトップになった。
レポートの目的は、最もコスト効率のよいクラウドプロバイダーを決定し、パフォーマンスのトレードオフを評価することであった。そして、ディスクとCPUプロセッサのコスト/メリットを評価することであった。Cockroach Labsの製品マネージャーであるJohn Kendall氏は、レポートの他との違いについて次のように説明している。
マイクロベンチマークと業界ベンチマークに関して3つの主要なクラウドプロバイダーを比較する唯一のクラウドパフォーマンスレポートを提供しました。このベンチマークは、重要なOLTPアプリケーションとワークロードを反映しているものです。
3年目になると、テスト方法論は以前、デフォルト構成に依存するためにクラウドプロバイダーにとって挑戦であった。これは、Cockroach Labsが別の記事で取り上げたものである。InMotion Hostingの製品開発リーダーであるJadon Naas氏は、レポートが3つのプロバイダーに限定されていることを懸念している。
クラウド市場は非常に統合されており、競争力がない中で、GCP、AWS、Azureだけに言及する必要があるでしょうか。（...）私は彼らがオープンにすべてのクラウドをテストする時間がないことを完全に理解しています。そして、これらは3つの主要なクラウドプロバイダーです。しかし、この種のレポートが、他のクラウドプロバイダーまたはクラウドソリューションが補足に過ぎない、あるいは、テストする価値がない（つまり使用する）というメッセージを送っていることが心配です。
この結果は、最大規模のベンダー間の比較だけではない。単一のクラウドでデプロイメントを実行する開発者が、各ベンダーにおいて、OLTPアプリケーションとワークロードを、様々なプロセッサーを含む、異なるオプションをテストするのにも役立つ。
結果が出るまでに、プロバイダーはすでに新しい製品と拡張機能をリリースしていた。たとえば、一部のベンチマークで使用されているAWSのgp2ボリュームは、すでに新しいgp3ボリュームに取って代わられている。方式はGitHubで入手でき、すべてのリソース、スクリプト、構成を備えているため、開発者は新しいオプションまたは異なるオプションを使用してさらにベンチマークを実行できる。ドキュメントによると、「このバイナリを拡張して他のプラットフォームで比較的簡単に実行することができるが、クラウド固有のタスクを処理するためにいくつかの作業が必要となる。つまり、マシンのメタデータを取得する」。
全レポートへのアクセスは無料だが、登録が必要である。