Aerospike, Cassandra, Couchbase, MongoDBAを比較した最近のベンチーマークから、インサート スループット、最大スループット、レイテンシ、フェイルオーバー中の動作がどうなのかを知ることができる。
Thumbtack Technologyが幾つものキー－値ストアを比較した結果について、２つのベンチマーク白書をリリースした。Ultra-High Performance NoSQL Benchmarking: Analyzing Durability and Performance Tradeoffs (PDF) そして NoSQL Failover Characteristics: Aerospike, Cassandra, Couchbase, MongoDB (PDF). である。両ベンチマークとも狙っているのは、「非常に高いスループットと低レイテンシを必要とする、利用者が直接使うアプリケーションをテストして、その情報をキー－値スキーマを使って表すこと」である。
Thumbtackが使用したのは、Yahoo! Cloud Serving Benchmark (YCSB)の改良バージョンで、非常に高いボリュームと複数クライアントを使用している時に達してしまう、いくつかの制限を解決した、とされている。 YCSBの変更は、最初のホワイトペーパーにドキュメント化されており、コミュニティに再度コミットされている。
テストされたNoSQLデータベースは、Aerospike, Cassandra, Couchbase (1.8 と 2.0),MongoDBである。 最初のは有償製品で、最後のは、ドキュメントデータストアで、キー－値ストアではないが、「我々の経験では、顧客はしばしば同様な種類のアプリケーション用とそれを考えている」のでそれを含めた。全てのデータベースは、それらをサポートしているベンダーが推奨している方法で最適化されている。テストシステムは、回転するディスクではなく、SSDストレージを使った。ホワイトペーパーには、使われた方法論、クライアントとワークロードの設定、ハードウェア設定などに関して詳しい情報が記載されている。
Thumbtackは、“戦略的そして/あるいは商業的関係が Aerospike, Couchbase, 10gen” とあることを認め、使用されたハードウェアは、Aerospikeから借りた。
以下にベンチマークの結果を載せる。
インサート スループット
データベースが初期のワーキングセットを読み込む際、幾つものインサートを実行するYCSBの読み込みルーティングを使っている。Couchbaseは、ワーキングセットをメモリに読み込むときは、いい結果を示しているが、SSDに読み込む際には、問題があり、Couchbase 1.8は操作を終了せず、Couchbase 2.0ではもっと小さなセットと非同期モードを使わなければならなかった。それを示すのに濃淡のかかった青が使われている。Couchbaseが２番目である。
最大スループット
このテストが使用しているのは、“強い耐久性モデルで、使用しているデータセットは、レプリケートされる時に、サーバーのRAMよりずっと大きくなる。このテストは、意図的に、強い耐久性の保証を必要とするトランザクショナルなデータの使用法をモデル化している。”
Couchbaseがグラフに出ていないのは、同期レプリケーションを使うと、テストが終了しなかったからである。
非同期レプリケーションが適用されたときの、インメモリの結果である。
レイテンシー/スループット
ベンチマークは、様々なレベルのトラフィックでリードとアップデートのレイテンシーを測定した。以下のグラフには、これらのそれぞれに対する全体ビューと拡大ビューが載せてある。
フェイルオーバー
Thumbtackは、ノードがダウンした時に何が起きるかを見ようとしている。ハードウェア故障のシミュレーションである。
ダウンタイムも測定された。すなわち故障の後にクラスターが応答できるように、全てのデータベースが合理的な値を表示するのに必要な時間である。
Thumbtackのベンチマークには、様々なケースの結果がもっと含まれているが、ここには示されていない。
別の NoSQL ベンチマークは、2012年10月に公開され、Cassandra、 HBase、MongoDB、Riak が比較された。MySQLもSQL技術に対する参照としてこのテストに含まれた。