Un récent ensemble de benchmarks compare les bases Aerospike, Cassandra, Couchbase et MongoDB pour voir comment elles se comportent quand il est question de performance d'insertion, ou de débit maximum, de latence, et de comportement lors d'un failover.
Thumbtack Technology vient de sortir deux livres blanc de benchmark avec des résultats provenant de la comparaison de plusieurs bases de données de type clé-valeur : Ultra-High Performance NoSQL Benchmarking: Analyzing Durability and Performance Tradeoffs (PDF) et NoSQL Failover Characteristics: Aerospike, Cassandra, Couchbase, MongoDB (PDF). Les deux benchmark ont tenté de tester le cas suivant : "Des consommateurs face à des applications qui ont besoin d'un débit extrêmement élevé et une faible latence, et dont les informations peuvent être représentées en utilisant un schéma de type clé/valeur."
Thumbtack a utilisé une version amélioré de Yahoo! Cloud Serving Benchmark (YCSB), celle qui est censée surmonter certaines limites atteintes lors de l'utilisation de volumes très importants et de client multiples. Les changements du YCSB ont été documentés dans le premier livre blanc et communiqués à la communauté.
Les bases de données NoSQL testées étaient Aerospike, Cassandra, Couchbase (1.8 et 2.0), et MongoDB. La première est un produit commercial, et la dernière est une base de données de type document et non une base de type clé-valeur, mais elle a été incluse car "notre expérience a montré que les clients l'utilisent souvent pour le même genre d'applications". Toutes les bases de données ont été optimisées en utilisant les recommandations de chaque éditeur. Les serveurs de tests utilisent un stockage SSD plutôt que des disques dur rotatifs. Les livres blanc contiennent des informations détaillées concernant la méthode utilisée, le client, la configuration de la charge et la configuration du matériel, etc.
Thumbtack a reconnu avoir "des relations stratégiques et/ou commerciales avec Aerospike, Couchbase, et 10gen" et le materiel utilisé a été loué chez Aerospike.
Nous avons inclus quelques résultats des benchmarks.
Performance d'insertion
Les bases de données ont été chargées avec des ensembles de données initiaux en utilisant l'outil de chargement de YCSB qui effectue un certain nombre d'insertions. Couchbase avait de bon résultats quand les ensembles de données ont été chargés dans la mémoire, mais elle a eu des problèmes de chargement sur les disques SSD. Par exemple Couchbase 1.8 n'a pas réussi à finir l'opération et un ensemble plus petit et un mode asynchrone ont du être utilisés pour Couchbase 2.0. Cela explique le bleue gradué utilisé pour cette base. Aerospike est arrivé en deuxième.
Débit maximun
Ce test a utilisé un "modèle de forte durabilité utilisant un ensemble de données, qui lorsqu'il est répliqué, serait beaucoup plus grand que la mémoire RAM du serveur. Il est destiné à tester l'utilisation de modèles de données transactionnels qui exigent de solides garanties de durabilité".
Couchbase n'apparaît pas sur le graphique car il n'a pas pu terminer le test en utilisant la réplication synchrone.
Quand la réplication asynchrone est appliquée, le résultat en mémoire était :
Latence/Débit
Les benchmarks ont aussi mesuré la latence en lecture et en mise à jour à différents niveaux de trafic. Le prochain graphique inclut une vue complète et un zoom pour chaque type :
Failover
Thumbtack a tenté de voir ce qui arrive lorsqu'un noeud tombe en panne, par exemple lors d'une une panne matériel simulée :
Le temps d'arrêt a également été mesuré, c'est à dire le temps nécessaire pour que le cluster recommence à répondre après une panne. Toutes les bases de données montrent des valeurs raisonnables :
Les benchmarks de Thumbtack contiennent plus de résultats pour différent cas mais ils ne sont pas inclus ici.
Un autre benchmark NoSQL a été publié en octobre 2012 lorsque Cassandra, HBase, MongoDB, et Riak ont été comparées. MySQL a été aussi inclus dans les tests comme une référence par rapport aux technologies SQL.