Amazon MemoryDBがAWSで最速のベクトル検索を提供する

原文リンク(2024-08-11)

AWSは最近、Multi-AZで利用可能なマネージド・インメモリ・データベースであるAmazon MemoryDBのベクトル検索の一般提供を発表した。この新機能は、AWS上のベクトルデータベースの中でもっとも高いリコール率で、超低レイテンシーと最速のベクトル検索性能を提供する。

2021年に発表されたAmazon MemoryDBは、Redis互換の高耐久性インメモリ・データベースだ。現在、ピーク性能がもっとも重要な選択基準である生成AIアプリケーションのようなシナリオにおいて、AWS上のベクトル検索に推奨されるマネージドチョイスとなっている。AWSのプリンシパル・デベロッパー・アドボケイトであるChanny Yun氏は、次のように書いている。

Amazon MemoryDBのベクトル検索では、既存のMemoryDB APIを使用して、RAG（Retrieval Augmented Generation）、異常（不正）検知、文書検索、リアルタイム・レコメンデーション・エンジンなどの生成AIのユースケースを実装できる。また、Amazon BedrockやAmazon SageMakerのような人工知能・機械学習（AI/ML）サービスを使用してベクトル埋め込みを生成し、MemoryDB内に保存することもできる。

開発者は、Amazon BedrockやSageMakerのようなマネージドサービスを使用してベクトル埋め込みを生成し、それをMemoryDB内に保存することで、RAGのリアルタイム意味検索、低レイテンシで耐久性のあるセマンティックキャッシュ、リアルタイムの異常検知できる。

MemoryDBのベクトル検索は、1桁ミリ秒のクエリで数百万のベクトルの保存をサポートし、99%以上のリコールで最高のスループットレベルでの更新レイテンシを提供する。Yun氏は次のように付け加える。

MemoryDB向けベクトル検索を使えば、バッチMLモデルに基づいて不正なトランザクションをモデル化し、正常なトランザクションと不正なトランザクションをMemoryDBにロードして、主成分分析（PCA）などの統計的分解技術によってベクトル表現を生成することで、不正を検出することができる。

出典：AWSブログ

この新機能はre:Invent 2023でプレビューリリースされ、最近の一般提供では新機能と改善が導入されている。これには、データベースが低レイテンシーで耐久性のあるセマンティックキャッシュとして動作することを可能にするVECTOR_RANGEや、類似性のフィルタリングを改善するSCOREが含まれる。ベクトル・フィールドは、フラット・サーチ（FLAT）と階層的ナビゲーシブル・スモール・ワールド（HNSW）アルゴリズムを使用して、固定サイズのベクトルのK-最近傍探索（KNN）をサポートしている。

MemoryDBは、ベクトル検索をサポートするAWS上の唯一のマネージド・データベースではない。生成AIのワークロードをターゲットにしたさまざまなサービスの中で、OpenSearch、Aurora PostgreSQL、RDS PostgreSQL、Neptune、DocumentDBが、過去1年間にベクトル関連の機能を導入している。バンク・オブ・アメリカのソフトウェア・エンジニアリング・マネージャー、Vinod Goje氏のコメントだ。

ベクトル・データベース市場は急速に成長しており、数多くの新製品が登場している（中略）専門家は、市場は過密状態になりつつあり、既存の多数の選択肢の中で新製品が際立つのは難しいと考えている。

AWSのデータベース・スペシャリスト・ソリューション・アーキテクトであるShayon Sanyal氏とGraham Kutchek氏は、生成AIアプリケーション用のデータベースを選択する際の主な検討事項について詳しく述べている。彼らはこう提案する。

すでにOpenSearch Service、Aurora PostgreSQL、RDS for PostgreSQL、DocumentDB、MemoryDBを使用している場合は、それらのベクトル検索機能を既存のデータに活用する。グラフベースのRAGアプリケーションには、Amazon Neptuneを検討する。データがDynamoDBに保存されている場合、OpenSearchはゼロETL統合を使ったベクトル検索に最適だ。まだわからない場合は、OpenSearch Serviceを使おう。

全てのクラウドプロバイダーは最近、PineconeやサーバーレスのMomento Cacheのようなベクトルデータベースに対抗するために、ベクトル検索機能を導入した。例えば、InfoQは以前、Google BigQueryと Microsoft Vector Searchについて報告した。

ベクトル検索は、Amazon MemoryDBのバージョン7.1と、データベースが利用可能なすべてのリージョンでのシングルシャード構成で利用できる。