Anthropic、AIデータハンドリング強化のためのコンテキスト検索を発表

原文リンク(2024-09-25)

Anthropicは、AIシステムと広範な知識ベースとの相互作用における重要な進歩であるコンテキスト検索を発表した。この技術は、埋め込みや索引付けの前にテキストチャンクをコンテキスト情報を付加することで、検索拡張生成（RAG）システムにおけるコンテキスト損失の課題に対処する。

コンテキスト検索は、コンテキスト埋め込みと、埋め込みから拡張されたコンテキストを考慮する従来のBM25アルゴリズムの修正版であるコンテキストBM25から構成される。この二重のアプローチは、意味理解と正確な語彙マッチングの両方を改善することで、検索の失敗を減らす。

パフォーマンスの向上には、コンテキスト埋め込みのみを使用した場合の検索失敗の35%削減と、コンテキスト埋め込みとコンテキストBM25の統合による49%削減が含まれる。さらに再ランク付けのステップを追加することで、エラーが最大67%減少した。

Anthropicはまた、プロンプトキャッシングを導入し、ドキュメントチャンクをキャッシュし、繰り返し処理を最小限に抑えることで、処理コストを大幅に削減した。この機能は、プロンプト内の特定の接頭辞からの再開を可能にすることで、API使用を最適化し、繰り返しタスクや一貫した要素を持つプロンプトの処理時間とコストを効果的に削減する。さらに、コンテキスト検索は様々な領域で有効であることが証明されており、大規模なデータセットを扱う企業にとって価値あるツールとなっている。

AIコミュニティはコンテキスト検索に熱意を示しており、特にコンテキスト損失の削減とAI応答の信頼性の向上において、AIシステムがデータを管理・解釈する方法を再定義する可能性を強調している。

Christophe Bouvard氏は自身のXアカウントで次のようにコメントしている。

Anthropicのコンテキスト検索：ステロイドのRAG！

ユーザーのKamesh.ethは次のように投稿した。

コンテキスト検索は、AIシステムを大規模な知識ベースに拡張するための画期的な方法です。

この方法論的な革新は、AIがよりインテリジェントに情報を扱う方法の先例となり、より自律的でコンテキストを認識するAIシステムにつながる可能性がある。