Databricks社は、オープンモデルの標準を再定義し、業界ベンチマークで有名な競合他社を凌駕することを目的とした、新しいオープンソースの大規模言語モデル（LLM）である、"DBRX"を発表した。
1,320億のパラメータを持つDBRXは、独自に実施した業界ベンチマークで、このモデルが様々な言語理解、プログラミング、数学タスクにおいて、LLaMA 270B、Mixtral、Grok-1などの一般的なオープンソースLLMを上回ることを実証した。新しいモデルは、特定のベンチマークにおいて、Anthropicのクローズドソースモデルである、Claudeと互角に戦っている。
AIコミュニティはDBRXのリリースに興奮を示し、Hugging FaceのCEOであるClem Delangue氏はXに投稿した。
驚くことではないですが、DBRXはすでにHFでトレンド1位になっています！
DBRXの性能は、より効率的なmixture-of-expertsアーキテクチャによるもので、アクティブなパラメータが少ないにもかかわらず、LLaMA 2 70Bよりも推論が最大2倍高速になっている。Databricks社によると、このモデルのトレーニングは、高密度な他のモデルよりも約2倍計算効率が高かったという。
このモデルは、12兆トークンのテキストとコードデータで事前学習され、事前学習中に回転位置エンコーディングや カリキュラム学習などの先進技術を活用した。開発者は、APIを介してDBRXと対話したり、Databricksのツールを利用して独自のデータでモデルをファインチューニングすることができる。DatabricksのAI製品への統合はすでに進行中だ。DBRXはGitHubとHugging Faceで利用できる。
Databricksは、開発者が独自のLLMの基盤としてこのモデルを採用し、顧客チャットボットや社内の質問応答システムを強化する可能性があると予想している。このアプローチはまた、Databricks独自のツールを使ってDBRXがどのように構築されたかについての洞察を提供する。
DBRXの開発に利用されたデータセットを作成するために、Databricksはデータ処理にApache Sparkと Databricks Notebooks、データ管理とガバナンスにUnity Catalog、実験追跡にMLflowを利用した。
DBRXはオープンソースのAIモデルの新たな標準となり、企業向けにカスタマイズ可能で透明性の高い生成AIソリューションを提供する。Andreessen Horowitz氏の最近の調査によると、AIリーダーの間では、ファインチューニングされたモデルがクローズドソースの性能レベルに近づくにつれて、オープンソースの採用を増やすことへの関心が高まっている。Databricksは、DBRXがクローズドからオープンソース・ソリューションへの移行を加速すると期待している。