Grok-2言語モデルがXプラットフォーム上でベータ版としてリリースされ、Grok-2 miniと共に発表された。LMSYSリーダーボード上で「sus-column-r」という名称でテストされたこのモデルは、Claude 3.5 Sonnetと GPT-4-ターボと比較して高いEloスコアを達成した。Grok-2 miniは、処理速度とパフォーマンスのバランスを重視して設計された軽量版で、ベータリリースの一部である。
/filters:no_upscale()/news/2024/09/grok-x-llm/en/resources/1llms-1725145952477.png)
両モデルとも、推論、読解、数学、科学、コーディングなど、さまざまな学問的ベンチマークで評価を受けている。前モデルよりも強化され、大学院レベルの科学や数学の競技問題などの分野で競争力のあるパフォーマンスを示している。
Xでのリリースには、高度なテキストおよび視覚理解機能など、PremiumおよびPremium+ユーザー向けのアップデート機能が含まれている。Grok-2のXプラットフォームからのリアルタイム情報との統合も注目に値する。Grok-2 miniは、処理速度と応答品質のバランスを追求することを目指している。
今月末には、両モデルともエンタープライズAPIプラットフォームを通じて開発者がアクセス可能になる。このAPIは、強化されたセキュリティ、マルチリージョン推論、管理ツールを備えている。
Grok-2は、Xプラットフォーム上で改良された検索機能、投稿分析、返信機能をサポートする計画がある。マルチモーダル機能のプレビューも近いうちに予定されている。
最近のLLMのリリースと比較すると、Grok-2の進歩はGPT-4 やClaude 3.5のような注目すべきモデルと並ぶ位置にある。しかし、最近の他のモデルのリリースと同様に、特に画像生成機能において悪用される可能性についての議論が続いているが、これに対する具体的な対策についてX社から詳細な説明はない。
ユーザーのSilver-Chipmunk7744氏はRedditでコメントしている。
コーディングに換算すると、Claude 3.5 SonnetはGrok miniを27ポイント上回っています。私の推測では、Claudeは過度の道徳化と検閲のために、Grok miniやGPT4o miniと点数が近いのだと思います。ひとつ奇妙だと思うのは、「mini」バージョンのELOがメインバージョンに近いことです。わずか30ELOの差しかありません。一方、GPT3.5 turboなどは200ポイント近い差があります。
DAIR.AIの創設者兼リードAIサイエンティスト Elvis Savaria氏が、自身のXアカウントにこう投稿した。
LMSYS Chatbot ArenaでGrok-2が2位にランクインしているのをご存知でしょうか。xAIチームは、GPT-4o、Gemini、Claude 3.5 Sonnetのような他の非常に有能なLLMと競合する強力なフロンティアモデルをこれほど迅速に生み出したのは驚異的です。
Xへの投稿は、Grok-2の能力、特にリアルタイムのデータ統合とよりオープンな会話スタイルに対し明らかな熱狂を見せている。しかし、ChatGPTにリアルタイム・データアクセス制限があるにもかかわらず、その確立した機能、UI、幅広いアクセシビリティを評価するユーザーがいるなど、個人のニーズに基づく好みも見られる。