InfoQ ホームページ 大規模言語モデル に関するすべてのコンテンツ
-
Microsoft、小型言語モデルPhi-2を発表
Microsoft Researchは、27億パラメータのTransformerベースの言語モデルであるPhi-2を発表した。Phi-2はGPT-3.5によって生成された1.4Tトークンの合成データでトレーニングされ、様々なベンチマークでより大規模なモデルを上回る性能を発揮する。
-
JetBrains、2023.3リリースのIDEに統合されたAIアシスタントの提供を発表
JetBrainsは、今年最後のリリースですべてのIDEを刷新し、統合されたAIアシスタントをプレビューから有料顧客向けに一般提供を開始することを発表した。IDEとの強力な統合に加え、JetBrainsのAIアシスタントは、複数のLLMをサポートすることで他との差別化を図っている。
-
MicrosoftのOrca 2 LLM、性能面で10倍大きいモデルを凌駕
Microsoft Researchは、Llama 2の微調整版であるOrca 2 LLMを発表した。Orca 2 LLMは、10倍のパラメータを含むモデルと同等かそれ以上の性能を発揮できる。この性能を達成するために、合成トレーニングデータセットとプロンプト消去と呼ばれる新しい技術を使用している。
-
xAI、大規模言語モデル"Grok"を発表
イーロン・マスク氏が設立したAI企業xAIはこの頃、大規模言語モデルGrokを発表した。GrokはXプラットフォームを通じて世界の現在の知識にアクセスでき、いくつかのベンチマークでGPT-3.5を含む同規模の他の大規模言語モデル(LLM)を凌駕している。
-
AI研究者、間違いからの学習を模倣することでLLMベースの推論を改善する
マイクロソフト、北京大学、西安交通大学の研究者は、人間が自分の失敗から学ぶ方法を再現することによって、大規模言語モデル(LLM)の数学問題を解く能力を向上させる技術を開発したと発表した。
-
Google、AIのファインチューニング方法であるDistilling Step-by-Stepをオープンソース化
ワシントン大学とGoogle Researchのチームは先日、より小さな言語モデルのファインチューニングを行う手法であるDistilling Step-by-Stepをオープンソース化した。Distilling Step-by-Stepは、標準的なファインチューニングよりも少ないトレーニングデータで、700倍のパラメータを持つ数発のプロンプト大規模言語モデル(LLM)を凌駕する小さなモデルを生成できる。
-
Meta社のオープンソースコード世代 LLM Code Llama
Meta社は最近、コード生成LLMであるCode Llamaをオープンソース化した。これはLlama 2の基礎モデルに基づいており、同じコミュニティ・ライセンスが適用されている。Code Llamaは500Bトークンのコードで微調整され、34Bパラメータまでの3つのモデルサイズが利用可能である。コード生成ベンチマークでの評価では、このモデルは他のすべてのオープンソースモデルを上回り、ChatGPTに匹敵した。
-
ジェネレーティブAIサービス「AWS Bedrock」が一般提供開始
昨年4月にプレビュー版として発表されたBedrockだが、アマゾンはジェネレーティブAIアプリ向けのフルマネージドサービスの一般提供を発表した。
-
Semantic Kernel LLM Java SDKが利用可能になり、GenAIの統合が簡素化
大規模言語モデル(LLM)を一般的なプログラミング言語と統合するSDKであるSemantic Kernelが、Javaで利用可能になった。マイクロソフト社は最近のブログ記事で、Javaライブラリの登場を発表した。マイクロソフト社は今年初め、Semantic Kernelを初めてオープンソース化した。マイクロソフト社はSemantic Kernelを、AI LLMの統合を可能にする軽量SDKと呼んでいる。Semantic KernelSDKはJava以外に、C#とPythonプログラミング言語もサポートしている。
-
本番環境におけるLLM最適化のための、Hugging Faceのガイド
大規模言語モデル(LLM)を実運用に導入する場合、2つの大きな課題は、それらが必要とする膨大な量のパラメータと、文脈情報を表現するための非常に長い入力シーケンスを扱う必要性から生じる。 Hugging Faceは、このようなモデルを扱った経験に基づき、これらのハードルに取り組むためのテクニックのリストを文書化した。
-
SpotifyはSidekickのLLMチャットボットをどのように改善したか?
Large Language Model (大規模言語モデル、LLM)チャットボットにより革新的なソリューションへの扉が開かれる中で、SpotifyのエンジニアであるAtes Goral氏は、ユーザーエクスペリエンスを可能な限り自然なものにするために、レンダリングジャンクを防ぎ、待ち時間を減らすための具体的な取り組みが必要であると主張している。
-
Googleの音声AI AudioPaLMが音声転送で翻訳を行う
Googleの研究者は、音声転送によるテキスト音声変換 (TTS)、自動音声認識(ASR)、音声翻訳(S2ST)を行う大規模言語モデル(LLM)であるAudioPaLMを発表した。AudioPaLMはPaLM-2 LLM をベースにしており、翻訳ベンチマークではOpenAIのWhisperを上回っている。
-
生成AIアプリケーションの安全性を強化するNvidiaのNeMo Guardrails
Nvidiaの大規模言語モデル(LLM)向けの新しいNeMo Guardrailsパッケージは、開発者が有害または攻撃的なコンテンツや機密データへのアクセスなどといったLLMのリスクを防ぐのに役立つ。このイノベーションは、これらモデルの動作を制御するために複数の機能を提供し、より安全なデプロイを保証するものであるため、開発者にとって極めて重要だ。特に、NeMo Guardrailsは、LLMが有害または攻撃的なコンテンツを生成するリスクを軽減することで、AI主導が進む環境において必要不可欠なセキュリティレイヤーを提供する。
-
マイクロソフト、130億パラメータの言語・視覚チャットボット「LLaVA」をオープンソース化
マイクロソフト、ウィスコンシン大学マディソン校、コロンビア大学の研究者は、Large Language and Vision Assistant(LLaVA)をオープンソースで公開した。LLaVAは、CLIP画像エンコーダーとLLaMA言語デコーダーをベースにしており、指示実行データセットでファインチューニングされ、ScienceQAベンチマークで最先端の精度を達成している。
-
Minecraftに初のLLM搭載エージェントが登場
カリフォルニア工科大学、スタンフォード大学、テキサス大学、NVIDIAの研究者は、GPT-4を利用してMinecraftのゲームプレイに参加するLLMパワーエージェント、Voyagerを共同開発しリリースした。Voyagerは、Minecraftで学習し、知識を保持し、卓越した専門性を発揮することで、驚くべき能力を発揮する。