InfoQ ホームページ 大規模言語モデル に関するすべてのコンテンツ
-
Slack、ASTと大規模言語モデルを組み合わせて15,000の単体テストの80%を自動変換する
Slackのエンジニアリングチームは先日、 EnzymeからReact Testing Library（RTL）へ大規模言語モデル（LLM）を使って、15,000の単体テストと統合テスト自動変換する方法を発表した。Abstract Syntax Tree（AST）変換とAIによる自動化を組み合わせることで、Slackの革新的なアプローチは80％の変換成功率を達成。必要な手作業を大幅に削減し、複雑な開発作業を合理化するAIの可能性を示した。
-
OpenAI、動作のファインチューニングのためのGPTモデル仕様を公開
OpenAIは最近、GPTモデルの動作に関するルールと目的を記述した文書、Model Specを公開した。この仕様書は、データ・ラベラーやAI研究者がモデルをファインチューニングするためのデータを作成する際に使用することを目的としている。
-
GoogleがChromeにGemini Nanoを導入し、デバイス上で生成AIを実現可能にする
Googleは、開発者向けカンファレンス「Google I/O 2024」において、同社のGeminiモデルの中で最小のGemini NanoをChromeに導入することで、オンデバイスでの大規模言語モデルのサポート実現に向けた取り組みを発表した。
-
コードのための大規模言語モデル：QCon Londonにて、Loubna Ben Allal氏語る
QCon Londonにおいて、Loubna Ben Allal氏は、コード用に調整された大規模言語モデル（LLM）について議論した。同氏は、コード補完モデルのライフサイクルについて議論し、膨大なコードベースに対する事前学習と、微調整の段階について強調した。特に、Hugging Faceのようなプラットフォームによって促進されるオープンソースのモデルについて議論した。リソースは、HFハブ上の1.7k以上のモデルと、StarCoder2やDefog-SQLCoderのようなツールで構成されている。指示チューニングのようなカスタマイズ技術を使用することで、オーダーメイドのソリューションを提供できるが、データの偏りやプライバシーの懸念といった課題がある。
-
Apple社の研究者、異なるLLMを組み合わせて最先端の性能を実現する手法を詳説
この程、多くの大規模言語モデル(LLM)がクローズドソースとオープンソースの両方で利用可能になり、更にマルチモーダルLLM(MLLM)として知られる複合モデルの作成につながっている。しかし、最先端のマルチモーダルLLMを設計するための原則と教訓を抽出した、Apple社の研究者は、そのようなLLMを作るためにどのようなデザインの選択がなされたかを明らかにするものはほとんどない、あるいは皆無だと述べる。
-
Databricks、オープンソースの汎用LLM "DBRX" を発表
Databricks社は、オープンモデルの標準を再定義し、業界ベンチマークで有名な競合他社を凌駕することを目的とした、新しいオープンソースの大規模言語モデル（LLM）である、"DBRX"を発表した。
-
研究者らが、LLMジェイルブレイク攻撃の防御アルゴリズム"SafeDecoding"のオープンソース化を発表
ワシントン大学、ペンシルバニア州立大学、アレンAI研究所の研究者が、大規模言語モデル（LLM）をジェイルブレイク攻撃から守る技術である、"SafeDecoding"のオープンソース化を発表した。SafeDecodingは、大きな計算オーバーヘッドを発生させることなく、ベースラインのジェイルブレイク防御を上回る性能を発揮する。
-
eBayに学ぶ、ソフトウェア開発の生産性向上における生成AIについての教訓
eBayはこの程、開発プロセスにおける生成AIの適用について学んだ教訓を明らかにした。 eBayのAIへの取り組みは、開発者の生産性を向上させるための3つの極めて重要な道筋を発見した。商用製品の統合、既存の大規模言語モデル（LLM）のファインチューニング、そして社内の知識ネットワークの活用である。
-
Azure OpenAIの「On Your Data」機能が一般利用可能に
Microsoft社は、Azure OpenAI Serviceで"On Your Data"機能の一般提供を正式に開始した。この機能により、ユーザーはGPT-4を含むOpenAIモデルのフルパワーを活用し、RAG（Retrieval Augmented Generation）モデルの高度な機能をデータとシームレスに統合可能となった。同社によると、これらはすべてAzure上のエンタープライズ・グレードのセキュリティ（プライベート・エンドポイントとVPN経由）に支えられており、安全で保護されたユーザー・データ環境を保証しているという。
-
RWKVプロジェクト、LLM "Eagle 7B"をオープンソース化
RWKVプロジェクトはこの程、75.2億パラメータの大規模言語モデル（LLM）である、Eagle 7Bをオープンソース化した。Eagle 7Bは、100以上の言語の1.1兆トークンのテキストで学習され、多言語ベンチマークにおいて他の同サイズのモデルを凌駕している。
-
"Cloudflare for AI"で、サイバー脅威に対する大規模言語モデル（LLM）の保護を強化
Cloudflareはこのほど、同社のWebアプリケーションファイアウォール（WAF）製品に、「Firewall for AI」と呼ばれる新機能を追加したことを発表した。この機能は、悪用や攻撃がLarge Language Models（LLM）に到達し、改ざんされる前に特定する新たな保護レイヤーを追加する。
-
Google、開発者向けの新しいオープンソースAIモデル「Gemma」を発表
Googleは、新しいオープンソースのAIモデルであるGemmaを発表した。GoogleのAIモデル「Gemini」を支える技術を用いて開発されたGemmaは、AIアプリケーションを良心的に作成するための高度なツールを開発者に提供することを目的としている。
-
NVIDIA、エッジでAIアプリを実行するMetropolis Microservices for Jetsonを発表
NVIDIAは、Nvidia Metropolis MicroservicesクラウドベースのAIソリューションを拡張し、NVIDIA Jetson組み込みプラットフォームで実行できるようにした。
-
Google社がBardをGeminiに改名
Google社は、同社のチャットボットBardの名称をGeminiに変更すると発表した。同社はまた、Gemini言語モデルの最大バージョンであるGemini Advancedの発表と、Gemini言語モデルと対話するための2つの新しいモバイルアプリの発表も行った。
-
OpenAI、ChatGPTにメモリ機能を追加し会話を向上
OpenAIは、ChatGPTに会話を記憶させることで、ユーザーが繰り返し会話情報を提供する必要性を減らし、今後のチャットをより有益なものにしたいと考えている。ユーザーは、何を明確に記憶するか、何を忘れるか、あるいはこの機能を完全にオフにするかを指定できる。