Apple社は、Apple Intelligence suiteのいくつかの機能を提供する大規模言語モデル（LLM）ファミリーである新しいApple Foundation Models（AFM）の詳細を発表した。AFMには、30億パラメータのオンデバイス版と、より大きなクラウドベース版の2つのサイズがある。
より小さなモデルであるAFM-on-deviceは、64億のパラメータを持つモデルを刈り込んで作成された。AFM-serverとして知られるより大きなモデルは、「ゼロから」訓練されたが、Apple社はその規模を明らかにしなかった。Apple社は、両モデルの開発に関する詳細を発表した。両モデルともTransformerデコーダのみのアーキテクチャをベースにしており、6,300万トークンのデータで事前に訓練されている。これらのモデルは、校正や電子メールへの返信など、特定のタスクに合わせてモデルのパフォーマンスを調整するために、実行時に選択されるプラグイン可能なタスク固有のLoRAアダプタを使用している。Apple社は、命令追従や 数学的推論を含むいくつかのベンチマークで両モデルを評価した結果、「好意的な比較」を行い、場合によってはLlama 3やGPT-4のような同規模のモデルを上回った。Apple社は次のように述べている。
私たちのモデルは、ユーザーがApple製品を使った日常的な活動を支援する目的で、すべての段階で責任を持って開発され、Appleの基本的価値観に導かれています。言語モデル、拡散モデル、コーディングモデルなど、より広範な生成モデルファミリーについて、近日中にさらに多くの情報を共有できることを楽しみにしています。
InfoQは先日、AppleがWWDC 2024イベントで発表したApple Intelligenceについて取り上げた。InfoQはまた、XCodeに統合されたコード生成モデルであるSwift Assistも取り上げた。Appleは、AFMと同じ生成AIモデルファミリーの一部であると説明している。
アダプター・アーキテクチャにより、AFMを特定のタスクのために「その場で」変更できる。アダプターは「小さなニューラルネットワークモジュール」で、ベースモデルの自己アテンション層とフィードフォワード層に差し込まれる。アダプターは、タスクに特化したデータセットを使ってベースモデルを微調整することで作成される。アダプタのパラメータは、メモリを節約するために低いビットレートに量子化される。デバイス上のアダプタの消費量は10MB程度であり、小型の組み込みデバイスに適している。
Apple社は、AFMの安全な出力を保証するためにいくつかのステップを踏んだ。事前学習セットにユーザーデータが含まれないようにすることに加え、Apple社は有害なコンテンツ、スパム、個人情報を除去するフィルタリングを適用した。微調整の段階で、Apple社は「安全性のアライメントを多くの中核的なポストトレーニングタスクの1つとして」扱い、微調整データの10％以上が安全性に関連したものだった。また、モデルの脆弱性を特定しテストするために、手動および自動の「レッドチーム」も実施した。
Apple社は、さまざまなベンチマークでAFMの性能を評価し、GPT-4、Llama 3、Phi-3など複数のベースラインモデルと比較した。人間が2つのモデルの出力を並べてランク付けするテストでは、AFM-on-deviceが大型モデルのGemma-7BとMistral-7Bを上回った。AFM-serverは、GPT-3.5に対して52％の勝率という「競争力のある」結果を達成した。
AFMに関するAppleのテクニカルレポートの主執筆者であるRuoming Pang氏は、Xに次のように投稿している。
これらのLMはチャットボットではないが、要約、文章作成支援、ツール使用、コーディングなど幅広い機能を発揮できるよう、汎用的な能力を持つように訓練しました。
他にも何人かのユーザーがXにAFMについての感想を投稿している。HuggingfaceのエンジニアであるVaibhav Srivastav氏は、このレポートを要約し、「かなり機能が詰まっている」と述べ、「ざっと目を通すのがとても楽しい」と語った。LiquidAIのMLサイエンティストであるMaxime Labonne氏は、AFM-serverは〜約700億のパラメータを持つと推定しているが、論文にはこのモデルのサイズに関する「詳細がほとんどない」と嘆いている。