Stability AI社は、1.6Bパラメータの言語モデルStable LM 2用に、訓練済みのモデル重みを2セットリリースした。Stable LM 2は、7言語の2兆トークンから成るテキストデータで学習を行ったものであり、一般的なラップトップコンピュータで実行できる。
Stable LM 2 には、ベースモデルと、"Stable LM 2 Zephyr" と呼ばれる言語命令チューニング版の 2 種類がある。ベースモデルは、オランダ語、フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語、英語のデータで学習したものだ。Stability AIは、「言語モデリングにおける最近のアルゴリズムの進歩」を利用して、この小さなモデルに、より大きなモデルに匹敵する能力を持たせた。Stable LM 2は、Stability AIのNon-Commercial Research Community Licenseに基づく非商用利用、またはStability AIメンバーシップによる商用利用が可能だ。Stability AIによると、以下のように告知されている。
これまででもっとも強力な小型言語モデルの1つとしてリリースし、その学習の詳細について完全な情報公開をすることで、開発者やモデル作成者が迅速に実験や反復を行えることを目的としています。Stable LM 2 1.6B は、その性質上、高い誤認率や潜在的な脆弱性といった一般的な問題を含んでいる可能性があります。コミュニティがアプリケーションを開発する際には、このことを念頭に置き、責任ある開発を行うための適切な手段を講じるようお願いします。
OpenAIは、言語モデルの能力がモデルのパラメータ数によって拡張されることを示し、何兆ものパラメータを持つ大規模言語モデル（LLM）の開発につながった。 しかし、これらのモデルの学習や、ホスティングに伴う課題は、Meta社のLlama 2やMicrosoft社のPhi-2のような「小さな言語モデル」へのトレンドにつながっている。これらのモデルは通常、ラップトップなどの1台の機体で実行できるほど小さく、非商用目的であれば無料で使用可能なことが多い。
InfoQは、2023年にリリースされたStable LMの最初のバージョンを取材しており、これには3Bと7Bの2つのサイズが含まれていた。新しいモデルはさらに小さいが、より多くのデータで学習されている。ファインチューニングされたバージョンであるStable LM 2 Zephyrは、多言語ベンチマークにおいてオリジナルの3Bパラメータモデルを上回っている。また、MT-Benchベンチマークにおいても、Falcon 40Bのような大きなモデルを上回っている。
Stability AIの言語モデルチームのリーダーであるCarlos Riquelme氏は、このリリースについてXの投稿で、次のように述べた。
言語モデルの評価はとても厄介で繊細です…多言語設定ではなおさら。この分野での進歩が必要であることは間違いありません。小さなモデルの場合、ハルシネーションを定量化し、調整することは特に難しいですが、広く使われるようになるはずです。何かアイデアはありますか？
Stability AIのCEOであるEmad Mostaque氏もXにこのモデルについての投稿しており、そのサイズの長所について指摘している。
retrieval augmented generation」を、ブラウザ、携帯電話、ポテトなどでお試しください。MacBookで簡単にファインチューニングできます。適度な推論と知識は必要ですが、それだけで十分なこともあります......特に、特化して積み重ねることができる場合は。
Stability AIはまた、コード生成言語モデルStable Code 3Bをこの程リリースした。これはCodeLLaMA 7Bより60％小型化されているが、性能は同等である。Stability AIは、このモデルについて「専用GPUを搭載していない最新のラップトップでもリアルタイムで実行できるほど小さい」と主張している。このモデルは、商用のStability AIメンバーシップの一部でもある。
Stable LM 2と、Stable LM 2 Zephyrのモデルは、Huggingfaceからダウンロードできる。