AWSは最近、Amazon SageMaker JumpStartで2つの新しい基礎モデルを利用可能にすることを発表した。Code LlamaとMistral 7B だ。これらのモデルはワンクリックでデプロイでき、AWSユーザーにコード生成タスク用のプライベート推論エンドポイントを提供する。
CodeLlamaは、MetaのLlama 2ファウンデーションモデルを微調整したもので、ライセンスは同じである。base、Python、Instructの3つのバリエーションがあり、それぞれ3つのモデルサイズ（7B、13B、および34Bのパラメータ）がある。合計9つのオプションがある。コード生成以外に、コードの埋め込みも可能で、Instructモデルはチャット形式で自然言語の指示に従うことができる。Mistral 7Bは70億パラメータの大規模言語モデル（LLM）で、Apache 2.0ライセンスで提供されている。Mistral 7Bには、baseとInstructの2つのバリエーションがある。コード生成に加えて、Mistral 7BはCode Llama 7Bに「近づく」性能を持つ汎用テキスト生成モデルでもあり、すべてのNLPベンチマークにおいて、より大規模なLlama 2 13B基盤モデルを凌駕している。
AWSによると
本日、Meta社が開発したCode Llama基礎モデルを発表できることを嬉しく思う。顧客はAmazon SageMaker JumpStartを通じて、ワンクリックで導入でき、推論を実行できるようになる。Code Llamaは、コードと自然言語プロンプトの両方からコードとコードに関する自然言語を生成できる最先端の大規模言語モデル（LLM）である。Code Llamaは、研究および商用に無料で利用できる。このモデルは、アルゴリズム、モデル、MLソリューションへのアクセスを提供する機械学習（ML）ハブであるSageMaker JumpStartで試すことができるので、MLをすぐに始めることができる。
Mistral 7Bモデルは、最大8,000トークンのコンテキスト長をサポートする。この長いコンテキストは、質問応答などのタスクにおける「数ショット」のコンテキスト内学習や、チャット履歴の保持に使うことができる。Instructのバリエーションは、マルチターンプロンプティングのための特別なフォーマットをサポートしている。
<s>[INST] {user_prompt_0} [/INST] {assistant_response_0} </s><s>[INST] {user_prompt_1} [/INST]
様々なサイズのCode Llamaモデルは、それぞれ10k、32k、48kという異なるコンテキストの長さをサポートしているが、7Bモデルはml.g5.2xlargeインスタンス・タイプ上では10kトークンのみをサポートしている。すべてのモデルはコード生成を実行できるが、コード注入を実行できるのは7Bモデルと13Bモデルだけである。このタスクはコード接頭辞とコード接尾辞でモデルをプロンプトし、モデルはその間に入れるコードを生成する。＜PRE＞＜SUF＞、＜MID＞という特別な入力トークンがあり、プロンプト内の位置を示す。モデルは、接尾辞-接頭辞-中間（SPM）と接頭辞-接頭辞-中間（PSM）の2つの異なる順序のいずれかでこれらの断片を受け入れができる。MetaのCode Llamaに関する論文では、"接頭辞が空白やトークン境界で終わらない "場合にPSMを使うことを推奨している。PSMのフォーマットは以下の通りだ。
<PRE> {prefix_code} <SUF>{suffix_code} <MID>
CodeLlamaのInstructバージョンは、チャットのような対話のために設計されており、Metaによれば、コード生成の「適度なコスト」で、いくつかのNLPベンチマークで「パフォーマンスが大幅に向上」している。このモデルの応用例は、自然言語で提起された問題に対するコードベースの解決策を生成して説明することである。例えば、特定のタスクにBashコマンドを使う方法などである。Code Llama Instructは、Mistral 7Bに似た特別なプロンプト・フォーマットを使用し、オプションで「システム」プロンプトも使用できる。
<s>[INST] <<SYS>>
{system_prompt}
<</SYS>>
{user_prompt_0} [/INST] {assistant_response_0} </s><s>[INST] {user_prompt_1} [/INST]
Code Llamaの発表によると、このモデルはアメリカ東部（バージニア州北部）、アメリカ西部（オレゴン州）、ヨーロッパ（アイルランド）のリージョンで利用可能だという。AWSはMistralが利用可能なリージョンを発表していない。