先日、OpenAIはプロンプトエンジニアリングのガイドを発表した。このガイドでは、GPTモデルからより良い応答を引き出すための6つの戦略が掲載されており、特に最新バージョンであるGPT-4の例に焦点を当てられている。
その6つの戦略とは、「明確な指示を書く」、「参照テキストを提供する」、「複雑なタスクをより単純なサブタスクに分割する」、「モデルに "考える "時間を与える」、「外部ツールを使用する」、「変更を系統的にテストする」である。各戦略は、具体的で実行可能な戦術のセットに分解され、プロンプトの例が示されている。戦術の多くは、思考の連鎖プロンプトや再帰的要約など、LLMの研究成果に基づいている。
2020年に発表されたGPT-3に関するOpenAIの研究論文では、このモデルがフューショット学習（少数の学習データに基づき新しいタスクを学ぶための技術）を使用して、さまざまな自然言語処理（NLP）タスクを実行できることを示した。2022年、OpenAIは、GPT-3の応答の「信頼性を向上させるためのテクニック」をいくつか含むガイド記事を発表した。明確な指示を与えることや複雑なタスクを分割することなど、いくつかのテクニックは今でもガイドに含まれている。旧版のガイドブックには、そのテクニックを裏付ける研究論文の参考文献も掲載されている。
ガイドの戦術のいくつかはチャットAPIのシステムメッセージを利用している。OpenAIのドキュメントによると、このパラメータは "アシスタントの動作設定に役立つ"。ある戦術では、このパラメータを利用しペルソナを与えて応答を形成させる手法を提案している。もうひとつは、長い会話の要約をモデルに渡したり、複数のユーザー入力に対して繰り返される一連の指示を与えるために使うことを提案している。
外部ツールを使うという戦略では、GPTモデルを他のシステムと連携させるためのヒントが示されており、OpenAIのガイド記事へのポインタがある。戦術の1つは、モデル自身に数学の計算をさせる代わりに、計算するPythonコードの生成を提案している。しかしこのガイドには、モデルが生成するコードの安全性は保証されておらず、サンドボックス内でのみ実行されるべきであるという免責事項が含まれている。
ガイドのもう一つの戦略である体系的な変更のテストは、異なるプロンプトが実際に良い出力になるか悪い出力になるかを決定する問題を扱っている。この戦略は、InfoQがGPT-4のリリースとともに取り上げたようにOpenAI Evalsフレームワークの使用を提案している。この戦略はまた、システムメッセージを介して、「ゴールドスタンダードの回答を参照して」自身の作業をチェックするためにモデルを使用することも提案している。
このガイドに関するHacker Newsのディスカッションで、あるユーザーはこう語っている。
最近、プロンプトを完璧にする方法を学ぶ目的に、多くの時間を割くことをためらっている。LLMそのものが多様なのは言うまでもないが、バージョンごとに反応が違うようだ。私たちが目にしている急速な進歩によって、2年後か5年後には、システムが賢くなり、このような複雑なプロンプトは不要になっているかもしれない。
他のいくつかのLLMプロバイダーも、プロンプトエンジニアリングのヒントを発表している。GPTモデルへのアクセスをサービスとして提供しているMicrosoft Azureは、OpenAIと同様のテクニックをリストアップしている。彼らのガイドには、モデルの出力生成のランダム性を制御する、temperatureやtop_pといったモデルパラメーターの設定に関するヒントも記載されている。GoogleのGeminiAPIドキュメントには、temperatureやtop_pといった値に関する提案だけでなく、いくつかのプロンプト設計戦略が含まれている。