OpenAIが新しいGPTストアを展開し始めたことが報告された後、それらが構築されたデータの一部が容易に晒されてしまうことも発見された。複数のグループが、このシステムが機密情報を漏洩する可能性があることを指摘し始めた。
Northwestern大学の研究者は、「敵対的なプロンプトを介した200以上のユーザー設計のGPTモデルの包括的なテストを通じて、これらのシステムがプロンプトインジェクションの影響を受けやすいことを実証した。」と記述している。プロンプト・インジェクション攻撃は、機密情報を抜き取ったり、モデルの出力を操作したりする脆弱性のベクトルとして知られている。プロンプト・インジェクションは、言語モデルの脆弱性の一つに過ぎず、他にもプロンプトの漏洩 やジェイルブレイクなどがある。
プロンプト・インジェクションとは、攻撃者がGPTのような大規模言語モデル（LLM）の動作を操作するために、特定の入力や「プロンプト」を細工するテクニックを指す。研究チームは、プロンプト・インジェクションを通じて、「敵はカスタマイズされたシステム・プロンプトを抽出できるだけでなく、アップロードされたファイルにもアクセスできる」ことを発見した。
昨日、私はナレッジソース（RAG）として私たちのデータの限られたサブセットでhttp://Levels.fyi向けのカスタムGPTを作成しました。フィードバックは素晴らしく、プロンプトのいくつかはとてもクリエイティブでした。しかし、すぐにソースデータのファイルが漏洩していることが判明しました。[Zuhayeer Musa](https://twitter.com/zuhayeer/status/1723065439910011055)氏。
「我々の発見は、カスタマイズ可能なGPTモデルの設計と展開における強固なセキュリティフレームワークの緊急の必要性を強調している。」彼らは、カスタマイズを個人や組織がコーディングスキルを必要とせずに特定のニーズに合わせたAIモデルを作成できるようになり、AIの実用性において新たなフロンティアが開かれる一方で、潜在的なセキュリティ脆弱性の新たなベクトルも導入することを強調している。
「我々は、プロンプト・インジェクションに関連する主要なセキュリティ・リスクを特定し、広範な評価を実施した。我々のテストでは、これらのプロンプトは、ほとんどのカスタムGPTSモデルからシステムプロンプトをほぼ完全に公開し、アップロードされたファイルを取得できることが明らかになった。これは、システム・プロンプトの抽出とファイル開示に関して、現在のカスタムGPTモデルに重大な脆弱性があることを示している。
研究者らは、緊急の呼びかけで論文を結んでいる。「我々の発見は、カスタマイズ可能なAIの急速に進化する領域において、セキュリティ対策を強化する緊急の必要性を強調するものであり、このテーマに関する更なる議論を呼び起こすことを期待している。」彼らは、AI技術が進化し続ける中で、イノベーションとセキュリティのバランスを取ることが極めて重要であると強調している。
また、Adversa AIはこの頃、GPTがプロンプト、API名、アップロードされたドキュメントのメタデータやコンテンツなど、どのように構築されたかを漏洩するよう騙し込まれてしまう可能性があることを示した。OpenAIは、Adversa AIの研究者が報告した脆弱性にパッチを当てたと指摘した。
「我々は常に、モデルの有用性とタスクのパフォーマンスを維持しつつ、プロンプトインジェクションを含む敵対的攻撃に対して、我々のモデルと製品をより安全かつ堅牢にするために取り組んでいます。」 -OpenAIからWiredへ
Northwestern大学の研究についてより深く知りたい開発者は、Arxivの技術論文を読むか、ソーシャルメディアで反応を追ってみるといいだろう。