Microsoftは、ベースラインOpenAIエンドツーエンドチャットリファレンスアーキテクチャを公開した。このベースラインには、コンポーネント、フロー、セキュリティに関する情報が含まれている。また、パフォーマンス、モニタリング、デプロイメントガイダンスに関する詳細もある。さらに、Microsoftはソリューションをデプロイして実行するためのリファレンス実装を用意した。
Open AIを使用したベースラインのエンドツーエンドチャットアーキテクチャは、チャットUIをホストするために、ベースラインのApp Serviceウェブ・アプリケーションと同様のコンポーネントを活用している。このアーキテクチャでは、チャットフロー、データサービス、Large Language Models（LLM）へのアクセスをオーケストレーションするためのコンポーネントが優先される。Azure Machine Learningは、機械学習モデルのトレーニング、デプロイ、管理に使用される。Azure Storageはプロンプトフローのソースファイルを保存し、Azure Container Registryはデプロイ用のコンテナイメージを管理する。さらに、Azure OpenAIはLLMとエンタープライズ機能へのアクセスを提供する。Azure AI Searchはチャットアプリケーションの検索機能をサポートし、クエリ抽出と検索のためのRAGパターンを実装している。
OpenAIによるベースラインのエンドツーエンドチャットアーキテクチャ（出典：Microsoft Blog）
OpenAIによるベースラインのエンドツーエンドチャットアーキテクチャは、IDベースのアクセスとともにネットワークセキュリティを優先している。重要な点は、チャットUIトラフィックの安全なエントリーポイント、フィルタリングされたネットワークトラフィック、転送中のデータのTLSによるエンドツーエンドの暗号化である。データの流出は、プライベート・リンクの使用により最小限に抑えられている。ネットワークリソースは論理的にセグメント化・分離され、堅牢なネットワークフローが保証される。このアーキテクチャでは、App ServiceがホストするチャットUIからプライベートエンドポイントを経由してAzure Machine Learningのオンラインエンドポイントにコールがルーティングされ、そこからデプロイされたフローを実行するサーバーにコールが誘導される。Azure PaaSサービスへの呼び出しは、セキュリティを強化するために管理されたプライベートエンドポイントを介してルーティングされる。
このアーキテクチャにより、Azure Machine Learningワークスペースへのアクセスがプライベートエンドポイントに制限され、セキュリティが強化される。プライベートエンドポイントは全体的に採用されており、App ServiceでホストされているチャットUIがPaaSサービスに安全に接続できるようになっている。
このアーキテクチャは、ネットワークレベルとIDレベルの両方でセキュリティ対策を確立している。ネットワーク境界は、インターネットからのApp Gatewayを介したチャットUIアクセスのみを許可し、ID境界はリクエストの認証と認可を保証する。Azure Machine Learningワークスペースへのアクセスは、Data ScientistやCompute Operatorといったデフォルトのロールと、ワークスペースのシークレットやレジストリへのアクセスに特化したロールによって管理される。
さらにMicrosoftは、デプロイメントに関するいくつかの提案と戦略を共有した。中でも、ブルー／グリーンデプロイメントやA/Bテストは、リリースと変更の評価を改善するものとして挙げられる。
モニタリングに関しては、Azure Machine LearningとAzure App Serviceを除くすべてのサービスが、すべてのログをキャプチャするように設定されている。Azure Machine Learningの診断は、特に監査ログをキャプチャするように設定されている。監査ログには、データまたはサービス設定に対する顧客のインタラクションを文書化したすべてのリソースログが含まれる。Azure App Serviceの場合、ロギング設定にはAppServiceHTTPLogs、AppServiceConsoleLogs、AppServiceAppLogs、AppServicePlatformLogsが含まれる。
Azure OpenAIサービスは、有害なコンテンツを検出・防止するためのコンテンツフィルタリングも提供している。これには違反を検出するための不正使用監視も含まれるが、機密データや法令順守のために除外を要求することもできる。
LinkedInの脅威の中で、Balz Zuerrer氏は、このソリューションはAzure AI Studioで構築できるのかと質問した。Tobias Kluge氏は次のように答えた。
私の理解では、この設計図は、機密データやユーザー関連データのセキュリティ境界を含むアプリケーション全体のためのものです。AI Studioは、モデルやデータの一部をテストして遊ぶためのものです。しかし、本番用のセキュアな環境でアプリケーション全体をどのように構築し、デプロイするかについては何も書かれていません。
だからこそ、この設計図は我々全員にとって非常に価値があるのだ。
この質問とは別に、この投稿の下には多くの好意的なコメントが寄せられている。Rishi Nikhilesh氏はこう付け加えた。
ネットワークの分離とパブリックエンドポイントのAzure MLワークスペースの無効化の上に構築されていることに驚かされる。アプリ・サービスがセキュリティを維持したまま、デプロイされたMLプロンプトフローとどのように通信しているのか、とても興味深い。
このシナリオを展開するために、Microsoftのエンジニアはリファレンス実装を用意した。