PayPal社はMLOpsプラットフォームCosmos.AIを拡張し、大規模言語モデル（LLM）を使用したジェネレーティブAIアプリケーションの開発をサポートする。同社は、ベンダー、オープンソース、自己調整LLMへのサポートを取り入れ、検索拡張生成（RAG）、セマンティックキャッシュ、プロンプト管理、オーケストレーション、AIアプリケーションのホスティングに関する機能をリリースした。
PayPal社は2020年頃にCosmos.AIプラットフォームを構想し、2022年半ばに一般公開した。同社は、これまで各チームが独自に構築してきた断片的なオーダーメイドソリューションの多くを、エンドツーエンドの機械学習開発ライフサイクル（MLDCL）をサポートするエンタープライズプラットフォームに統合することを決定した。リリース以降、Cosmos.AIが事実上PayPal社のAI/MLプラットフォームとなり、何千人ものデータサイエンティスト、アナリスト、開発者が利用してきた。
この統合プラットフォームは、Amazon SageMaker、Azure Machine Learning、GCP Vertex AIなどのクラウドプロバイダーと同様の機能を兼ね備えている。さらに、Cosmos.AIがプラットフォームの機能とその実装を切り離したことで、ユーザーが特注の社内実装と、オープンソースソリューションやプラットフォームが統合するサードパーティーベンダーが提供する実装のいずれかを選択できる。さらに、このプラットフォームはマルチテナントとセルフサービスをサポートし、マルチクラウドやハイブリッドクラウド環境での運用が可能だ。
/filters:no_upscale()/news/2024/10/paypal-cosmosai-llm-genai/en/resources/1paypal-cosmos-arch-1728419566641.jpeg)
Cosmos.AI MLOpsプラットフォームのアーキテクチャ（出典：PayPal Technology Blog）
PayPal社は生成AIの重要性を認識し、早くから取り入れてきた。Cosmos.AIの柔軟性や拡張性を備えたアーキテクチャをベースに、同社は大規模言語モデル（LLM）を活用したGenAI機能の開発に投資し、プロダクトイノベーションを促進してきた。PayPal社のエンジニアリングディレクターであるJun Yang氏は、生成AIに特化したサポートに向けた同社の取り組みの概要を以下のように説明している。
わが社では、拡張性に優れたプラットフォームに向けた盤石な基盤が整っていたため、PayPal Cosmos.AI上で生成AIのホリゾンタルプラットフォームを数ヶ月で開発できました。このため、弊社は、AIテクノロジーの第一線に参入でき、また、社内での生成AIアプリケーション開発に迅速に対応することができました。また、異なるチーム間でのGenAI採用に関する重複した取り組みを最小限に抑えることで、コストを削減できる。
同社はCosmos.AIのトレーニング機能を強化し、オープンソースLLMやベンダーホスト型LLMの微調整を可能にした。モデルレポジトリも拡張され、Hugging FaceのようなModel Gardenの一般公開されているモデルからのLLMのオンボードが簡単になったほか、リーガルチェックやライセンスチェックが可能になった。Cosmos.AIは現在、マルチGPUのデプロイ、LLM最適化、ストリーミングインターフェース、ロギングやモニタリングの向上などのLLMOps機能も提供している。
/filters:no_upscale()/news/2024/10/paypal-cosmosai-llm-genai/en/resources/1paypal-cosmos-aiops-1728419566641.jpeg)
Cosmos.AIのLLMOps機能（出典：PayPal Technology Blog）
生成AIアプリケーションをサポートするため、PayPal社はベクトルデータベースやCosmos.AIのパイプラインを活用したRAGフレームワーク、LLM推論のためのセマンティックキャッシング、プロンプト管理フレームワーク、プラットフォームオーケストレーションフレームワーク、LLM評価ツール、アプリケーションホスティングを含んだ幅広い新機能を開発した。将来的には、AI/MLプラットフォームをさらに進化させ、セルフサービスや手動プロセスのワークフローを自律化する予定である。