QCon Londonにて、DoorDashのMachine Learning PlatformのシニアエンジニアリングマネージャーHien Luu氏は「Strategies and Principles to Scale and Evolve MLOps at DoorDash」と題した講演で、MLOpsのスケーリングと進化に関する洞察を発表した。Luu氏は，MLシステムが製品に価値を提供しないという，企業が直面しがちな課題を克服するための3つの原則を挙げ、DoorDashにおいてはこれらが有効であったことを説明した。
Luu氏は講演の冒頭で、Gartnerが公表した機械学習（ML）プロジェクトの85％は失敗するという事実を強調した。これはサービスインに到達しないためであり、MLモデルはプロダクション環境に到達するまで、投資収益率（ROI）がゼロであることを説明した。MLOpsはエンジニアリング学問として捉えられるべきであり、正しい戦略を採用することがゼロから成功するMLOpsインフラを構築するために重要であると述べた。
AI Infrastructure Allianceは、成功するMLOpsのための役に立つ青写真を提供している。これは、ユースケース、カルチャー、技術、人材という4つの重要な要素に基づいているのだ。
ユースケース、つまり「あなたが行っているゲーム」に焦点を当てることは、MLプロジェクトの重要な側面を理解するために不可欠である。ステークホルダーや意思決定者と協力することがこのプロセスで重要である。また、公正性、バイアス、予測の説明可能性などの問題に対処することも含まれる場合がある。企業文化を理解することも重要であり、企業は、革新的、協調的、結果重視、伝統的、顧客重視、包摂的などプロジェクトのアプローチ方法が異なる場合がある。進捗状況の期待値を特定し企業文化に適応することでよりスムーズなMLOps戦略の実装が可能になる。
もちろんMLOpsに使用される技術は重要な役割を担っており、システムにまつわる隠れた技術的負債の特定が必要である。すべての依存関係の成熟度を評価することで情報をもとに意思決定を行うことができる。情報に基づいた意思決定は、望ましいインパクトを出すために人々と技術が理想的に足並みをそろえた状態で行われるべきである。ステークホルダーをインフラ計画に参加させ、効果的なコミュニケーションを維持することで、MLOps戦略が組織のニーズや目標に沿ったものになるようにするのである。
Hien Luu氏は、DoorDashにおいてMLOpsの拡大と進化に不可欠な3つの核心原則を共有し、MLシステムがプロダクションで成功することを保証している。これらの原則は「Dream Big, Start Small」、「1% Better Every Day」、そして「Customer Obsession」である。各原則はDoorDashのMLOpsを成功に導いた特定のアプローチにフォーカスしている。
-
Dream Big, Start Small: この原則は、明確なビジョンと野心的な目標が必要であることを強調しながら、着実な進歩と改善を通じて進展と影響力に焦点を当てている。小さく始めることで企業は徐々に進歩し時間をかけて偉大なビジョンを実現できる。
-
1% Better Every Day: Luu氏は、DoorDashがこの原則を採用した実例を共有した。彼らはRedisを特徴量ストレージに採用し、各属性を別々に格納するのではなくJSON文字列として格納し、プロファイル全体を形成するように移行した。キーと値のエンコードされたビット数を最小限に抑える方法を開発して、CPU時間とメモリ使用量を削減した。これによってコストが3倍に削減されレイテンシが38％に減少したのである。毎日少しずつ改善を目指すことで、MLOpsインフラ全体の重要な向上を実現できるという、彼らのプラクティスはブログ記事"Building a Gigascale ML Feature Store with Redis"で公開している。
-
Customer Obsession: この原則は、顧客の声だけでなく、顧客のために生み出す重要性について強調している。DoorDashは「French fry moments」で顧客を喜ばせることを信じており、それは予想しないことで顧客を驚かせることを意味する。顧客満足度に執着することで企業はユーザーのニーズに本当に対応し総合的な体験を改善するためのMLOps戦略とシステムを作成できる。
Luu氏の講演中、参加者からは既存のツールの使用とステークホルダーの調整に関する質問が投げかけられた。Luu氏はカスタムツールを構築する前に既存のソリューションを考慮することをお勧めし、TritonやBentoなどの例を引用した。また、ステークホルダーの調整について、Luu氏は、彼らの目標と企業に与える影響を理解することの重要性を強調した。
結論としてLuu氏はMLOpsプロジェクトを拡大と進化させるための3つの原則をQCon Londonの会議で共有した。原則の「Dream Big, Start Small」、「1% Better Every Day」、「Customer Obsession」に従い、既存のツールを検討して、ステークホルダーの調整に取り組むことで、企業はMLシステムがプロダクションで成功する確率を大幅に高めることができるのだ。