AWSは、Amazon SageMakerにおけるMLflow機能の一般提供を発表した。MLflowは、ML実験の管理によく使われるオープンソースのツールである。ユーザーは、MLflow UIで実験全体のモデルパフォーマンス、パラメータ、メトリクスを比較し、MLflow Model Registryでベストモデルを追跡し、SageMakerモデルとして自動的に登録し、登録されたモデルをSageMakerエンドポイントにデプロイ可能になった。
Amazon SageMaker Studioは、機械学習のための完全に統合された開発環境（IDE）を提供し、ユーザーはトラッキングサーバーを作成・管理し、ノートブックを実行して実験を作成し、MLflow UI にアクセスして実験の実行を表示・比較できる。
MLflow Tracking Serverは、コンピュート、バックエンドメタデータストレージ、アーティファクトストレージの3つの主要コンポーネントから構成される。トラッキングサーバーをホストするコンピュートとバックエンドメタデータストレージは、SageMaker サービスアカウントで安全にホストされている。アーティファクトストレージは、ユーザー自身のAWSアカウント内のAmazon S3バケットにある。トラッキングサーバーはARN（Amazon Resource Names）を持っており、MLflow SDKをトラッキングサーバーに接続し、MLflowへのトレーニング実行のロギングを開始できる。
MLflow Tracking Server を作成すると、SageMaker サービスアカウント内にバックエンドストアが自動的に設定され、ユーザーのために完全に管理される。このバックエンドストアは、実行 ID、開始時刻、終了時刻、パラメータ、メトリクスなど、各実行のさまざまなメタデータを永続化する。MLflowに実行ごとのメタデータの永続ストレージを提供するために、ユーザーは Amazon S3 を使用してアーティファクトストアを作成する必要がある。アーティファクトストアは、ユーザーのAWSアカウント内に設定する必要があり、アーティファクトストアにアクセスするために、MLflowにAmazon S3へのアクセス権を明示的に与える必要がある。
/filters:no_upscale()/news/2024/07/aws-sagemaker-mlflow/en/resources/1GQg0vh4WQAAZFa3-1720731159380.jpeg)
Amazon SageMakerをMLflowと共に使用する主な利点は、包括的な実験追跡、MLflowの全機能、統一されたモデルガバナンス、効率的なサーバー管理、強化されたセキュリティ、効果的なモニタリングとガバナンスである。
AWSのチーフエバンジェリストであるDanilo Poccia氏が自身のXアカウントで書いているように、この製品は次のように使用できる。
複数のモデルトレーニングの実行を追跡し、これらの実行をビジュアライゼーションで比較し、モデルを評価し、最良のモデルをレジストリに登録するのに役立ちます。
AWSファンダメンタルズのチームメンバーであるEduardo Robledo氏は、Xにトラッキングサーバーについて投稿した。
ポートフォリオに追加されたのはいいですが、トラッキングサーバーがサーバーレスベースでないのは残念です。トラッキングサーバーの小さなインスタンスだけで月額460ドルというのはクレイジーです！@InfinStorのような会社はaws lambdaでmlflowトラッキングサーバーをオンデマンドで提供しています。
TensorBoard、Weights & Biases、Neptune.aiのようないくつかのツールは、機械学習の実験、モデル、デプロイメントを管理する機能を提供している。TensorBoardはTensorFlowモデルの可視化に強く、Weights & BiasesとNeptune.aiは広範なトラッキングとコラボレーション機能で様々なフレームワークをサポートしている。MLflowとAmazon SageMakerの統合は、管理された安全なAWS環境、SageMakerエンドポイントへの容易なデプロイ、強力なモデルガバナンスを提供し、AWSユーザーに効率的なソリューションを提供する。
Amazon SageMaker with MLflowは、Amazon SageMakerが現在利用可能なすべてのAmazon Web Servicesリージョンで利用できる。