最近、AWSはAmazon SageMaker Edge Managerと呼ばれるAmazon SageMakerの新機能を発表した。Amazon SageMakerのこの新機能により、顧客はスマートカメラ、ロボット、産業用機械などのエッジデバイスのフリートで機械学習モデルを簡単に準備、実行、監視、更新できる。
Amazon SageMaker Edge Managerは、毎年開催のre:Inventで発表された、クラウドベースの機械学習プラットフォームであるAmazon SageMakerに対する9つの重要なアップデートの1つである。Edge Managerを使用して、同社は顧客に対して、エッジでモデルをより簡単にデプロイおよび管理できるようにするソリューションを提供する。
さらに、Amazon SageMaker Edge Managerは、エッジデバイスからモデルの入力データと出力データをサンプリングしてクラウドに送信することで、以前はクラウドでしか利用できなかった機能を拡張している。これにより、開発者は、ドリフト検出のためにAmazon SageMaker Model Monitorを使用して、モデルの品質を継続的に向上させることができる。そして、データにラベルを付け直し、モデルを再トレーニングできる。
開発者は、Amazon SageMakerでモデルをトレーニングまたはインポートし、その後、Amazon SageMaker Neo（2年前に開始されたサービス）を使用して、Amazon SageMaker Edge Managerにハードウェアプラットフォーム用にモデルを最適化させることができる。このサービスは、モデルを低フットプリントのランタイムによってデバイス上で実行される効率的な標準フォーマットに変換する。現在、Neoは、Ambarella、ARM、Intel、NVIDIA、NXP、Qualcomm、TI、Xilinxによって製造されたチップをベースとするデバイスをサポートしている。
次に、Amazon SageMaker Edge Managerはモデルをパッケージ化し、Amazon Simple Storage Service（S3）に保存する。これにより、目的のデバイスにデプロイできるようになる。オンデバイスモデルは、Amazon SageMaker Edge Manager Manager Agentによって管理される。このAgentは、モデルのデプロイのためにAWS Cloudと通信し、モデル管理のために開発者のアプリケーションと通信する。
AWSの人工知能と機械学習のエバンジェリストであるJulien Simon氏は、ブログ投稿で次のように述べている。
実際、このエージェントをアプリケーションと統合して、予測に対するリクエストに応じてモデルを自動的にロードおよびアンロードできるようにすることができます。これにより、必要に応じて大きなモデルのすべてのリソースを解放したり、メモリ内で共存する小さなモデルのコレクションを操作したりするなど、さまざまなシナリオが可能になります。
出典: https://www.youtube.com/watch?v=zS0Q3bdsLiU (screenshot)
AWSの機械学習推論サービスのGMであるVin Sharma氏は、Amazon SageMaker Edge Managerに関するビデオで次のように述べている。
現在、多くの開発者は、ハードウェア固有のツールまたはフレームワーク固有のツールを使用して、トレーニング済みモデルを変換および最適化して、ターゲットハードウェアで実行します。このプロセスは、開発者が各デバイスの特定のハードウェア制約に合うように各モデルを手動で調整するのに何ヶ月もかかる場合があります。
Amazon SageMaker Edge Managerでは、Amazon SageMaker Neoを使用してこれを簡素化します。Neoは、さまざまなターゲットデバイス向けにモデルをコンパイルします。OS環境としては、Linux、Windows、Android、さらにはiOSやmacOSまで多岐にわたり、ハードウェアとしては、CPU、GPU、組み込みハードウェアSoCをベースとする様々なものがターゲットとなります。
現在、Amazon SageMaker Edge Managerは、ヨーロッパ、北アメリカ、アジア太平洋のいくつかのAWSリージョンで利用できる。さらに、サンプルノートブックはGitHubで入手できる。価格の詳細は価格ページで確認できる。