先頃のブログ投稿で、Amazonは、顧客がAmazon Elastic Container Service (ECS)でAmazon EC2 Inf1インスタンスを使用できるようになったと発表した。同社は、インスタンスのパフォーマンスが高く、予測可能なコストが低いことを約束している。
昨年の仮想re:Inventカンファレンスで、AmazonはInf1インスタンスを発表した。これは、AWSが機械学習の推論ワークロードを加速するためにゼロから構築したカスタムチップであるAWS Inferentiaを搭載している。数か月後の2020年6月、同社は、顧客がAmazon Elastic Kubernetes Service (EKS) およびECSでAmazon EC2Inf1インスタンスを使用できるようになったと発表した。
Inf1インスタンスは、1から16のAWS Inferentiaチップのサイズで利用でき、最大100Gbpsのネットワーク帯域幅と最大19GbpsのElastic Block Store (EBS) 帯域幅を備えている。1つのInferentiaチップには4つのNeuronCoreが含まれている。それぞれが高性能のシストリックアレイ行列乗算エンジンを実装しており、畳み込みやトランスフォーマなどの一般的な深層学習操作を大幅に高速化する。さらに、チップには大きなオンチップキャッシュがあり、外部メモリアクセスを減らし、プロセスのI/O時間を節約する。また、Inf1インスタンスにこれらのチップがいくつかある場合、ユーザはモデルをそれらに分割して、キャッシュメモリに完全に保存できる。
Inf1インスタンスでマシンモデルを実行するには、ユーザはAWS Neuron SDKを使用してハードウェアに最適化された表現にコンパイルする必要がある。これは、独自のインスタンスにインストールできる。さらに、ユーザは、ECS上のAmazon EC2Inf1インスタンス用の新しいAmazonLinux2ベースのAMIである新しく利用可能なECS Optimized Inferentia AMIを活用することもできる - ドキュメントとTensorFlow、PyTorchとAWS Neuron SDKリポジトリのApacheMXNetなどのチュートリアルが利用できる。
Constellation Research Incのプリンシパルアナリスト兼バイスプレジデントであるHolger Mueller氏は、InfoQに次のように語っている:
Amazonは、inf1インスタンスがAWSテクノロジースタックの他の部分とより適切に統合されるようになり、順調に進んでいます。今日、Inf1が機能し、AmazonのElastic Container Service (ECS) と統合され、次世代アプリケーションの作成を促進する2つの主要な機能であるAIとコンテナが統合されます。
また、Mueller氏は指摘した:
両方の組み合わせは、企業のディープラーニングの向上心をサポートするために特に不可欠です。企業は、必要に応じてスケーリングするためにコンテナベースである必要があり、Amazonの場合は2019年後半に発表された、Inf1でそれぞれのクラウドの最も効率的なAIチップを活用する必要があります。
現在、顧客は、Amazon Elastic Compute Cloud (EC2) Inf1インスタンスを米国、ヨーロッパ、およびアジア太平洋のAWSリージョンのAmazon ECSにデプロイできる。Inf1インスタンスの価格の詳細は、価格ページで入手できる。