先ごろ、AWS は、最大8個の NVIDIA A10G Tensor Core GPU を搭載した新しい G5 インスタンスが利用可能になったと発表した。このインスタンスは、第2世代の AMD EPYC プロセッサを搭載している。
2年以上前に AWS で G4 インスタンスが利用可能なった。これは、機械学習の推論とグラフィックスを多用するアプリケーション向けに設計された最大8個の NVIDIA T4 Tensor コア GPU を搭載していた。新しい G5 インスタンスで、同社は、以前よりも推論およびグラフィックスを多用した操作で最大 40％ 優れたコストパフォーマンスを主張している。さらに、GPU 側は、 新しい G5 インスタンスの新しいブログ投稿によれば、A10G GPU で G4dn インスタンスの T4 GPU よりも 3.3 倍優れた ML トレーニングパフォーマンス、最大 3 倍優れた ML 推論パフォーマンス、および最大 3 倍優れたグラフィックスパフォーマンスが提供されるとのことだ。
出典: https://aws.amazon.com/ec2/instance-types/
A10G GPU それぞれには、24 GBのメモリ、80 のRT (レイトレーシング) コア、320 の第3世代 NVIDIA Tensor コアがあり、AI ワークロードに対して最大 250 TOPS (Tera Operations Per Second) の計算能力の提供が可能だ。
新しい 5G について Hacker News スレッドの回答者は、Nvidia V100 Tesla GPU を使用する AWS の同様の製品についてコメントした:
これは、48 ではなく 24 GB の GDDR6 を備えた、カットダウンされアンダークロックされた A6000 です。したがって、V100 とほぼ同じか、少し遅いパフォーマンスになると思います。
顧客は、5G インスタンスを使用して、インタラクティブビデオレンダリング、ビデオ編集、コンピューター支援設計、フォトリアリスティックシミュレーション、3D 視覚化、ゲームなど、さまざまなグラフィックアプリケーションを高速化したり、リコメンデーション、音声アシスタント、チャットボット、およびビジュアル検索など、コンテンツや製品のユースケースに合わせたリアルタイム AI 推論を実行したりできる。さらに、顧客は Amazon Elastic Container Service (Amazon ECS) および Amazon Elastic Kubernetes Service (EKS) クラスタで G5 インスタンスを起動することもできる。
Azure や Google Cloud などの他のパブリッククラウドプロバイダも、幅広いインスタンスタイプ、ストレージ、CPU、メモリ、ネットワーク容量などでさまざまな組み合わせを提供し、対象ワークロードの要件に合わせてリソースを拡張できる。
コンピューティングワークロードを加速するため、Microsoft は Azure で N シリーズ GPU 対応の仮想マシンを提供している。このマシンは、NVIDIA Tesla アクセラレーションプラットフォームと NVIDIA GRID 2.0 テクノロジーを備えている。また、Google Cloud の仮想マシンに使用できる、高速コンピューティング (A2) は、NVIDIA Ampere A100 Tensor Core GPU をベースにしている。
現在、新しい G5 インスタンスは、米国東部 (バージニア州北部)、米国西部 (オレゴン)、およびヨーロッパ (アイルランド) リージョンで、オンデマンド、スポット、セービングプランおよびリザーブドインスタンスの形式で利用できる。インスタンスは Linux と Windows をサポートし、CUDA、CuDNN、CuBLAS、NVENC、TensorRT、OpenCL、DirectX、Vulkan、OpenGL などのグラフィカルと機械学習ライブラリの多くと互換性がある。