最近、Googleは第2、第3世代のCloud Tensor Processing Units (TPU)Podが現在ベータ版で公開されていることを発表した。これらのPodを使用すると、最大1,000台のカスタムTPUを搭載したGoogleのスケーラブルなクラウドベースのスーパーコンピュータを一般向けに利用することができる。これにより機械学習（ML）の研究者、エンジニア、データサイエンティストが機械学習モデルを訓練し、展開するのに必要な時間を高速化できる。
Googleは2016年のGoogle I/Oイベントで初代カスタムTPUを発表し、顧客へのクラウドサービスとしてそれらへのアクセスを提供し始めた。続いて第2世代TPUは2017年にデビューし、液冷TPU v3は昨年Google I/O基調講演で発表された。数週間前のGoogle I/O 2019までは、Googleクラウドで単一のTPU v2とTPU v3が個別のデバイスとして一般公開されていた。現在、TPU v2とTPU v3のハードウェアは、クラウドTPU Podと呼ばれる堅牢な相互接続システムとして提供されている。
1つのクラウドTPU Podには、超高速の2次元トロイダルメッシュネットワークで接続された1,000を超える個別のTPUチップを含めることができる。TPUソフトウェアスタックはこのメッシュネットワークを使用することで、多数のマシンのラックを、柔軟で高度なさまざまなAPIを介して、単一の巨大なMLスーパーコンピュータとしてプログラムできるようになる。
開発者は、次のような特定のワークロードに対して、完全なTPUポッドまたはポッドの一部にアクセスできるようになった。
- 行列計算が支配的なモデル
- メインのトレーニングループ内にカスタムTensorFlow操作がないモデル
- 数週間または数ヶ月間トレーニングするモデル
- 有効なバッチサイズが非常に大きい非常に大規模なモデル
クラウドTPU Podには、単一のクラウドTPUと比較して以下の利点がある。
- R&Dでの高速な反復のためのトレーニング速度向上
- 自動的にスケーラブルなMLコンピューティングを提供することで人間の生産性向上
- 1台のクラウドTPUデバイスよりもはるかに大きいモデルをトレーニングする機能
GoogleのクラウドTPU担当シニアプロダクトマネージャ、Zak Stone氏が発表について次のようにブログ投稿している。
MLチームは個々のクラウドTPUデバイス（一般に入手可能）上で初期モデルを開発してから、データ並列性とモデル並列性の両方を介して次第により大きなクラウドTPU Podスライスに拡張することがよくあります。
液冷v3を使用すると、TPUユーザは最も高いパフォーマンスを得られる。Podでは、各TPUは最大100 petaFLOPSを処理できる。比較として、TPU v2 Podは11.3分でResNet-50モデルをトレーニングするが、v3 Podは7.1分しかからない。さらにGoogleによると、TPU 3.0 PodはGoogle TPU 2.0 Podよりも8倍強力である。
出典: https://techcrunch.com/2019/05/07/googles-newest-cloud-tpu-pods-feature-over-1000-tpus/
Google以外にも、Amazon、Facebook、AlibabaがAIソフトウェアを実行するためのプロセッサの開発に取り組んでいる。データセンターで何十万台ものコンピューターを実行するのは高価であるため、チップに投資することでコストを削減しながらAIアプリケーションの実行を向上させる。そんな中、Googleはそのようなプロセッサを一般向けに利用可能にした最初の巨大技術企業である。IDCのリサーチディレクターであるPeter Rutten氏は、TechTargetの記事で次のように述べている。
他のベンダーが計画しているものとは関係なく、Google TPU Podは非常に強力です。
現在、eBay、Recursion Pharmaceuticals、Lyft、Two Sigmaなど、さまざまな顧客がCloud TPU製品を使用している。
最後に、クラウドTPU v2とv3の両方の端末の価格は1時間あたり1桁の数字だが、クラウドTPU v2とv3のPodでは価格帯が異なる。詳細については、価格ページをご覧ください。