200Bパラメータ・モデルを実行可能なNvidia Project Digits は新しいNvidia GB10 Grace Blackwell Superchipを搭載し、AIモデルのファインチューニングと実行を開発者がローカルマシンでできるようにする。3,000ドルからスタートするProject DigitsはAI研究者、データサイエンティスト、学生をターゲットとしており、デスクトップシステムを使ってモデルを作成し、クラウドやデータセンターのインフラストラクチャにデプロイすることを可能にする。
Nvidia Grace Blackwellは、NvidiaのArmベースのGrace CPUとBlackwell GPUを統合し、最新世代のCUDAコアと第5世代のTensorコア をNVLink®-C2Cで接続したものである。1つのユニットには統合された128GBコヒーレント・メモリと最大4TBのNVMeストレージが含まれる。
NvidiaによるとProject Digitsは4ビット浮動小数点で最大1ペタFLOPを提供する、これは量子化モデルを使った推論ではそのレベルの性能が期待できるがトレーニングではそうではないことを意味している。NVIDIAは32ビット浮動小数点に対するシステムパフォーマンスやメモリ帯域幅の仕様について明らかにしていない。
Project Digitsの発表により一部の開発者はNvidia RTX 5090ベースのシステムよりも望ましい選択になり得るかを熟考した。5090 GPUと比較してProject Digitsはコンパクトな筐体に収まり、5090で使われている巨大なファンを必要としないという利点がある。一方でProject Digitsの低消費電力DDR5メモリの使用は、5090のGDDR7メモリと比較して帯域幅が減少することを暗示しており、Project Digitsが推論用に最適化されていることをさらに裏付けている。しかし最終的な仕様が明らかでないため、2つのソリューションのパフォーマンスを比較するのは難しい。
もう一つの興味深い比較はApple M4 Maxベースシステムとの比較だ。このApple M4 Maxベースシステムは196GBのメモリを搭載、大規模LLMの推論に適している。DDR5X統合メモリの使用含めてこの2つのシステムにはより多くの類似点があるようで、Nvidiaは他の目的の中でも特にこの種のソリューションの代替策を提供することを目指しているようである。
Project DigitsはNVIDIA独自のLinuxディストリビューション、UbuntuをベースとしGPU Direct Storage (GDS)を直ちに利用できるNVIDIA最適化Linuxカーネルを備えたDGX OSを実行する。NVIDIAによれば最初のユニットは今年5月に利用可能になるという。