Meta社、ハイパースケールクラウドワークロード用ベンチマークスイートDCPerfをオープンソース化

原文リンク(2024-08-27)

Meta社は最近、データセンターのクラウド展開で見られる多様なワークロードを表現することを目的としたDCPerfをリリースした。このベンチマーク・コレクションは、研究者、ハードウェア開発者、インターネット企業にとって有用なリソースとなり、将来の製品の設計や評価に役立つと期待されている。

Meta社のAbhishek Dhanotia氏、Wei Su氏、Carlos Torres氏、Shobhit Kanaujia氏、Maxim Naumov氏は、リリースを発表したブログ記事の中で、ハイパースケールやクラウドデータセンターのワークロードのユニークな性質を強調している。彼らは、サーバー市場を支配するこれらのワークロードは、ハイパフォーマンス・コンピューティング（HPC）や従来の企業環境におけるワークロードとは大きく異なることを強調した。このような差別化により、サーバーの設計や評価アプローチもカスタマイズする必要があり、専用のベンチマークが必要となる。

DCPerfは、実世界のハイパースケールクラウドアプリケーションを模倣するように設計されたベンチマークスイートであり、ハードウェアベンダー、システムソフトウェア開発者、研究者に、新製品を評価し、性能予測とモデリングを実施するためのツールを提供する。このアプローチは、インターネット・アプリケーション企業によって開発され、ハイパースケール・クラウド・データセンターに展開された実際の本番ワークロードを反映している。

Meta社のチームは、ベンチマークの代表性を確保するために、低レベルのハードウェアマイクロアーキテクチャの特徴の調査から、アプリケーションやライブラリの使用プロファイルの分析に至るまで、さまざまな手法を採用した。このアプローチにより、本番ワークロードの重要な特性を把握し、DCPerfに組み込むことができた。

これらのベンチマークを活用することで、将来のサーバープラットフォームにおけるハードウェアとソフトウェアの設計と最適化が、ハイパースケーラの本番導入における効率改善に、より直接的に反映されることになる。

出典DCPerf：ハイパースケールコンピュートアプリケーションのためのオープンソースベンチマークスイート

Meta社は、さまざまな命令セットアーキテクチャ（x86、ARM）との互換性を確保し、新たなトレンド（例：チップレット）に対するベンチマークの有効性を検証し、最新のサーバーで増加するコア数を活用するためにマルチテナンシーサポートを追加した。

この発表がHacker Newsでシェアされたとき、技術コミュニティはGoogleのワークロード用に調整されたベンチマーク・スイートであるFleetbenchとの類似性を指摘した。FleetbenchのC++コードは、チップベンダー、コンパイラー研究者、その他Googleが使用するワークロードと同様のワークロードの性能向上を目指す人々を支援するために設計されている。

Meta社は、製品の評価を強化し、データセンターの構成選択を導くために、SPEC CPUベンチマーク・スイートとともにDCPerfを社内で活用してきた。このアプローチは、キャパシティプランニングのための早期の性能予測を可能にし、ハードウェアとソフトウェアの両方における性能問題をピンポイントで特定するのに役立ち、ハードウェアパートナーとの協力的なプラットフォーム最適化を促進する。

DCPerfのアプリケーションソフトウェアのコレクションは、SPEC CPUのような従来のベンチマークと比較して、プラットフォームの性能についてより包括的な理解を提供する。これらの利点を認識し、Meta社はDCPerfをデータセンター展開のためのプラットフォーム選択プロセスに統合した。

DCPerfは、CPU性能、IPC、メモリレイテンシ、そしてある程度はメモリ帯域幅と消費電力の評価と最適化において強力な適用性を示している。しかし、ネットワークとストレージの評価における有用性はより限定的で、特定のワークロードに依存する。ブログ記事では、DCPerfがさらなる開発を必要とする領域や、ユーザーが結果を解釈する際に注意を払うべき領域を具体的に紹介している。

Meta社は、DCPerfの利用における協力者のサポートと貢献に感謝している。興味のある読者は、GitHubでプロジェクトの詳細をチェックできる。