Supporting Meta ML Accelerators on the Grand Teton Platform

Open Compute Project

23 Oct 202420:31

Summary

TLDRこのプレゼンテーションでは、Metaが開発した推論アクセラレーターをサポートするためのシステム設計について説明されています。Grantonプラットフォームを基にしたこのシステムは、推論ワークロード、特に推薦モデルに特化しており、効率的なメモリ利用と低消費電力を重視しています。システムアーキテクチャは、AMD CPUを搭載したヘッドノード、12モジュールを収容するアクセラレータートレイ、CXLによるメモリ拡張を可能にする拡張トレイの3つの主要ブロックで構成されています。将来的な技術進歩への対応と柔軟性を持った設計が特徴です。

Takeaways

😀 メタのプラットフォームハードウェアエンジニアリングチームが、推論アクセラレータ用のシステム設計を発表。
😀 Granton MTIシステムの主なターゲットワークロードは、主に推奨モデルに特化した推論ワークロード。
😀 システムの論理アーキテクチャには、ヘッドノード、アクセラレータトレイ、拡張トレイの3つの主要なブロックが含まれる。
😀 ヘッドノードは2ソケットAMD CPUを使用し、2TBのDDR5メモリを搭載。
😀 アクセラレータトレイは、12のモジュールを保持し、合計24のデバイスを接続。
😀 CXLを使用したメモリ拡張オプションを提供し、ホストメモリを最大2TBまで増やすことが可能。
😀 各アクセラレータモジュールは、90Wの電力を使用し、256MBのSRAMを搭載している。
😀 システムの設計は、メモリ集約型のアプリケーションに最適化されている。
😀 プラットフォームは、さまざまなユースケースをサポートできる柔軟性を持っている。
😀 CXLを使用することで、ホストメモリの不足を補うことができ、特定のワークロードに対応。

Q & A

このプレゼンテーションの主な目的は何ですか？
-このプレゼンテーションは、MetaのGrandonプラットフォーム上での推論アクセラレータをサポートするシステム設計について説明することです。
Grandonプラットフォームはどのような用途に設計されていますか？
-Grandonプラットフォームは、主に推薦モデルなどの推論ワークロード向けに設計されたもので、Metaが開発した内部のシリコンです。
システムの論理アーキテクチャについて教えてください。
-システムは、2ソケットのAMD CPUを持つヘッドノード、12モジュールを保持するアクセラレータトレイ、およびCXLベースのメモリ拡張トレイの3つの主要ブロックで構成されています。
アクセラレータモジュールの構成はどうなっていますか？
-各アクセラレータモジュールは、2つのアクセラレータを持ち、デュアルスロットの厚さで設計されており、最大で90ワットの電力を処理できます。
メモリ拡張トレイの役割は何ですか？
-メモリ拡張トレイは、追加のCXLモジュールを通じてホストメモリを拡張し、必要に応じて柔軟にメモリを増設することができます。
このプラットフォームの主な使用例は何ですか？
-このプラットフォームは、Metaの推薦システムのために最適化されており、特にメモリ集約型の推論ワークロードに適しています。
CXLベースのメモリ拡張はすでに展開されていますか？
-CXLベースのメモリ拡張は設計されており、一部のワークロードではホストメモリが不足する場合があるため、今後の展開が計画されています。
システムの熱管理についてどのように対処していますか？
-システムは、空間の制限を考慮して設計されており、熱管理を最適化するためにデュアルスロットアクセラレータを使用しています。
このプラットフォームの拡張性について教えてください。
-システムはモジュラー設計を採用しており、アクセラレータモデルの進化に応じて変更が可能です。これにより、異なるワークロードに対応できます。
推論ワークロードの例としてどのようなものがありますか？
-推論ワークロードの例には、推薦システムや画像認識モデルなどがあります。このプラットフォームは、特に推薦向けに最適化されています。