Revolutionizing System Design The Impact of Chiplets and Heterogeneous Integration on Semicon

Open Compute Project

23 Oct 202413:53

Summary

TLDRこのプレゼンテーションでは、Applied MaterialsのMudit氏が、AIサーバープラットフォームにおけるシステム設計の革新、特にチップレットと異種統合の影響について説明しました。彼は、AIワークロードの増加に伴う計算能力とメモリ帯域幅の要求の拡大、ならびにパワーデリバリーの課題に焦点を当てました。将来のAIシステムは、急速に増加する計算とメモリ密度に対応するため、先進的なパワー管理技術と、産業界全体での協力が必要です。特に、容量技術やフォトニクス技術の統合が重要であり、次世代AIプラットフォームに向けた共同研究とパートナーシップの重要性を強調しました。

Takeaways

😀 AIシステムの要求事項：現在のAIトレーニングシステムは、モデルのパラメータとコンピュートフロップ（FLOPS）を基準に設計されており、将来的にはこれらの要求が大幅に増加する見込み。
😀 大規模AIシステムにおけるGPUとCPU間、およびGPU間の接続は、現在の主要なボトルネックとなっており、これらの課題解決に向けての取り組みが進行中。
😀 AIサーバーノードは、複数のGPUを搭載し、異なるトポロジーで接続されており、効率的な運用のためにソフトウェアが数万のGPUを適切に分割して活用する必要がある。
😀 メモリとコンピュータの密度が増加することで、今後のAIシステムは、物理的なパワーデリバリーネットワーク（PDN）設計に大きな負担をかける。
😀 次世代AIインフラには、メモリ帯域幅と容量を向上させる必要があり、細かなピッチのマイクロバンプや高密度のパッケージング技術が求められている。
😀 電力密度は、最先端の技術ノードにおいて6倍に増加することが予想され、これにより高効率の電力供給が不可欠となる。
😀 パワーデリバリー設計の最も重要な要素は、最小限のIRドロップで大量の電力を供給することにあり、これにはVRM（ボルテージレギュレーターモジュール）の統合が重要。
😀 高ボリューム密度と3D積層に対応可能なコンデンサ技術が、次世代のAIシステムの電力供給において重要な役割を果たす。
😀 光インターコネクト（フォトニクス）の統合は、デバイス間の波導と精密な整列に依存しており、これを実現するためには非常に専門的な機器と材料が必要。
😀 Applied Materialsは、業界と学界のパートナーシップを通じて、次世代のAIインフラとパワーデリバリーシステムの共同最適化を目指している。
😀 新しい材料（例：GaN MH）の研究が、特に高電圧に対応するパワーフェットの効率向上に貢献する可能性がある。

Q & A

AIサーバープラットフォームにおける現在の最も重要な課題は何ですか？
-AIサーバープラットフォームにおける主要な課題は、GPUとCPU、そしてGPU間のボトルネックです。これらのボトルネックを解消し、今後のAIプラットフォームのニーズに対応するために、Applied Materialsは様々な技術的な解決策に取り組んでいます。
未来のAIシステムにはどの程度の計算能力（Flops）が必要とされるのでしょうか？
-未来のAIシステムは、10Rから24フロップス、つまり数十Yフロップスの計算能力を必要とする見込みです。これは現在のAIシステムの10Rから15フロップスという要求から大きく増加することを意味しています。
現在のAIインフラのスケールアップにおいて重要な要素は何ですか？
-現在のAIインフラにおいて重要なのは、メモリ帯域幅の増加、コンピュート密度の向上、そしてパワーデリバリーネットワーク（PDN）の最適化です。これらの要素がスケールアップと将来的なニーズに対応するために不可欠です。
AIプラットフォームにおけるパワーデリバリーの重要性について教えてください。
-AIプラットフォームにおけるパワーデリバリーは非常に重要です。なぜなら、AIシステムは高い電力密度を要求し、特に次世代システムではその要求が現在の6倍に達するためです。低抵抗で高電圧を供給し、I²R損失を制御するために最適化されたパワーデリバリーシステムが求められます。
今後のAIシステムの電力密度はどのように変化するのでしょうか？
-現在のAIシステム（5ナノメートル技術）の電力密度は1ワット/平方ミリメートルですが、2ナノメートル技術のような先進的なノードでは、電力密度要求が現在の6倍に増加することが予測されています。
Applied Materialsが取り組んでいる電力供給の課題は何ですか？
-Applied Materialsは、次世代AIインフラのために、電力供給ネットワーク（PDN）を最適化するために、IVR統合、パッケージバックサイド電力供給、そして3D縦型電力供給ネットワークの導入に取り組んでいます。これにより、高密度のAIプラットフォームの電力要件に対応します。
AIサーバープラットフォームにおけるキャパシタの役割とは何ですか？
-AIサーバープラットフォームにおいて、キャパシタは重要な役割を果たします。特に、IVR（インテリジェント電圧レギュレータ）回路においては、バルクキャパシタンスとデカップリング用途に使用され、電力供給の安定性と効率性を向上させます。
AIサーバーで使われるキャパシタ技術にはどのような種類がありますか？
-AIサーバーで使用されるキャパシタ技術には、MLCC（多層セラミックコンデンサ）、ディープトレンチキャパシタ、そして高チャージ密度を持つその他の技術があります。これらはそれぞれ、体積密度やスケーラビリティ、コスト効率において異なる利点を持っています。
フォトニクスエンジンをプロセッサに組み込むことの課題は何ですか？
-フォトニクスエンジンをプロセッサに組み込む際の最大の課題は、ウェーブガイドと光学部品の精密な整列です。これには非常に専門的な装置と材料が必要であり、光損失を最小限に抑えることが重要です。
Applied Materialsが目指す次世代AIプラットフォームにおける主要な技術的な取り組みは何ですか？
-Applied Materialsは、次世代AIプラットフォームの実現に向けて、システム全体の材料共同最適化、電力密度要求のスケーリング、そしてAIプラットフォームにおける計算とメモリ密度の向上に取り組んでいます。これにより、将来のAIシステムのニーズに対応し、業界と学術界との協力を通じて技術革新を促進しています。