Orchestration needs for AI clusters at scale – Lessons learned from two leading providers

Open Compute Project

23 Oct 202414:58

Summary

TLDRこのプレゼンテーションでは、AIネットワーキングの実践について、Dan Hansen氏とKamini Sana Gopalan氏が、伝統的なネットワーク設計とAI専用設計の違いを探求しています。AIトラフィックの特性や性能向上のための最適なインフラ設計、そしてネットワーク管理の自動化の重要性が強調されています。特に、ゼロタッチプロビジョニングや、Broadcomが提供する統一管理フレームワークを活用した効率的なデプロイメントが鍵となると述べられています。これにより、AIワークロードのための迅速かつ効果的なネットワーク構築が可能になります。

Takeaways

😀 ネットワーク設計におけるAIの特異性：従来のネットワーク設計とは異なり、AIワークロードには特別なアプローチが必要である。
😀 パフォーマンスの最適化：標準のイーサネットネットワーク上でAIワークロードを実行すると、最大30％のパフォーマンス損失が発生する可能性がある。
😀 GPUサーバーの優位性：Super MicroはGPUサーバーシステムのリーダーであり、AIネットワークに特化した設計を進めている。
😀 インフィニバンドの重要性：Super Microでは、80％以上のファブリックがインフィニバンドで構築されており、高いパフォーマンスを提供している。
😀 スケールの課題：GPUを32個以上使用すると、パフォーマンスが低下する可能性があるため、最適な設計が求められる。
😀 オーケストレーションの必要性：AIファブリックの複雑さを管理するためには、強力なオーケストレーションシステムが必要である。
😀 Broadcomの役割：Broadcomは、AIファブリックの自動化と管理をサポートする統合管理フレームワークを提供している。
😀 オープンコミュニティへの貢献：BroadcomはOCPコミュニティに貢献し、さまざまな自動化ツールを開発するための基盤を提供している。
😀 デプロイメントの効率化：ゼロタッチプロビジョニングを活用し、出荷前にスイッチの設定を行うことでデプロイ時間を短縮できる。
😀 ハードウェア投資の重要性：企業が大規模なハードウェア投資を行う際、迅速なデプロイメントが不可欠である。

Q & A

スクリプトで言及されているAIネットワークの設計における主な違いは何ですか？
-AIネットワークは、従来のイーサネットネットワークとは異なり、GPUに直接L3接続を提供し、パフォーマンスの低下を防ぐために設計されています。従来のネットワークでは、トラフィックの流れが多様であるのに対し、AIネットワークでは流れが少なく、バーストトラフィックが特徴です。
スーパーマイクロの主な製品は何ですか？
-スーパーマイクロは、GPUサーバーシステムを中心に、特にAIネットワーク用に最適化された製品を提供しています。四半期ごとに10万台以上のGPUを出荷しており、インフィニバンドスイッチの主要なサプライヤーです。
従来のイーサネットネットワークを使用する際のパフォーマンスの低下の原因は何ですか？
-従来のイーサネットネットワークでは、AIワークロードに必要な性能を提供できず、約30%のパフォーマンス低下が見られることがあります。これは、適切に設計されたインフィニバンドやエーテルネットのネットワークを使用することで回避できます。
AIネットワークにおけるトラフィックパターンはどのように異なりますか？
-AIネットワークでは、通常、各GPUに対して1つのフローが存在し、トラフィックはバースト的であり、従来のネットワークのように多くのフローが同時に存在しません。
ブロードコムの役割は何ですか？
-ブロードコムは、AIファブリックの管理とオーケストレーションのための統一管理フレームワークを提供し、REST APIを通じて高度な構成機能をサポートしています。これにより、データセンター内のAIネットワークの設定と管理が効率的に行えるようになります。
スーパーマイクロの冷却ソリューションについて説明してください。
-スーパーマイクロは、銅冷却ソリューションを重視しており、これにより電力効率と信頼性を大幅に向上させています。銅を使用することで、コストを削減し、MTBF（平均故障間隔）を増加させることができます。
AIネットワークの展開を効率化するために、どのような戦略が必要ですか？
-展開を効率化するためには、ゼロタッチプロビジョニングのような自動化ツールを使用し、事前にスイッチの設定を構築することが重要です。これにより、顧客が迅速にシステムを立ち上げられるようになります。
オープンコミュニティの貢献はどのように重要ですか？
-オープンコミュニティへの貢献は、業界全体のオーケストレーションツールや標準の開発をサポートするために重要です。スーパーマイクロとブロードコムは、OCPコミュニティにおいてさまざまな技術を共有し、参加を促進しています。
AIネットワークにおけるノード管理の複雑さはどう対処されますか？
-ノード管理の複雑さに対処するために、スーパーマイクロとブロードコムは、オーケストレーションシステムを使用して、デイゼロからデイワン、デイツーまでの設定を自動化し、管理を効率化しています。
スーパーマイクロはどのようなビジネスモデルを採用していますか？
-スーパーマイクロは、顧客が必要に応じて完全なラックを構築して出荷するビジネスモデルを採用しています。また、顧客が単体のコンポーネントを購入することも可能です。