Congestion Management in an Ethernet based network for AI Cluster Fabric

Summary

このプレゼンテーションでは、大規模なAI GPUクラスタにおける輻輳管理、制御、回避の重要性とその方法について説明しています。特に、ネットワークリソースの不足がGPUの待機時間を引き起こし、効率を低下させる問題に焦点を当てています。2つの主なアプローチとして、輻輳を避けるDDC（分散型ディスアグリゲートシャシー）と、エンドポイントでの輻輳管理が紹介され、それぞれの手法の利点と課題が解説されています。実験を通じて、どのアプローチがどのシナリオに適しているかを示し、最適な選択を支援するガイドラインが提供されています。

Takeaways

• 😀 AI GPUクラスタにおけるネットワークのボトルネックが問題になることがあり、特にGPUがネットワークリソースを待っている場合、無駄なアイドル時間が発生する。
• 😀 主要な目標は、GPUが最大限に活用されるようにネットワークアーキテクチャを設計すること。アイドルサイクルを避け、無駄な待機時間を削減する。
• 😀 ネットワークの問題には、パケットのドロップや順序違いの配信などがあり、これらがGPUの利用効率に悪影響を与える。
• 😀 輻輳（コンジェスチョン）の解決方法として、輻輳回避と輻輳制御の二つのアプローチがある。
• 😀 DDC（分散型分解シャーシ）アプローチは、ネットワークを大規模なシャーシのように振る舞わせる方法で、BroadcomのDNXアーキテクチャを使用して輻輳を回避する。
• 😀 端末デバイスでの輻輳制御（エンドポイントスケジューリング）は、ネットワーク上で直接輻輳を管理する方法で、U（Ultra Internet Consortium）のプロファイルなどが採用している。
• 😀 AIクラスタのトラフィックは低エントロピー環境であり、大きな流れが同じパスを取ることが多いため、ボトルネックや輻輳が発生する。
• 😀 込み合ったネットワークが特に影響を与えるのは、集団的通信（例：All-to-All、All-Reduce）など、帯域幅を大量に消費する通信パターン。
• 😀 実験を通じて、DDCとエンドポイントスケジューリングのアプローチがそれぞれどのようなユースケースに適しているかを比較した。
• 😀 実験結果から、小規模な環境ではエンドポイントスケジューリングも効果的だが、規模が大きくなるとチューニングの負荷が増大し、DDCの方が簡便で安定した結果を得られる。
• 😀 実験において、ECMP（Equal Cost Multi-Path）を使用して基本のベースラインを設定し、スプレーパケット方式やECN（Explicit Congestion Notification）などで性能向上を試みた。

Q & A

このプレゼンテーションで紹介されているAI GPUクラスターでの混雑管理の主な課題は何ですか？

主な課題は、ネットワークリソースの不足によりGPUがアイドル状態になり、効率的に利用されないことです。特にAIクラスターでは、高帯域幅の要件を持つ大規模なデータ転送が行われるため、ネットワークの混雑やパケットロスが発生しやすく、これがGPUの利用効率を下げる原因となります。

DDC（分散分解シャーシ）とはどのような方法ですか？

DDCは、ネットワークアーキテクチャ全体を単一のネットワークエンティティとして機能させる方法で、複数のスイッチが分散して配置されながらも、統一的に動作します。これにより、トラフィックが均等に分散され、混雑を避けることができます。

エンドポイントでの混雑制御のアプローチはどのように機能しますか？

エンドポイントでの混雑制御は、GPUクラスター内のNIC（ネットワークインターフェースカード）によってパケットがスプレッドされ、トラフィックの混雑を管理します。この方法では、パケットが均等に分散されることで、混雑を軽減します。

低エントロピー環境が混雑を引き起こす原因は何ですか？

低エントロピー環境では、データフローが予測可能で一定のパターンに従うため、特定の経路を多くのデータが占有し、ボトルネックが発生します。これが大規模なフローやエレファントフローを引き起こし、混雑やパケットドロップの原因となります。

今回の実験で、DDCとエンドポイントスケジューリングを比較するために使用したテストベッドの特徴は何ですか？

テストベッドには、トマホーク5スイッチとエッジコアのSonicディストリビューションが使用され、様々な混雑管理機能やワークロードをテストしました。テストでは、パフォーマンスの基準値を設定し、異なるスケジューリング方法の効果を評価しました。

エンドポイントスケジューリングでの「パケットスプレイ」方式にはどのような問題がありますか？

パケットスプレイ方式では、パケットが複数のリンクに均等に分散されるため、パケット順序が乱れ、順番通りに届かないことがあります。この問題は、順序制御を適切に行う必要があるため、追加の調整が求められます。

エンドポイントスケジューリングの「フローエット」はどのような特徴がありますか？

フローエットは、パケットスプレイの利点を活かしつつ、パケットの順序問題を最小限に抑えるために設計された方式です。この方式では、パケットが複数のリンクに分散して送信されますが、順序の一貫性が保たれるよう調整されています。

ECN（Explicit Congestion Notification）の調整で、最適な設定値を決める際のポイントは何ですか？

ECN調整では、バッファしきい値やマーク確率を調整することが重要です。特に、バッファしきい値が小さすぎると早期にパケットがマークされ、逆にパフォーマンスが悪化することがあります。適切な調整を行うことで、ネットワークの混雑を管理しつつ、パフォーマンスを最適化できます。

トマホーク5スイッチの「動的ロードバランス（DLB）」モードの役割は何ですか？

トマホーク5スイッチの動的ロードバランス（DLB）モードは、パケットを最適に分散させてネットワークの負荷を均等に保つための機能です。このモードを使用することで、トラフィックの過剰集中を避け、より効率的なネットワーク利用が可能になります。

エンドポイントスケジューリングとファブリックスケジューリングを選ぶ際の決定要因は何ですか？

選択は、ワークロードの特性に依存します。例えば、複数のジョブが異なるパターンで実行されるマルチテナント環境では、ファブリックスケジューリングが適しています。一方、低レイテンシーを要求する特定のワークロードでは、エンドポイントスケジューリングが有利になる場合があります。