Advancing SONiC for AI Insights from the Latest Developments in the SONiC AI Working Group

Open Compute Project

24 Oct 202420:37

Summary

TLDRこのプレゼンテーションは、AIワーキンググループが過去9ヶ月間に行った活動を報告する内容です。主にAIファブリックの教育とそのネットワークトポロジー、ルーティング、負荷分散、障害管理に関する知識を共有しています。AIデータセンターにおける最適なネットワーク構築方法や、Sonicを用いたAIトラフィックの管理、さらには進行中の研究と提案された改善点についても言及されています。また、AIワークロードに対するネットワークの効率性向上に向けた取り組みが強調されています。

Takeaways

😀 AIワーキンググループは、AIファブリックとAIネットワークの最適化に向けた進捗を報告しています。
😀 スケールアップファブリックとスケールアウトファブリックという2種類のAIファブリックに関する理解が深まっています。
😀 Sonicは主にスケールアウトファブリックに焦点を当て、データ交換の効率を高めるためにNVLinkやEthernetを使用しています。
😀 データセンターでのAIネットワークの最適なトポロジーは、Leaf-Spineネットワークであり、低遅延と高帯域幅が求められます。
😀 BGPは大規模ネットワークで使用されるルーティングプロトコルで、ループを防止し、迅速な収束を実現するための新たな属性が導入されています。
😀 Rocky V2を使用したGPU間通信は、AIワークロードの特性に合わせて最適化が必要です。
😀 既存のPFCとDC-QCNの混雑制御は十分ではなく、AIのバーストトラフィックに適応するための高度な手法が必要です。
😀 より良い負荷分散のために、パケットヘッダーに含まれるQP ID情報を利用したハッシングが提案されています。
😀 適応型ルーティングにより、ネットワーク状態に応じてパケットのフローを調整し、遅延を最小限に抑えます。
😀 センター型と受信者型の2種類の混雑制御プロトコルが提案され、パケット損失を防ぎ、AIネットワークのパフォーマンスを向上させることが目指されています。

Q & A

AAワーキンググループの主な目的は何ですか？
-AAワーキンググループの主な目的は、AIファブリックに関する教育を行い、業界全体に理解を深めてもらうことです。また、年内にホワイトペーパーを作成することを目標としています。
Sonicの現在のコミュニティ版が抱えるギャップは何ですか？
-現在のコミュニティ版Sonicは、小規模なファインチューニングや推論タスクには適していますが、大規模なトレーニングタスクには対応できていません。特に、適応的なロードバランシングや強化されたCCMP、制御プレーンのサポートが必要です。
スケールアップファブリックとスケールアウトファブリックの違いは何ですか？
-スケールアップファブリックはシステム内やラック内でスケールすることを指し、スケールアウトファブリックは複数のノードやラック間でスケールします。スケールアウトファブリックは主にSonicに関連しており、GPUネットワークなどで使用されます。
AIデータセンターのネットワークで一般的に使用されるトポロジーは何ですか？
-AIデータセンターでは、リー・スパインまたはクロスネットワークトポロジーが90%以上のデータセンターで使用されています。このトポロジーは高帯域幅を提供し、AIトレーニングタスクの最適化に役立ちます。
Dragonfly Plusトポロジーにおける重要な課題は何ですか？
-Dragonfly Plusトポロジーでは、リンク間のループを防ぐために非最短経路を使用したルーティングが求められています。現在、BGPポリシーを使用してループフリーなルーティングを実現しようとする提案があります。
AIファブリックのトラフィックにおける問題点は何ですか？
-AIファブリックでは、GPU間の通信がバースト的なトラフィックを生成するため、適切な輻輳制御がないとトラフィックの損失や遅延が発生し、ジョブの完了時間が長くなります。これに対処するための改善が求められています。
SonicでAIワークロードに対応するための改善点は何ですか？
-Sonicでは、Rocky V2トラフィックの負荷分散を改善するために、パケットヘッダ内のQP IDを活用して、より良いエントロピーを提供する新しいハッシュアルゴリズムを導入し、適応ルーティングを有効にしています。
現在のSonicの輻輳制御メカニズムはどのようなものですか？
-現在のSonicでは、PFC（Priority Flow Control）とDC-QCN（Data Center Quantized Congestion Notification）を使用していますが、これらはバーストトラフィックの適応的な処理には十分ではなく、AIファブリックでは追加の輻輳制御メカニズムが求められています。
AIファブリックにおける適応型ルーティングの利点は何ですか？
-適応型ルーティングでは、フローごとにパケットを異なるリンクに移動させることができ、輻輳を避けてパケット順序の崩れを防ぐことができます。これにより、トラフィックの最適化とネットワークの効率性が向上します。
AIファブリックのロードバランシングを改善するための提案は何ですか？
-AIファブリックでは、低エントロピーの問題に対処するために、F-tupleとQP IDをハッシュに組み込んでより効果的なロードバランシングを実現することが提案されています。これにより、トラフィックが均等に分散され、ネットワークの効率が向上します。