Insights from Production Scheduled Ethernet Fabric in Large AI Training Clusters

Open Compute Project

22 Oct 202423:16

Summary

TLDRこのプレゼンテーションでは、大規模なAIトレーニングクラスターにおけるスケジュール型イーサネットファブリックの導入について説明しています。参加者は、AIトレーニングネットワークの課題と、スケジュール型イーサネットファブリックの動作原理を理解し、特に受信者ベースのスケジューリングや完璧な負荷分散の利点について掘り下げています。また、実際の運用における成果や標準化の取り組みについても紹介され、AI環境での性能向上に向けた具体的なテスト結果が示されています。

Takeaways

😀 AIトレーニングネットワークの課題は、モデルの全データセットを複数のGPUに分散させる必要があることです。
😀 スケジュールされたイーサネットファブリックは、OCP準拠のシステムであり、トラフィックの衝突を回避します。
😀 受信者ベースのスケジューリングにより、全トラフィックが明示的に許可されるため、ネットワークの混雑を防ぎます。
😀 ゼロインパクトのフェイルオーバー機能により、リンク障害が発生してもトラフィックが迅速に再ルーティングされます。
😀 中央集権型管理モデルから分散型管理モデルへの移行が可能です。
😀 スケジュールファブリックは、AIトレーニングにおいて低エントロピーのトラフィックパターンに最適です。
😀 ダイナミックPFCを使用することで、より柔軟なトラフィック管理が実現されます。
😀 スケジュールファブリックは、従来のイーサネットシステムに比べてパフォーマンスが向上します。
😀 OSF（オープンスケジュールファブリック）は、異なるエントリの同期を効率化するための新しいプロトコルです。
😀 標準化イニシアチブを通じて、業界全体でのオープンな協力が促進されます。

Q & A

AIトレーニングネットワークにおける主な課題は何ですか？
-AIトレーニングでは、データセットやモデルを複数のGPUに分散させる必要があり、ネットワークトラフィックが低エントロピーで高帯域幅のフローが少ないため、飽和やテールレイテンシの増加が課題です。
スケジュール型イーサネットファブリックとは何ですか？
-スケジュール型イーサネットファブリックは、受信者ベースのスケジューリングを利用し、トラフィックが完全にスケジュールされて混雑を回避するシステムです。
スケジュール型イーサネットファブリックの利点は何ですか？
-このシステムは、完全な負荷分散、ゼロインパクトのフェイルオーバー、および自動トラフィック再ルーティングを提供し、トレーニングタスクへの影響を最小限に抑えます。
Bad Dan社はスケジュール型ファブリックの導入をいつ開始しましたか？
-Bad Dan社は2022年にスケジュール型ファブリックに注目し、2023年には生産環境での導入を完了しました。
スケジュール型イーサネットファブリックのパフォーマンスに関するテスト結果はどうでしたか？
-スケジュール型イーサネットファブリックは、従来のイーサネットに比べて、タスクのスケジュール性能が22%向上し、複数のタスクにおいては37%の改善が見られました。
運用管理モデルはどのように設計されていますか？
-運用管理モデルは、デバイスレイヤー、統一運用機能、システムレイヤーの四層構造で構成されており、スイッチのライフサイクルを管理するためのプラットフォームが用意されています。
オープンスケジュールファブリック（OSF）とは何ですか？
-OSFは、スケジュール型ファブリックのための制御プレーンプロトコルで、EVPNと拡張コミュニティ値を利用してエントリの同期を行う仕組みです。
スケジュール型イーサネットファブリックの標準化に向けた取り組みは何ですか？
-企業間での制御プレーンプロトコルのオープン化を促進するために、OSFの導入とともに標準化イニシアチブが進められています。
AIトレーニングネットワークにおけるテールレイテンシの重要性は何ですか？
-テールレイテンシは、最後のフローの完了が次のイテレーションの開始に影響を与えるため、ジョブ完了時間に大きな影響を及ぼします。
スケジュール型イーサネットファブリックの運用コストについてはどうですか？
-従来のコントロールモデルに比べて、運用コストは低く抑えられ、特に大規模AIネットワークの運用が容易になります。