5781 Evolving FBOSS for the Next Gen AI Fabric

Summary

このプレゼンテーションでは、Metaのソフトウェアエンジニアたちが、次世代AIファブリックのためのFBOSSの進化について解説します。AIワークロードがネットワーキングに与える課題、特にエレファントフローや混雑時の振動行動を取り上げ、解決策としての分散スケジュールファブリック（DSF）を提案します。DSFの性能向上やネットワークトポロジーの将来計画についても詳述され、最終的には業界の他のプレイヤーとのコラボレーションの重要性が強調されます。

Takeaways

• 😀 FBOSS（Facebook Open Switching System）は、Metaのデータセンターでのネットワークスイッチの管理と制御に使用されるフレームワークである。
• 😀 AIワークロードは、ハッシュ衝突や混雑を引き起こす「エレファントフロー」と呼ばれる大規模な継続的なデータフローを生成するため、ネットワーキングに課題をもたらす。
• 😀 DSF（Disaggregated Scheduled Fabric）は、ほぼ最適な負荷分散を提供し、クレジットベースのスケジューリングスキームを使用することで、滑らかな帯域幅を実現する。
• 😀 DSFの主な特徴には、トラフィックをセルに分解し、すべてのファブリックリンクにスプレーすることが含まれる。
• 😀 DNXシリコンは、フロー衝突がなく、データセンター間接続に最適な深いバッファを提供するなど、DSFの実現を支える機能を備えている。
• 😀 DSFは、低コストのハードウェアを使用してスケールできるように設計されており、単一の論理ルーターとして機能する。
• 😀 デバイスのアイソレーション機能により、デバイスが最適な能力で稼働していない限りトラフィックを転送しないことで、トラフィック損失を防ぐ。
• 😀 動的なケーブル長計算機能が追加され、AIワークロードに対してバッファの調整を助ける。
• 😀 DSFは、障害時にも優れた性能を維持し、ジョブ完了時間に対する影響を最小限に抑えることができることが確認された。
• 😀 現在の展開は128のエンドオブロースイッチが4K GPUに接続されており、将来的には18K GPUに拡張する計画がある。

Q & A

AIワークロードがネットワーキングに与える主な課題は何ですか？

AIワークロードは、大きなデータストリームである『エレファントフロー』や、ハッシュ衝突を引き起こす低エントロピーのデータの連続フローを含んでおり、これがネットワークの混雑や振動を引き起こします。

DSF（ディスアグリゲートスケジュールファブリック）とは何ですか？

DSFは、最適な負荷分散を実現するために設計されたネットワークソリューションで、クレジットベースの混雑制御方式を使用して、スムーズな帯域幅を提供します。

DSFが提供する3つの重要な要素は何ですか？

1つ目はクレジットベースの混雑制御、2つ目はパケットをセルに分割してファブリックリンク全体にスプレーすること、3つ目は目的地でセルを再構成することです。

DNXシリコンファミリーはDSFにどのように寄与していますか？

DNXシリコンは、深いバッファ、混雑管理機能、弾力性を提供し、ワークロードの需要に応じてネットワークが成長できるように設計されています。

デバイスのアイソレーションはどのように機能しますか？

デバイスアイソレーションは、デバイスが最適な容量で動作していることを確認するまでトラフィックを転送しないようにします。これにより、新しいデバイスをネットワークに追加する際のトラフィック損失を防ぎます。

DSFのパフォーマンスは既存のDLB（ダイナミックロードバランシング）と比較してどうですか？

DSFは、帯域幅を必要とする集団通信においてDLBに対して約10%のパフォーマンス向上を示します。

DSFはどのようにネットワークの故障に対応しますか？

DSFは、故障が発生した場合でもネットワークが段階的に劣化し、グリーンラインに示されるように70%のアップリンク容量の低下でもジョブの完了時間は約19%から20%しか劣化しません。

FBOSSの制御プレーンでの強化は何ですか？

FBOSSの制御プレーンには、近隣解決プロトコルを使用して全体のクラスターにわたって情報を同期させるための強化が行われました。

将来のDSFトポロジーにはどのような計画がありますか？

将来的には、18K GPUを持つ非ブロッキングトポロジーを開発する計画があります。

AIワークロードにおいてケーブル長の測定はなぜ重要ですか？

ケーブル長の測定は、AIワークロードにおけるバッファ調整に役立つため、重要です。