Liquid Cooling Impact to Backend Network Design Presented by Credo

Summary

このビデオでは、CredoのDon Barnetsonが、AIとMLシステムにおける液体冷却の急速な普及がバックエンドネットワークデザインに与える影響について解説します。彼は、フロントエンドネットワーク、スケールアウトネットワーク、スケールアップネットワークの三つのネットワークの重要性を説明し、これらがデータセンターの性能にどのように寄与するかを示します。特に、Credoのアクティブ電気ケーブルが従来の光ファイバーに比べて優れた信頼性とコスト削減を提供することを強調し、新しいネットワークアーキテクチャの必要性について呼びかけています。

Takeaways

• 😀 Credoは、AIおよびMLシステム向けに液体冷却技術の急速な採用が進んでいることを強調しています。
• 🚀 AI/MLネットワークは、フロントエンド、スケールアウト、スケールアップの3つの独立したネットワークを必要とします。
• 💡 フロントエンドネットワークはTCPプロトコルを使用し、データの入出力を担当しますが、低帯域幅であり、非常に堅牢です。
• 🔗 スケールアウトネットワークは、GPU間でのデータの迅速な共有をサポートし、主にUDPトラフィックを使用しています。
• ⚡ スケールアップネットワークは、テンサーの並列処理を支援するため、非常に高い帯域幅と低遅延が求められます。
• 🛠️ Credoのアクティブ電気ケーブルは、従来の光ファイバーに比べてはるかに高い信頼性を提供し、障害発生率が低いです。
• 💰 価格面で、アクティブ電気ケーブルは光ファイバーよりも低コストであり、GPUあたり最大1,000ドルの節約が可能です。
• 🔋 アクティブ電気ケーブルは、GPUあたり最大14ワットの電力を節約できるため、エネルギー効率も向上します。
• 📉 データセンターにおけるリンクフラップの発生頻度が高く、これによりモデルのトレーニングが停止するリスクがあることを警告しています。
• 🌟 Credoは、今後のスケールアップネットワークのための新しい標準的なリファレンスアーキテクチャの構築を提案しています。

Q & A

Credoはどのような会社ですか？

Credoは、CXS（Communications and E-commerce Solutions）企業で、Rタイマーやギアボックス、光DSPなど多くの製品を提供しています。

AIMLシステムにおける液体冷却の急速な採用は、バックエンドネットワーク設計にどのような影響を与えますか？

液体冷却の採用は密度を大幅に増加させ、より高いデータ伝送を可能にします。これにより、光ファイバーから銅線への移行が促進され、コストと信頼性が向上します。

AIMLネットワークはどのような3つの独立したネットワークを必要としますか？

AIMLネットワークには、フロントエンドネットワーク、スケールアウトネットワーク、スケールアップネットワークの3つがあります。

フロントエンドネットワークの特徴は何ですか？

フロントエンドネットワークはTCPプロトコルを使用し、比較的低帯域幅で運用され、非常に堅牢です。データセンター全体にわたって動作します。

スケールアップネットワークはどのように機能しますか？

スケールアップネットワークは、テンサー並列処理をサポートし、非常に高い帯域幅と低遅延が求められます。これらは主にレイヤー1のイーサネット上で動作します。

リンクフラップとは何ですか？

リンクフラップは、光ファイバーリンクが一時的に中断され、ホストがリセットを必要とする現象です。これが発生すると、GPUがオフラインになり、モデルのトレーニングが停止します。

Credoのアクティブ電気ケーブル（AEC）の利点は何ですか？

CredoのAECは、光ファイバーと比較して信頼性が高く、低コストであり、消費電力を最大14ワット節約できます。また、ミーンタイム・トゥ・リンクフラップ（MTTLF）が約1億時間です。

データセンターにおけるGPUのコストはどのくらいですか？

現在、GPUは約1時間あたり4ドルで、30分の生産性損失が発生すると、20万ドルのコストがかかります。

液体冷却がどのようにネットワーク設計を改善しますか？

液体冷却によりラックの密度が高まり、距離が短縮され、銅線を使用する機会が増えます。これにより、コスト削減と信頼性向上が期待できます。

今後のバックエンドネットワークの課題は何ですか？

バックエンドネットワークの信頼性を向上させることが求められており、リンクフラップを減少させる新しい基準やアーキテクチャが必要です。