Direct-to-Chip Liquid Cooling AI Cluster Architectures Inspired by OCP Principles and Technologies

Open Compute Project

1 May 202423:07

Summary

TLDRスーパーマイクロのリッチ・ラペン・ブッシュ氏が液体冷却型AIクラスタアーキテクチャについて語る。AIが学術界や軍事の範疇を超え、商用化され大規模言語モデルが急速に拡大する中、チップのパワーとサイズが増加し、データセンターの冷却問題が深刻化している。スーパーマイクロは、製品設計から製造まで幅広く対応し、顧客フィードバックに基づいて迅速に転換可能。液体冷却は、CPUやGPUから発生する熱を水で冷却し、冷却塔を通じて再循環する。これにより、冷却効率を高め、エネルギーコストを大幅に削減できる。

Takeaways

🌐 スーパーマイクロは年間約100億ドルの売上を持ち、急速な成長を続けている企業で、シリコンバレー、オランダ、台湾に本拠地を持ち、マレーシアにも新たに拠点を増やしている。
🛠️ スーパーマイクロは30年間、顧客フィードバックに基づいて製品を幅広く展開し、サーバーから基盤インフラまで多岐にわたる製品ラインを展開している。
💡 AIは学問や軍事の分野から商業分野へと拡大し、モデルのサイズが急速に増加している。これにより、データセンターの冷却ニーズが高まっている。
🚀 AIチップはパワーと物理サイズが増大し、ピーク時の消費電力（TDP）も上昇している。AIシステムはピーク性能で実行されることが一般的になり、データセンターの計画に影響を与えている。
💧 ヨーロッパでは、使用するリソースに関する新しい要求が出されており、水、電力、製品に埋め込まれたカーボンの報告が求められている。
💦 スーパーマイクロはチップへの直接液体冷却を採用し、サーバーラックに水供給を通じてチップから熱を移すことで冷却を実現している。
🔧 スーパーマイクロは冷却プレート、冷却配布ユニット（CDU）、冷却配管マニフェルド、ホースキット、冷却塔など、液体冷却ラックの様々なコンポーネントを提供している。
🖥️ スーパーマイクロはGPUやCPU、メモリなどへの冷却に対応した多数の冷却プレートを設計し、異なる熱負荷に対応する製品ラインを展開している。
💾 AI学習モデルのサイズが大きくなり、迅速なデータ保存と復旧が求められるため、スーパーマイクロはストレージ最適化システムを提供している。
🌡️ スーパークラウドコンポーザーという製品があり、液体冷却コンサルトモジュールを備えており、冷却システムの監視と管理を支援する。
💹 スーパーマイクロは顧客に液体冷却ソリューションを提供し、30～50％のエネルギー削減を目指している。トータルコストオーナーシップ（TCO）モデルによると、液体冷却システムは年間1ラックあたり18,000ドルの節約を実現できるとしている。

Q & A

スーパーマイクロはどの業界の企業ですか？
-スーパーマイクロは、年間売上が約100億ドルを超える急速な成長を遂げている企業で、サーバーやストレージシステムなどのコンピューティングハードウェアを製造しています。
スーパーマイクロはどの3つの主要な拠点で組織されていますか？
-スーパーマイクロはシリコンバレーの本社、オランダ、台湾の3つの主要な拠点で組織されています。
AIクラスターアーキテクチャとは何ですか？
-AIクラスターアーキテクチャとは、高性能のAIアプリケーションを実行するために設計されたクラスターコンピューティングシステムです。これにより、大規模なデータセットを処理し、複雑な機械学習モデルをトレーニングすることができます。
スーパーマイクロはどのようにして製品の開発と製造を統合していますか？
-スーパーマイクロは、マザーボード、電源ユニット、ネットワークインターフェースカードの設計から製造までを自社で行い、顧客フィードバックに基づいて迅速に変更やピボットが可能です。
AIモデルのサイズはどのように変化していますか？
-AIモデルのサイズは非常に急速に増加しています。特に、商業的な用途で使用されるモデルは、平均サイズが50〜70%増加していると報告されています。
チップのサイズや消費電力はどのように変化していますか？
-チップはパワーと物理的なサイズが増加しています。特に、CPUやGPUのピーク時の消費電力（TDP）が大幅に上昇しています。
直接チップ冷却とは何ですか？
-直接チップ冷却とは、サーバーのチップ（CPUやGPU）に水または冷却液を直接供給し、発熱を冷却する技術です。これはデータセンターの冷却問題を解決するため、特にAIサーバーで使用されています。
スーパーマイクロは冷却塔を製造していますか？
-はい、スーパーマイクロは独自の冷却塔を製造しており、お客様が迅速に平均サイズのAIシステムを冷却塔で導入できるようにしています。
スーパークラウドコンポーザーとは何ですか？
-スーパークラウドコンポーザーはスーパーマイクロの製品で、液体冷却コンサルモジュールを備えています。これにより、冷却ポンプの動作状況、フローレート、サーバー内のカードの負荷など、液体冷却システムのテレメトリを監視することができます。
液体冷却システムの導入によるコスト削減の見積りはどのようになっていますか？
-TCO（トータルコストの所有）モデルによると、液体冷却システムの導入は、年間1ラックあたり18,000ドルの節約を実現することが期待されます。これは、冷却効率の向上による電気代の削減によるものとされています。