PCIe Active Electrical Cables AECs Enabling Scale Out Large Language Model LLM Computing Clus

Open Compute Project

23 Oct 202420:05

Summary

TLDRこのプレゼンテーションでは、AIの進化に伴うインフラ設計の課題とその影響について説明しています。特に、GPUクラスタのスケーリングにおける電力供給と冷却の問題に焦点を当て、従来のデータセンターがどのようにこれらの要求に応えられるかを探求します。また、PCIeケーブルの重要性や、GPU間の接続やメモリの分離を実現するための新技術（CXL）の可能性についても触れています。最終的に、適切なケーブルソリューションの選択が、未来のデータセンターインフラにどのように影響するかを示唆しています。

Takeaways

😀 モデルの複雑さとサイズが急速に増加しており、特にAIの生成モデルがその主な要因となっている。
😀 GPUクラスタの拡大が必要で、現在では10,000 GPUから25,000 GPU、さらには100,000 GPUクラスタの構築が検討されている。
😀 高電力GPUのため、ラックへの120〜200キロワットの電力供給が必要であり、データセンターの標準は10〜15キロワットであるため、大きな課題となっている。
😀 高電力密度のラックには液体冷却が必要であり、データセンターのインフラがそれをサポートできる必要がある。
😀 PCIeは主にCPUとGPUの接続や、GPU間の接続に使用され、外部ケーブルを利用することで柔軟な配置が可能となる。
😀 メモリのボトルネックはCPUとGPU両方に影響を及ぼしており、特にメモリ技術のスケーリングが遅れている。
😀 コンポーザブルインフラストラクチャの実現に向けて、CPUとメモリを分離して独立にスケールできる可能性がある。
😀 CXL技術を用いることで、CPUからメモリを分離し、異なるラック間で接続することが可能になる。
😀 PCIeケーブルは、GPUのスケールアップやリソースの分離、JBOGの構築など、多様な用途に対応できる。
😀 最後に、PCIeの実装にはプロトコルの複雑さとインターオペラビリティの課題があり、適切な形式要素の選択が重要である。

Q & A

AIの進化がインフラ設計に与える影響は何ですか？
-AIモデルのサイズと複雑さが急速に増加しており、それに伴い、クラスターのスケールアップが必要です。これにより、より多くのGPUを持つクラスターの構築が求められています。
高電力密度のラックにおける主な課題は何ですか？
-高電力密度のラックに電力を供給することや、生成された熱を冷却することが大きな課題です。従来のデータセンターインフラストラクチャは10〜15kWに設計されているため、120〜200kWを提供するのは困難です。
PCIeはどのように使用されるのですか？
-PCIeは、GPUとCPU間の接続に使用され、外部PCIeケーブルを介して接続されることがあります。また、GPU間の通信にも利用され、大規模なGPUクラスタリングを可能にします。
GPU間の通信において、どのような技術が重要ですか？
-GPU間の通信には、アクティブ電気ケーブル（AEC）やアクティブ光ケーブル（AOC）が重要です。これにより、CPUシステムを隣接ラックに移動させることが可能になります。
メモリ技術のスケーリングに関する問題は何ですか？
-CPUコアの数が増加する一方で、メモリ技術のスケーリングが追いついていないため、CPUに必要なメモリを確保するのが難しくなっています。
CXL技術の利点は何ですか？
-CXL技術を使用することで、CPUからメモリを分離し、別のシステムに配置して接続することができ、計算資源の最適化が可能になります。
PCIeとEthernetの主な違いは何ですか？
-PCIeは後方互換性があり、リンクトレーニングが必要なため、実装が複雑ですが、さまざまなデバイスとの相互運用性が高いです。Ethernetは比較的単純ですが、接続できるデバイスの範囲が限られています。
アクティブケーブルとパッシブケーブルの違いは何ですか？
-アクティブケーブルはリタイミング機能があり、長距離の接続が可能ですが、パッシブケーブルはコストが低く、熱要件も少ないものの、距離に制限があります。
JBOGとJMEMの概念は何ですか？
-JBOGは「Just a Bunch Of GPUs」を指し、複数のGPUをまとめて配置する概念です。一方、JMEMは「Just a Bunch Of Memory」で、メモリをCPUから分離して管理する新たなアプローチです。
今後のPCIeケーブル技術の進展についての展望は？
-PCIeケーブル技術は、GPUの分散配置やメモリの分離を可能にし、さまざまなアプリケーションに対応するための標準化が進められています。