Optical CXL for disaggregated compute architectures

Open Compute Project

7 Jun 202413:14

Summary

TLDRロン・シュワルツ氏は、データセンターで使用されるCXL over Optics製品を管理するライトレジェンスの技術ディレクターです。CXLは、データセンターの光学基盤ファブリックを提供し、革新的な改善の一つと位置づけています。CXLは低レイテンシーでメモリーバンド幅が向上し、AIやLLMの成長に伴い、ディサーグレゲーテッドアーキテクチャが求められます。CXLはオープンスタンダードで、多くの企業が参加するCXLコンソーシアムによってサポートされています。Opticsは、持続可能性や信号ロス、ケーブルの断面面積の点でコッパーよりも優れています。ライトレジェンスは、データセンターのラックを超えてCXLファブリックを広げ、PhotoWaveという製品を発売しました。ケーススタディでは、CXLメモリーがSSDメモリーよりも2.4倍のデコードスループットを達成し、モデルの実行が速くなりました。

Takeaways

😀 Ron Schwartzは、Lightelligenceの技術ディレクターであり、データセンターで使用される光ファイバーを介したCXL製品を管理しています。
🌟 CXL over Opticsは、データセンターの光学基盤のファブリックを提供する革新的な技術の1つと位置づけられています。
🔗 LightelligenceはOCGコミュニティのメンバーであり、スタートアップ企業の1つでもあります。
💡 AIと光学の交差点、およびその将来の見通しについて話します。
📈 データセンターはメモリセントライズのシフトを経験しており、AIの成長とLLMの人気も増しています。
🆕 CXLは、プロセッサから1つのNUMAホップの遠さにあるため、低レイテンシーのインターコネクトです。
🔌 CXLはオープンスタンダードであり、AMD、Intel、Meta、Googleなど多くの企業が参加しているCXLコンソーシアムによってサポートされています。
🌐 CXL 2.0および3.0の登場により、階層型スイッチングが可能になり、データセンター全体を越えたコンピュートからメモリまでのファブリックを構築できるようになりました。
🚀 光ファイバーは、持続可能性に関する議論のポイントであり、コッパーケーブルよりも信号ロスが少なく、断面面積も小さいため、将来の技術にも適しています。
💻 Lightelligenceが発売した製品「PhotonWave」は、データセンター全体を越えてCXLファブリックを拡張する低レイテンシーで高帯域幅の製品です。
📊 ケーススタディでは、CXLメモリがローカルSSDメモリよりも2.4倍のデコードスループットを達成し、モデルの実行がより速くなることが示されています。

Q & A

Ron Schwartzはどの会社の技術ディレクターですか？
-Ron SchwartzはLightelligenceの技術ディレクターです。
Lightelligenceはどのような製品を扱っていますか？
-Lightelligenceはデータセンターで使用されるCXL over Optics製品を扱っています。これは光学ベースのファブリックを提供し、革新的な改善の一つと位置づけられています。
CXL over Opticsが重要視される理由は何ですか？
-CXL over Opticsはデータセンターでの光学CXLファブリックを通じて、メモリーセントリックなシフトやAIの成長、LLMの人気とそれに伴うディサーゴレゲートアーキテクチャの必要性に対処するためです。
CXLがメモリーバンド幅や待ち時間においてSSDメモリと比べてどのような利点がありますか？
-CXLはプロセッサからシングルNUMAホップの遠くに位置し、待ち時間が低いインターコネクトを提供します。一方でSSDは数十マイクロ秒の遅延が発生し、アプリケーションはマルチスレッドなどを使ってその遅延を隠さなければなりません。
CXLコンソーシアムはどのような組織ですか？
-CXLコンソーシアムはAMD、Intel、Meta、Googleなど多くの企業が参加し、PCI Expressにメモリーとキャッシュの整合性機能を追加するオープンスタンダードを推進する組織です。
Opticsがデータセンターで重要な理由は何ですか？
-Opticsは信号の損失が少ない、断面の面積が小さく、将来の技術でマルチウェーヴレングスを活用可能であるため、データセンターで重要視されています。
Lightelligenceがリリースした製品の名前は何ですか？
-Lightelligenceがリリースした製品はPhotow Waveと呼ばれ、データセンターでCXLファブリックを多数のラックにわたって拡張する低遅延で高帯域幅の製品です。
ケーススタディで実施した実験はどのようなものでしたか？
-ケーススタディでは、CXLメモリーエクスパンションボックスにLLMを保存し、それをローカルSSDメモリーに保存した場合と比較してデコードスループットを測定しました。
ケーススタディの結果はどのようにでしたか？
-ケーススタディの結果によると、CXLメモリーはSSDメモリーよりも2.4倍のデコードスループットを達成し、モデルの実行がより速くなりました。
Lightelligenceはどのようなフォームファクターの製品を開発していますか？
-LightelligenceはPCIカード、OCp 3.0 SFFカード、アクティブオプティカルケーブル（AOC）など、いくつかのフォームファクターの製品を開発しています。
LightelligenceはPCI Sigとどのような関係がありますか？
-LightelligenceはPCI Sigと協力して、アクティブオプティカルケーブルのフォームファクターを開発しています。PCI Sigはこれらのフォームファクターを支援しています。