DPU Accelerated Peta Scale Storage Subsystem for Near Data Computing

Open Compute Project

24 Oct 202425:40

Summary

TLDRこのプレゼンテーションでは、SamsungのYunho氏がAIの急増するパフォーマンスとストレージの需要に応えるための新しいストレージアーキテクチャについて説明しました。具体的には、分散ストレージ、MBM over Fabricインターフェース、およびDPUアクセラレーションの組み合わせによる効率的なデータ処理を強調。特に、DPUを利用することで、性能を最大2.7倍向上させ、CPUの使用率を96%削減できることが示されました。AIアプリケーション向けの高性能なストレージソリューションの開発が進行中であることも伝えられました。

Takeaways

😀 AIのパフォーマンス需要は急速に増加しており、LLMのパラメータ数は指数関数的に増加している。
😀 GPT-4は1.68兆のパラメータを持ち、ユーザー数は2030年までに30億人に達する見込み。
😀 ストレージと計算の独立したスケーリングが可能な非集約ストレージが重要である。
😀 NVMe over Fabricsは、低レイテンシと高スループットを実現する通信技術である。
😀 SamsungはPBSS（ペタバイトスケールストレージサブシステム）を開発中で、800Gbpsの高速ネットワークをサポート。
😀 DPU（データ処理ユニット）はCPUからの処理をオフロードし、リソース利用を最適化する。
😀 DPUソリューションは、従来のソフトウェアスタックに比べて最大2.7倍のパフォーマンス向上を示した。
😀 DPUを使用することで、リード/ライト操作のレイテンシを最大65%削減できる。
😀 将来的にはTCO（総所有コスト）の削減や、新しい標準（ウルトライーサネット）への適応を目指している。
😀 DPUとストレージシステムの統合により、AIアプリケーションに最適化された高パフォーマンスのストレージシステムが実現可能。

Q & A

AIのパフォーマンス需要はどのように増加していますか？
-AIモデルのパラメータ数は指数関数的に増加しており、GPT-2の15億からGPT-4では1.68兆に達しています。これにより、より多くのデータ処理が必要になります。
今後のユーザー数はどのように予測されていますか？
-2024年には約2億6900万人のユーザーが予想され、2030年には30億人に達すると見込まれています。
ストレージシステムの最適化にはどのようなアプローチがありますか？
-分散ストレージアーキテクチャとMBM over Fabricインターフェースを利用することで、AIの成長に合わせたスケーラビリティとパフォーマンスを提供できます。
PBSSとは何ですか？
-PBSSはペタバイトスケールストレージサブシステムの略で、MBM over Fabricインターフェースを使用して32台のMBMデバイスをホストイニシエータに接続します。
DPUの役割は何ですか？
-DPUはストレージシステムのパフォーマンスを向上させ、CPUの負荷を軽減し、リモートストレージのパフォーマンスをネットワークスピードに近づけるために使用されます。
DPUによってどの程度パフォーマンスが向上しますか？
-DPUを使用すると、パフォーマンスを最大2.7倍向上させ、CPUの利用率を最大96%削減できます。
レイテンシーに関してDPUはどのように改善しますか？
-DPUは、ソフトウェアの予期しない動作を排除し、テールレイテンシーを最大65%削減することができます。
ストレージシステムの可用性を向上させる方法は？
-アクティブ・アクティブモードとアクティブ・パッシブモードを用いることで、システムの信頼性を高めることができます。
AIアプリケーションに対するストレージの最適化はどのように行われますか？
-Mストレージベンチマークを用いて、AIアプリケーションに必要なデータを高帯域幅で供給することが求められます。
DPUと他の競合製品との比較はどうですか？
-DPUは全てハードウェアベースで動作し、他の競合と比べて高いパフォーマンスを実現し、TCP/IPスタックの加速を行っています。