DPU Accelerated Peta Scale Storage Subsystem for Near Data Computing

Summary

このプレゼンテーションでは、SamsungのYunho氏がAIの急増するパフォーマンスとストレージの需要に応えるための新しいストレージアーキテクチャについて説明しました。具体的には、分散ストレージ、MBM over Fabricインターフェース、およびDPUアクセラレーションの組み合わせによる効率的なデータ処理を強調。特に、DPUを利用することで、性能を最大2.7倍向上させ、CPUの使用率を96%削減できることが示されました。AIアプリケーション向けの高性能なストレージソリューションの開発が進行中であることも伝えられました。

Takeaways

• 😀 AIのパフォーマンス需要は急速に増加しており、LLMのパラメータ数は指数関数的に増加している。
• 😀 GPT-4は1.68兆のパラメータを持ち、ユーザー数は2030年までに30億人に達する見込み。
• 😀 ストレージと計算の独立したスケーリングが可能な非集約ストレージが重要である。
• 😀 NVMe over Fabricsは、低レイテンシと高スループットを実現する通信技術である。
• 😀 SamsungはPBSS（ペタバイトスケールストレージサブシステム）を開発中で、800Gbpsの高速ネットワークをサポート。
• 😀 DPU（データ処理ユニット）はCPUからの処理をオフロードし、リソース利用を最適化する。
• 😀 DPUソリューションは、従来のソフトウェアスタックに比べて最大2.7倍のパフォーマンス向上を示した。
• 😀 DPUを使用することで、リード/ライト操作のレイテンシを最大65%削減できる。
• 😀 将来的にはTCO（総所有コスト）の削減や、新しい標準（ウルトライーサネット）への適応を目指している。
• 😀 DPUとストレージシステムの統合により、AIアプリケーションに最適化された高パフォーマンスのストレージシステムが実現可能。

Q & A

AIのパフォーマンス需要はどのように増加していますか？

AIモデルのパラメータ数は指数関数的に増加しており、GPT-2の15億からGPT-4では1.68兆に達しています。これにより、より多くのデータ処理が必要になります。

今後のユーザー数はどのように予測されていますか？

2024年には約2億6900万人のユーザーが予想され、2030年には30億人に達すると見込まれています。

ストレージシステムの最適化にはどのようなアプローチがありますか？

分散ストレージアーキテクチャとMBM over Fabricインターフェースを利用することで、AIの成長に合わせたスケーラビリティとパフォーマンスを提供できます。

PBSSとは何ですか？

PBSSはペタバイトスケールストレージサブシステムの略で、MBM over Fabricインターフェースを使用して32台のMBMデバイスをホストイニシエータに接続します。

DPUの役割は何ですか？

DPUはストレージシステムのパフォーマンスを向上させ、CPUの負荷を軽減し、リモートストレージのパフォーマンスをネットワークスピードに近づけるために使用されます。

DPUによってどの程度パフォーマンスが向上しますか？

DPUを使用すると、パフォーマンスを最大2.7倍向上させ、CPUの利用率を最大96%削減できます。

レイテンシーに関してDPUはどのように改善しますか？

DPUは、ソフトウェアの予期しない動作を排除し、テールレイテンシーを最大65%削減することができます。

ストレージシステムの可用性を向上させる方法は？

アクティブ・アクティブモードとアクティブ・パッシブモードを用いることで、システムの信頼性を高めることができます。

AIアプリケーションに対するストレージの最適化はどのように行われますか？

Mストレージベンチマークを用いて、AIアプリケーションに必要なデータを高帯域幅で供給することが求められます。

DPUと他の競合製品との比較はどうですか？

DPUは全てハードウェアベースで動作し、他の競合と比べて高いパフォーマンスを実現し、TCP/IPスタックの加速を行っています。