High Performance Data Center Storage using DPUs

Open Compute Project

23 Oct 202415:18

Summary

TLDR本プレゼンテーションでは、SupermicroとNvidiaが共同開発した新しいDPU「Bluefield」について紹介しています。Bluefieldは、ストレージAIオフロードにおいてx86システムを上回る性能を持ち、テラバイト単位のデータ処理が可能です。AIワークロードの増加に伴い、データサイズとパフォーマンスの要求が高まっており、DPUは低レイテンシで効率的なデータ処理を提供します。また、Power効率も向上しており、データセンターの電力コストを削減できる点が強調されています。

Takeaways

😀 新しい製品は、NvidiaのBluefield DPUを利用しており、ARMアーキテクチャに基づいています。
😀 GPUはデータセットがテラバイトからペタバイトに及ぶため、大量のデータを必要とします。
😀 従来のCPUアプリケーションでは、大規模データ処理の際にボトルネックが生じることがあります。
😀 AIワークロードのパラメータは、過去5年で数千万から1兆を超えるまで増加しています。
😀 RAG（Retrieval Augmented Generation）は、大規模言語モデルのファクトチェックとアクセス管理を行います。
😀 Bluefield DPUは、16コアのARM CPUを持ち、CPUの負荷を軽減するためのハードウェアオフロード機能を備えています。
😀 Supermicroの新しいPCI Gen 5 JBソリューションは、さまざまなSSD構成をサポートしています。
😀 内部テストでは、帯域幅とレイテンシの改善が見られ、従来のアーキテクチャに比べて電力消費が削減されています。
😀 このソリューションは、柔軟性に富んだストレージメディアの選択肢を提供し、高性能を実現します。
😀 Supermicroは、エコシステムパートナーとの協力を呼びかけており、新しいインフラの構築を目指しています。

Q & A

SupermicroとNVIDIAの新しい製品の主な機能は何ですか？
-新しい製品はNVIDIAのBluefield DPUを基にしており、ストレージとAIワークロードにおいてx86システムを上回る性能を提供します。
なぜGPUはデータを大量に必要とするのですか？
-GPUは数万のコアを持つため、データセットはテラバイトまたはペタバイト単位で測定されます。対照的に、CPUは数十のコアしか持たず、データセットはギガバイト単位で測定されます。
AIワークロードにおけるデータサイズの増加はどのような影響を与えますか？
-AIワークロードに必要なデータサイズは数年前から急激に増加しており、パラメータ数は数百万から数兆に達しています。これにより、データの転送速度と処理能力がより重要になります。
Bluefield DPUの主な利点は何ですか？
-Bluefield DPUは、CPUの負荷を軽減し、データストレージタスクを効率化するためのハードウェアオフロード機能を持っています。また、非常に低いレイテンシを実現します。
Supermicroの新しいPCI Gen 5 JBの設計はどのような特徴がありますか？
-新しい設計は、最大36のE3 SSDや24のU.2 SSDをサポートし、シングルまたはデュアルNVMeを可能にします。また、複数のBluefield DPUとGPUを搭載することができます。
従来のアーキテクチャと比較して、Bluefield DPUのレイテンシはどのように改善されていますか？
-Bluefield DPUは、データアクセスの経路を短縮することで、従来のアーキテクチャに比べて10〜15％のレイテンシ改善を実現しています。
データセンターにおける電力消費の課題は何ですか？
-GPUやCPUの電力消費が増加している中、データセンターでは電力予算を管理することが大きな課題となっています。
この新しいソリューションが提供するパフォーマンスの利点は何ですか？
-新しいソリューションは、最大400 Gbpsの帯域幅を提供し、パフォーマンスベンチマークで優れた結果を示しています。
データセンターでのパワー効率はどのように改善されますか？
-各システムで約200ワットの電力を節約でき、これが大規模データセンターにおける全体的な電力コストの削減につながります。
パートナー企業への呼びかけの意図は何ですか？
-エコシステムパートナーと協力して、新しいBluefield DPUおよびJBアーキテクチャに基づくソリューションを共同開発することを目指しています。