High Performance Data Center Storage using DPUs

Summary

本プレゼンテーションでは、SupermicroとNvidiaが共同開発した新しいDPU「Bluefield」について紹介しています。Bluefieldは、ストレージAIオフロードにおいてx86システムを上回る性能を持ち、テラバイト単位のデータ処理が可能です。AIワークロードの増加に伴い、データサイズとパフォーマンスの要求が高まっており、DPUは低レイテンシで効率的なデータ処理を提供します。また、Power効率も向上しており、データセンターの電力コストを削減できる点が強調されています。

Takeaways

• 😀 新しい製品は、NvidiaのBluefield DPUを利用しており、ARMアーキテクチャに基づいています。
• 😀 GPUはデータセットがテラバイトからペタバイトに及ぶため、大量のデータを必要とします。
• 😀 従来のCPUアプリケーションでは、大規模データ処理の際にボトルネックが生じることがあります。
• 😀 AIワークロードのパラメータは、過去5年で数千万から1兆を超えるまで増加しています。
• 😀 RAG（Retrieval Augmented Generation）は、大規模言語モデルのファクトチェックとアクセス管理を行います。
• 😀 Bluefield DPUは、16コアのARM CPUを持ち、CPUの負荷を軽減するためのハードウェアオフロード機能を備えています。
• 😀 Supermicroの新しいPCI Gen 5 JBソリューションは、さまざまなSSD構成をサポートしています。
• 😀 内部テストでは、帯域幅とレイテンシの改善が見られ、従来のアーキテクチャに比べて電力消費が削減されています。
• 😀 このソリューションは、柔軟性に富んだストレージメディアの選択肢を提供し、高性能を実現します。
• 😀 Supermicroは、エコシステムパートナーとの協力を呼びかけており、新しいインフラの構築を目指しています。

Q & A

SupermicroとNVIDIAの新しい製品の主な機能は何ですか？

新しい製品はNVIDIAのBluefield DPUを基にしており、ストレージとAIワークロードにおいてx86システムを上回る性能を提供します。

なぜGPUはデータを大量に必要とするのですか？

GPUは数万のコアを持つため、データセットはテラバイトまたはペタバイト単位で測定されます。対照的に、CPUは数十のコアしか持たず、データセットはギガバイト単位で測定されます。

AIワークロードにおけるデータサイズの増加はどのような影響を与えますか？

AIワークロードに必要なデータサイズは数年前から急激に増加しており、パラメータ数は数百万から数兆に達しています。これにより、データの転送速度と処理能力がより重要になります。

Bluefield DPUの主な利点は何ですか？

Bluefield DPUは、CPUの負荷を軽減し、データストレージタスクを効率化するためのハードウェアオフロード機能を持っています。また、非常に低いレイテンシを実現します。

Supermicroの新しいPCI Gen 5 JBの設計はどのような特徴がありますか？

新しい設計は、最大36のE3 SSDや24のU.2 SSDをサポートし、シングルまたはデュアルNVMeを可能にします。また、複数のBluefield DPUとGPUを搭載することができます。

従来のアーキテクチャと比較して、Bluefield DPUのレイテンシはどのように改善されていますか？

Bluefield DPUは、データアクセスの経路を短縮することで、従来のアーキテクチャに比べて10〜15％のレイテンシ改善を実現しています。

データセンターにおける電力消費の課題は何ですか？

GPUやCPUの電力消費が増加している中、データセンターでは電力予算を管理することが大きな課題となっています。

この新しいソリューションが提供するパフォーマンスの利点は何ですか？

新しいソリューションは、最大400 Gbpsの帯域幅を提供し、パフォーマンスベンチマークで優れた結果を示しています。

データセンターでのパワー効率はどのように改善されますか？

各システムで約200ワットの電力を節約でき、これが大規模データセンターにおける全体的な電力コストの削減につながります。

パートナー企業への呼びかけの意図は何ですか？

エコシステムパートナーと協力して、新しいBluefield DPUおよびJBアーキテクチャに基づくソリューションを共同開発することを目指しています。