齊藤さんコーナー：NVIDIA B100〜LLMの世界地図をいっぺんする革新的なAIチップ

シンギュラリティサロン・オンライン

27 Mar 202413:46

Summary

TLDRこのビデオスクリプトでは、NVIDIAの最新ハードウェアアップデート、特に新しいB100 GPUについて詳しく説明しています。B100は、前世代のH100から大幅に性能が向上しており、新しいアーキテクチャと冷却技術を採用しています。AMDの技術に触発されたNVIDIAは、GPUの設計を改良し、性能を大幅に強化。また、NVIDIAがハードウェアの垂直統合を進め、市場における支配力を強化していることも指摘されています。最後に、技術的な限界と市場への影響についても触れられています。

Takeaways

🚀 NVIDIAがGTC 2024でB100という新しいGPUを発表しました。
🌟 B100は従来のH100から大きく性能が向上し、市場に大きな影響を与える見込みです。
💡 B100はまだ市場に出ていないものの、年末頃には発売される予定です。
🔧 B100の性能向上は、多くのAIプロジェクトのインフラストラクチャを無駄にするか、キャンセルせざるを得ないという影響を及ぼす可能性があります。
🔄 B100は新しいブラックウェルアーキテクチャを採用し、より高速なデータ転送を実現しています。
🔧 NVIDIAはB100でTSMCのCoWoSパッケージング技術を利用し、より高速な通信を実現しています。
💻 B100は1つのGPGPUで1000Wの消費電力とされていますが、実際は1200Wにも達するとの噂があります。
🛠️ B100の世代に合わせて、あらゆる技術が発展し、NVIDIAは超级ポッドのような製品を提供しています。
🔄 NVIDIAはハードウェアの垂直統合を進め、Appleのような形での囲い込みを進めています。
🔧 NVIDIAはソフトウェアにも力を入れ、NVIDIA Inference Microservices（nims）などのサービスを提供しています。
💬 アメリカの司法局がAppleに独占禁止法ハトラスト法に基づく訴訟を提起しているというニュースがあり、巨大化を抑える動きもあります。

Q & A

NVIDIAの発表で紹介されたGTC 24のB100とは何ですか？
-B100はNVIDIAが発表した新しいGPUで、以前はH100と呼ばれていました。これは最新のブラックウェル世代のハードウェアのアップデートです。
B100の性能はどの程度向上していますか？
-B100は性能が非常に大きく向上しており、生成AI用のインフランスケールやキャンセルせざるを得ないという圧倒的な性能を持っています。
B100が市販されるのはいつですか？
-B100が市販されるのはまだ結構先ですが、今年の年末頃になる予定です。
B100の発表によって影響を受けるプロジェクトは何ですか？
-B100の発表によって、既に進行している多くのプロジェクトが無駄になる可能性があり、次のプロジェクトに大きな性能の引き上げが与えられます。
NVIDIAはどのような冷却技術を採用していますか？
-NVIDIAは水冷技術を採用しており、1つのラックに18ユニットのB100を詰め込むという荒技に近い試みを行っています。
B100の世代に合わせてNVIDIAが進める技術の進化は何ですか？
-B100の世代に合わせて、NVIDIAはあらゆる技術を発展させ、スーパーポッドのような製品を提供しています。これにより、トータルで非常に最適化されたシステムが提供されています。
NVIDIAがソフトウェア面でも大きな進展を遂げた点は何ですか？
-NVIDIAはソフトウェア面でも大きな進展を遂げ、例えばnvidiaインフラマイクロサービスを立ち上げ、様々なアプリケーションを迅速に提供するようになっています。
NVIDIAがApple化している理由は何ですか？
-NVIDIAがApple化している理由は、ハードウェアの垂直統合が進んでいること以及围着みを進め、経済合理性が最も適切だと考慮しているためです。
B100のパッケージサイズはH100から変わりましたか？
-B100のパッケージサイズはH100から大きく変わっており、tsmc社のコアが進化した分ですね。一回と二回のサイズアップにより、より大きなサイズになっています。
NVIDIAの今後の方向性はどのようなものですか？
-NVIDIAの今後の方向性は、tsmcのパッケージサイズの制約の中で進んでおり、次のX100ではこれまでのようにトランジスタの集積で上がらず、消費電力効率も上がらないことが予想されています。
B100の価格はどの程度になりますか？
-B100の価格は300万日元左右から4万ドル程度になると予想されています。H100からそれほど上がっていないという情報もあります。