齊藤さんコーナー:NVIDIA B100〜LLMの世界地図をいっぺんする革新的なAIチップ
Summary
TLDRこのビデオスクリプトでは、NVIDIAの最新ハードウェアアップデート、特に新しいB100 GPUについて詳しく説明しています。B100は、前世代のH100から大幅に性能が向上しており、新しいアーキテクチャと冷却技術を採用しています。AMDの技術に触発されたNVIDIAは、GPUの設計を改良し、性能を大幅に強化。また、NVIDIAがハードウェアの垂直統合を進め、市場における支配力を強化していることも指摘されています。最後に、技術的な限界と市場への影響についても触れられています。
Takeaways
- 🚀 NVIDIAがGTC 2024でB100という新しいGPUを発表しました。
- 🌟 B100は従来のH100から大きく性能が向上し、市場に大きな影響を与える見込みです。
- 💡 B100はまだ市場に出ていないものの、年末頃には発売される予定です。
- 🔧 B100の性能向上は、多くのAIプロジェクトのインフラストラクチャを無駄にするか、キャンセルせざるを得ないという影響を及ぼす可能性があります。
- 🔄 B100は新しいブラックウェルアーキテクチャを採用し、より高速なデータ転送を実現しています。
- 🔧 NVIDIAはB100でTSMCのCoWoSパッケージング技術を利用し、より高速な通信を実現しています。
- 💻 B100は1つのGPGPUで1000Wの消費電力とされていますが、実際は1200Wにも達するとの噂があります。
- 🛠️ B100の世代に合わせて、あらゆる技術が発展し、NVIDIAは超级ポッドのような製品を提供しています。
- 🔄 NVIDIAはハードウェアの垂直統合を進め、Appleのような形での囲い込みを進めています。
- 🔧 NVIDIAはソフトウェアにも力を入れ、NVIDIA Inference Microservices(nims)などのサービスを提供しています。
- 💬 アメリカの司法局がAppleに独占禁止法ハトラスト法に基づく訴訟を提起しているというニュースがあり、巨大化を抑える動きもあります。
Q & A
NVIDIAの発表で紹介されたGTC 24のB100とは何ですか?
-B100はNVIDIAが発表した新しいGPUで、以前はH100と呼ばれていました。これは最新のブラックウェル世代のハードウェアのアップデートです。
B100の性能はどの程度向上していますか?
-B100は性能が非常に大きく向上しており、生成AI用のインフランスケールやキャンセルせざるを得ないという圧倒的な性能を持っています。
B100が市販されるのはいつですか?
-B100が市販されるのはまだ結構先ですが、今年の年末頃になる予定です。
B100の発表によって影響を受けるプロジェクトは何ですか?
-B100の発表によって、既に進行している多くのプロジェクトが無駄になる可能性があり、次のプロジェクトに大きな性能の引き上げが与えられます。
NVIDIAはどのような冷却技術を採用していますか?
-NVIDIAは水冷技術を採用しており、1つのラックに18ユニットのB100を詰め込むという荒技に近い試みを行っています。
B100の世代に合わせてNVIDIAが進める技術の進化は何ですか?
-B100の世代に合わせて、NVIDIAはあらゆる技術を発展させ、スーパーポッドのような製品を提供しています。これにより、トータルで非常に最適化されたシステムが提供されています。
NVIDIAがソフトウェア面でも大きな進展を遂げた点は何ですか?
-NVIDIAはソフトウェア面でも大きな進展を遂げ、例えばnvidiaインフラマイクロサービスを立ち上げ、様々なアプリケーションを迅速に提供するようになっています。
NVIDIAがApple化している理由は何ですか?
-NVIDIAがApple化している理由は、ハードウェアの垂直統合が進んでいること以及围着みを進め、経済合理性が最も適切だと考慮しているためです。
B100のパッケージサイズはH100から変わりましたか?
-B100のパッケージサイズはH100から大きく変わっており、tsmc社のコアが進化した分ですね。一回と二回のサイズアップにより、より大きなサイズになっています。
NVIDIAの今後の方向性はどのようなものですか?
-NVIDIAの今後の方向性は、tsmcのパッケージサイズの制約の中で進んでおり、次のX100ではこれまでのようにトランジスタの集積で上がらず、消費電力効率も上がらないことが予想されています。
B100の価格はどの程度になりますか?
-B100の価格は300万日元左右から4万ドル程度になると予想されています。H100からそれほど上がっていないという情報もあります。
Outlines
🚀 NVIDIAのGTCとB100の発表
NVIDIAのGTC(GPU Technology Conference)でB100という新ハードウェアが発表されました。B100は以前のH100(Green Brain)から引き継がれた最新世代のブラックウェル(Blackwell)アーキテクチャで、圧倒的な性能向上が見込まれます。まだ市販はされていないものの、年末頃には登場する予定です。B100の性能は、現在のAI用インフラを大きく変える可能性があり、既存のプロジェクトが無駄になる可能性も指摘されています。また、B100は新しいパッケージング技術を採用し、データ台の通信速度も向上しています。
🌟 NVIDIAのハードウェアの進化とApple化
NVIDIAはApple化と呼ばれるハードウェアの垂直統合を進めています。GTCで発表されたB100は、以前の製品とは異なる形で、2つのデータ台を組み合わせたGB200という製品も公開されました。これにより、高密度なサーバー設計が可能となり、冷却技術も進化しています。NVIDIAは水冷を使用し、1つのラックに18台のGB200を詰め込むことができました。これにより、NVIDIAは市場でのシェアをさらに高め、他のGPUメーカーに対しても競争優位を確保しています。
💡 NVIDIAの技術革新と市場戦略
NVIDIAは技術革新を続け、市場でのリーダーシップを強固しています。B100の性能向上は、今後のAI分野に大きな影響を与える可能性があります。また、NVIDIAはソフトウェア面でも積極的に動いており、新しいインフラストラクチャを提供しています。これらの取り組みにより、NVIDIAは市場シェアを拡大し、競争力を高めることを目指しています。しかし、これにより他社との競争が激化し、市場の動向がより複雑になる可能性もあります。
Mindmap
Keywords
💡GTC
💡B100
💡ハードウェアのアップデート
💡ブラックウェル
💡インフラランス
💡性能向上
💡水冷
💡TSMC
💡NVIDIAのApple化
💡ソフトウェア
💡経済合理性
Highlights
NVIDIAのGTC 2024でB100という新しいハードウェアが発表されました。
B100は以前のH100から大きく性能が向上し、AI用に特化したインフラストラクチャを推進するものと予想されます。
B100はまだ市場にリリースされておらず、今年の後期に登場する予定です。
B100の性能向上は、現在のプロジェクトが無駄になる可能性を示しています。
NVIDIAは新しいB100の発表により、競合他社製品をキャンセルせざるを得ない状況を引き起こした可能性があります。
B100はTSMCの新しいパッケージング技術を利用し、データ台の通信速度を10TB/秒に向上させています。
新しいNBリンクを採用することで、パッケージ内の通信速度は1.8TB/秒まで向上されました。
B100の世代に合わせて、NVIDIAは水冷を採用し、1つのラックに18ユニットを詰め込むことができました。
NVIDIAはハードウェアの垂直統合を進め、Apple化と呼ばれるトレンドを続けています。
NVIDIAはソフトウェア面でも大きな進展を遂げ、新しいインフラストラクチャを提供しています。
B100の発表は、NVIDIAが市場シェアを高めるために行った戦略的なステップである可能性を示しています。
B100は1つのGPGPUで1000Wの消費電力とされ、実際は1200Wに近いとの話もあります。
NVIDIAは、GPGPU 2個とCPUの組み合わせにより、2700Wから3000W級の高性能サーバーを提供する予定です。
NVIDIAの新しい技術は、高密度熱量の発生と冷却技術の進歩をもたらすことが期待されています。
NVIDIAは、今後の世代ではパフォーマンスの向上に苦労する可能性があると示唆しています。
TSMCのプロセス技術の進歩により、B100のパッケージサイズは大きくなり、冷却方法の選択が重要になります。
NVIDIAは、今後の製品においても高い市場シェアを維持する戦略を進めている可能性があります。
B100の量産はまだ始まっておらず、今年の後期に始まる予定です。
NVIDIAは、今後の製品においてもコストパフォーマンス比を維持することは難しいと示唆しています。
B100の価格は300万から400万日元左右と予想されており、H100よりも高くなります。
NVIDIAは、今後の製品においても市場シェアを高めるために戦略を進め、競争他社に圧力をかけています。
Transcripts
も今回え今週の初めにGTCえ24という
ことでNVIDIAの非常に大きなあの
発表がございましたB100というGTC
っていうのはな何の名前ですか
カンファレンスの名前ですあそうですね
NVIDIAがあの主催するはいカフスの
名前でございましね2回え行われます
けれどもはいここで今回非常に大きな
ハードウェアのアップデートこれまでH
100と言われていたGBの
アーキテクチャーからえ最新のB100と
いわゆるブラックウェルという世代のもの
が発表になりましたまだあの市販されて
くるのはまだあの結構先になりますけども
今年の年末とかになってきますけれども
あの今回のえB100の発表を見てですね
おそらく
相当数の生成AI用の特にイン
ファランステールを得ないあるいは
キャンセルせざるを得ないという
ぐらいあの圧倒的なものでございましたえ
ななんでなんでなんでですかどういうこと
ですかあのえっと性能がですねま非常に
大きく高められてあで価格は据置きぐらい
の感じなんですけれどももう今やってる
プロジェクトがもう全部無駄になって
しまうぐらい次のやつをそうですね非常
いけないようなもあの大きなえ性能の
引き上げというのがなされたああそうです
かそれはちょっとすごいですねエ100が
無駄になる
あのにはならないんですけれどもあの当然
なが同じような価格でBが出てくるという
ことになりますとそちにそれほど次が
すごいということなんですねそうですね
はいでま大きな変光点というのがあのこれ
までNVIDIAはですねあのgpgpの
ところはモノリシックの非常に巨大な台を
1個だけ使っていてその周辺にhbmを
配置してきたんですがほほほえAMDが先
にじてえメインのGPUの台を2つ
デュアル台でえ接続してその周りに8個の
hbmも置くとうんものをMI300MI
300xということで発表しておりまし
たで今回NVIDIAのB100もそれに
習った形でえ同じような構成になっている
ということではあるのですがええさすが
NVIDIAというところはですね今回
その反動体のえパッケージのところ
もちろんコスという技術を使ってtsmc
のコスというパッケージング技術を使って
やってるわけですがえその中にまず
詰め込めるだけ詰め込んでえダト台の通信
の速度もHBとから読んでたかと思います
が10TBPERセという非常に高速な
待機を保持しつつ今度はパッケージ時間の
通信はNBリンクというものがあったわけ
ですがこれも最新の世代になっていきなり
えま1.8TBPERセという体液まで
引き上げられていますで今度その
パッケージを2つとCPUと組み合わせて
えGB200というまあプロセシング
ノードができるわけですがこれを水冷で
えま冷却を水冷にすることによって1つの
ラックに18濃度を詰め込むというま
かなりのあの荒技に近いと思うんですが
そういうところまでやってきてるとそれ
からえネットワーク関係もですねえその
スイッチのチップも発進されましてま簡単
に言いますとそのえB100の世代に
合わせてあらゆる技術が全部発進された
結果ポータルのまスーパーポッドと言わ
れるようなえラ製品えそれからそのえこれ
を組み合わせたえ外大掛かりなサーバーの
システムこれがもうトータルでま非常にえ
性のが最適化されたものになってきている
ということであの一般の生生のAI用の
インフランスチップ開ましあるいは
トレーニングチップを解しましょうと言っ
てる人たちにとってはですねあここまで
やられたらちょっと手もえないなぐらいの
インパクトがある数字あの水冷っていうの
はなんかチップにチップの中に中をビチプ
があるわけですかクであの引き回すという
形あそこ水ちゃんと設計して流すようにし
てくださいという形な相当細いくで
いっぱい圧力かけないとなんか通ってか
ない感じですかねそうですねあのクダをの
中を液体を通しますと圧力損失というのが
あの必ず消しましてで当然クの軽というの
はあの数mmのさしかございませんので
流せる量はかなり限りがあるんですけれど
もで今回あのえB100に関しては1つの
GPGPUでえ1000Wと言われてるん
ですが実際は1200Wぐらいなんだろう
という話もありますでえGB200という
GPGPU2個とえCPUの組み合わせは
あ少なくとも2700Wほとんどもう
3000W級になってくるんですがこれ
までのちょっと前の空冷のタワーサー
バラック1台が1つのブレードサーバーに
ま熱量的にはその詰め込まれてしまう
ぐらい高密度も熱量になっているとうん
いう状況ですねはいでこれを見てですね
あの1つ非常に大きく感じるところがあっ
たのがNVIDIAがApple化してき
てるなとえどういうことですかあのこれ
までNVIDIAというとそのGPUの
グラフィックスカードえええまGPGP
含めなんですがえこれを主に展開する会社
であったところからま11の世代からも
そうでしたけれども
えdgxと言われるような形でシステムで
も提供するようになりましたで今回ですね
その冷却も水冷にしたことによって
サーバーのまタワーサーバー全体がもう1
つのパッケージングになってますああえ
デルとかヒューレットパッカードとか
あるいはそのレノボとかという会社が独自
のデザインをそこに新たにえ加えていく
ことがも非常に難しくなってああのも
囲い込みに完全にハードウェアの囲い込み
が進むそのガーファにしてもNVIDIA
のgpgpを使う限りにおいてはもう
サバラあのタワーサバごとnbdからもう
調達するのが1番あの確実でで多分
NVIDIAもそこに価格戦略も含めて
もうそれが経済合理性が1番いいえ形で
出してくるとするとですねはいはいはい
もうAppleと同じようにその
ハードウェアの垂直統合がどんどん
どんどん進んでくるとあああ不で今回です
ねNVIDIAはソフトウェアの方まで
ああ大きくテをいたしましたうなんかあの
論文かなかも出してたりしてかなりデビ6
やり出したなと思うんですあそうですねで
nimというnbiaインフラマイクロ
サービシズていうのを立ち上げましてで
これはあのもういろんなイン
ファランステール
のいろんなアプリケーションもあの早速
提供され始めたということでございますが
いろんな領域でもソフトウェアもnvdが
全部提供してきますと
おおでこれは多分そのうちAppスアと
同じようなことになるんじゃないかなと
ちょうどあれですね最近ニュース出てまし
たねあのアメリカの司法局があの
Appleを提訴したいうようなあの独占
禁止法ハトラスト法でとだ結局何かをね
あ抑えて企業が巨大化するとえっと周辺も
全部抑えようとしてうんうんうんなんか
もうさらに巨大化していくうんそうそう
そうあと他のGPUに対してクーダーを
使うなよみみたいなことも言ってましたね
ああそうですねうんそうですそうですだ
からそれは確かにAppleかっていうの
はうまい言い方だという感じはしますねえ
まあのB100自体がま非常にあの今回の
パフォーマンスリープが大きかったええ
ことに加えてそのハードウェアの垂直統合
がどんどん進んで囲い込みがあの進んで
いくということになると今でも
NVIDIAの下線状態っっていうのは
あの非常に高い市場線流率なわけなんです
がまこれがさらにえ極端に進んでいくのか
なという印象もった次第でますすいません
GPGPU自体のそのパッケージの大き
さってのはあのH100から変わってない
んですかないや変わってますあのこれは
tsmc社のコアが進化した分ですねま
あの一回りといり2回りぐらいえ大きく
なってやっぱり大きくなったんですその
冷やすの心配なくなると大きくできる
みたいなこともあるってことですねそそれ
冷やす方が関係ないんですかそまた
ちょっと別なああそうですかああ作る方の
技術であのでかくできたってことですねあ
なるほどそうことですねただ逆にはいここ
から先実はあの次にX100というのがま
予定されていたりするわけなんですがえ
ちょっとnvdiaはですねこれまでの
ような速度ではえgpgpの性能上げ
にくくもなってしまうかなとうんうんえ
まさにここから先はtsmcのコスの
パッケージサイズの制約の中でえ縛られて
しまうあの比較的これまでNVIDIAは
ですね保守的にえその時に活用可能なえま
反動体のプロセスノードもそうですしえ
コスのパッケージングサイズもそうですし
えhbmの世代もそうなんですけれどもえ
あるいは大観通信
の待機もそうなんですが必ずしもえ再先端
のものを取り上げてこなかったんですねま
これはあのいろんな理由があるんだと思い
ますけれども従ってまだ次の世代で性能を
相当上げる余地というのが残ってたと思う
んですが今回ある意味でコアのパッケージ
サイズに関してはは向こう23年これ以上
ちょっと大きくできないんではないかと
いうところまで一杯広げて再先端を採用し
てしまったからしばらく伸び代がない
ぞっていう感じですかねはいであとはです
ねその今N4というtsmc社の4nmの
プロセスま4Nというあの静かにはなって
ますが事実5N世代のプロセスになってる
んですがこれ
が3nmの世代までは行くんですが今です
よねあ27はまだ誰も量産できてなくてあ
ああ量産できてないですかだけどプロセス
ルルあの先々は0.77までやるぞって
言ってますよねだからそこでまた集積で
上げるっていう方向の進化の可能性はあ
るってことですねあるんですけれども実は
57から37のに行く時に77のから5な
のに進んだほどうんトランジスターの集積
でも上げられてないんですねあそんなもん
ですかそからはいあの5なのから3なの今
のN4とるとこからうんN3に次のX役で
行ったとしてもこれまでのようには
トランジスターの集積で上がらずブロック
もそれほど上げられず消費電力効率も
そんなに上がらないということであそんな
もんなんですかでなんかぶり悪くなって
値段上がりみたいななったらあんまり
嬉しくないですねそうですねあの実はその
通りでコストパフォーマンス的なこれから
え上乗せがすごく難しくなるところには
入ってしまってそうですかあのえっとこの
B100は量産はまだまだ今年数ぐらいに
なるってけどあの作品みたいなももうでき
ててちゃんと動いてるってことですビの
社内ではあの動いてるものがあってえ各社
も大手のところにはもうえ動いてる
サンプルが確実に届いてると思います
けれどもあの一般に主上に出てくるのは
今年の年末ぐらいえまたいなえメタ車とか
なんかもH100を20万個ぐらい今年中
に買うぞって言っただけどやっぱり待って
よとか言うんですかねそんなねあのえんが
これも言ってるんですけ
え
まだまだあの月前にはその手にはH100
が出るとあすいませんBが出るというスが
あってスペックも全部出てたんですがそれ
でも各所Hああそうか早く欲しいかなって
ことでああじゃ別にそっか売れなくなって
困るってことはないんですねそ値段も高い
んでしょ300万ぐらいあ3万ドルから
4万ドルという風にあの言ってましてH
100からそれほど上がっているわけでは
ないというところでおはい当面ね各社
取り合いですよねあのでもほぼ来年分は
もう僕に売り切れてるという話もああほほ
うんうんえどこが勝ったのかななどれ
くらいのもうガさんはこぞってあのガー
ファムなりテスラなりはあもう全部帰って
いると予約を入れてると思いますしうん
はいうんなんかnvdは日本に対しても
日本もllm開発すべきだよとか言った
みたいだけどだったらGPU持っくれよっ
ていう言い返したくなりますよねそうです
ねなるほど結構重要なニュースですね注目
していきたいという風に思いますはい
ありがとうございました
Browse More Related Video
【ChatGPTじゃ遅すぎる】史上最速の生成AIチップ「Groq」が凄すぎ!徹底レビュー
【ゆっくり解説】マツダ・スバルの最強エンジン復活!熱効率50%超え!マツダとスバルはどう凄いのか?【リーンバーンエンジン 】
これさえ押さえておけばOK! 生成AI時流を解説 〜3月後半の生成AIトレンドをご紹介〜(2024/04/03)
Palantir CEO: Not Sure We Should Sell Our AI to Some Clients
【神戸屋】“パンの冷凍技術”で業界の食品ロスを解消せよ。6代目経営者の挑戦【社長名鑑】
【機動戦士ガンダム】「またバンダイが変態技術開発してる…」に対するネットの反応集
5.0 / 5 (0 votes)