‘Everything is Going to Be Robotic’ Nvidia Promises, as AI Gets More Real

Summary

NvidiaのCEOは、AIを活用し産業を革命化するロボットの未来を示唆。AIは物理法則を理解し、工場内を動くロボットをコントロールし、製品を組み立てる。AIは自己改善も行い、デザインやソフトウェア開発を支援。また、マルチモーダルLLMはロボットが世界を理解し、行動計画を立てることを可能にする。AIは言語モデルを通じて会話生成やビデオゲームキャラクターとの対話を実現。さらに、ハイパーローカルな天気予報、ロボットが働くカフェ、音響ジェネレーターなど、AIの多様な応用が示されている。一方で、AIによる職業の未来について懸念も示され、AIは特定のタスクにおいては人間に代わって高生産性をもたらす一方で、賃金不平等や利益増加につながるとの見方も示されている。

Takeaways

• 🌟 NvidiaのCEOは、企業を最終的に巨大なAIに発展させたいと語り、AIの可能性を展示しています。
• 🤖 AIは産業を革命化するロボットの次の波をもたらすとNvidiaは予測しており、物理的なAIを駆使したロボットが産業を変えるでしょう。
• 🔧 NvidiaはAIを通じてチップ設計やソフトウェア開発、バグの特定と修正を自動化し、組織全体をAI化したいとしています。
• 📈 AIの能力は人間のデモンストレーションから学ぶことだけでなく、ロボットの物理的制御を向上させる多様なモデルを活用しています。
• 🎮 デジタルヒューマンの基礎となるAIモデルは、多言語の音声認識と合成、会話の理解と生成を組み合わせたもので、ゲームキャラクターとのリアルタイムインタラクションが可能になるでしょう。
• 🎨 AIは現在、リアルタイムのリップシンクを可能にし、デジタルキャラクターの皮膚の透過感を模倣する高度な技術を備えています。
• ☕️ AIはコーヒーショップのように、少数の人間が監督するロボットが多数働くビジネスを可能にしています。
• 🌡️ AIは超地域的予測を実現し、都市インフラの影響を考慮した天気シミュレーションを通じて局地的な気象現象を予測するでしょう。
• 🎵 11 Labsなどの技術は、任意の音を生成することができると示しており、AIは効果音生成にも応用されています。
• 💼 AIは既にグラフィックデザインなど特定の分野で職業を置き換え始めており、雇用への影響は懸念されるべきです。
• 📊 AIの影響は職業の消滅ではなく、生産性向上や賃金格差の拡大、そして所有者の利益向上につながるとの見解もあがっています。
• 🛑 AIの悪い用途に関する報道では、モデルの効果が低く評価されることがある反面、ベンチマークの重要性が強調されています。
• 🔮 AIの未来は予測不能であり、学術的分野における急速な発展と実際の社会での影響は異なる可能性があります。

Q & A

NvidiaのCEOはどのような未来を想定していますか？

NvidiaのCEOは、自社の企業を最終的には巨大なAIに発展させたいと述べています。また、最近ではAIが実現する可能性のある一連の能力を展示しています。

AIが産業界にどのような影響を与えるとNvidiaは予想していますか？

Nvidiaは、物理AIによってロボットが産業界を革命化すると予想しています。工場がロボットをオーケストレーションし、ロボット同士が製品を組み立てることになるという斬新な予測をしています。

NvidiaはAIをどのようにして企業全体に展開させたいと考えていますか？

NvidiaのCEOは、AIを積極的に使用し、企業全体を一つの巨大なAIに変えていくことを望んでおり、AIを通じてチップの設計やソフトウェア開発、バグの特定と修正を効率化するなど、多岐にわたる業務にAIを適用する予定です。

AIが人間のデモンストレーションから学ぶ方法についてどのように説明されていますか？

AIは人間のデモンストレーションから学び、それに基づいてグロスおよびファインモータースキルを使用して世界と相互作用するスキルを習得できますが、実際はAIはさらに高度なタスクを実行するための低レベルの物理制御をプログラムする能力も持っています。

デジタルヒューマンの基礎となるAIモデルにはどのような要素が含まれていますか？

デジタルヒューマンの基礎となるAIモデルには、多言語の音声認識と合成、会話を理解し生成するLLMが含まれています。これにより、リアルタイムでのリップシンクが可能になります。

AIが持つ最も重要な能力とは何ですか？

AIが持つ最も重要な能力は、シミュレーションを通じて何千ものイテレーションを並列で行い、満足のいくプログラムを作り出すことができることです。

AIが現実世界においてどのような影響を与えると予想されていますか？

AIは現実世界において、例えば超局所的な天気予報、デジタルツインを使用した気象予測、コーヒーショップでのロボットによるサービスなど、様々な分野で影響を与えると予想されています。

AIが職業市場にどのような影響を与えると予想されていますか？

AIは職業市場において、コピーライティング、税務処理、カスタマーサービスなどの業務が大幅に自動化されると予想されていますが、実際の影響は予測が難しいとされています。

AIが悪用された場合、その影響はどの程度ですか？

AIが悪用された場合、例えばデジ털詐欺や不正な宣伝活動などを行う場合でも、その影響は限定的であり、実際にはあまり効果がなかったと報告されています。

AIの能力を測定するためのベンチマークとは何ですか？

AIの能力を測定するためのベンチマークは、モデルをゲーム不能にしたり、汚染したり、バイアスをもたさずに測定するものであり、実際の使用ケースに基づいてベンチマークを評価することが重要です。

AIが持つ可能性と現実のギャップについてどのように考えていますか？

AIが持つ可能性は膨大ですが、それが現実社会においてどのように実現されるかはまだ不明であり、今後の展開は予測が難しいとされています。

Outlines

00:00

🤖 AIとロボット工学的進化

NvidiaのCEOは、AIを通じて企業を巨大なAIに発展させたいと語り、最近のデモンストレーションではAIが実現する可能性のある機能を多数提示しました。AIの将来についての3つの大きな約束と、現在のAI技術が実現しているデモを見せています。AI企業の幹部は、3～5年で雇用の形が大きく変わると予測していますが、これは若干過大評価されていると指摘。また、AIの限界も示すデモンストレーションとして、スパムキャンペーンの失敗も紹介されています。Nvidiaはロボット技術によって産業を革命化すると予想しており、物理的なAIを通じてロボティクスが次のAIの波を担うと述べています。しかし、具体的なモデルについてはまだ曖昧で、AIが物理法則を理解し、人間と協調して働くことができるという点に焦点が当てられています。また、Nvidiaは自社をAI1つに統合し、AIを通じてチップ設計やソフトウェア開発、バグの特定と修正を行っていると発表しました。AIの能力についての30秒のクリップでは、多機能型言語モデル（mlms）がロボットに学び、周囲の世界を認識し、行動計画を立てることができると紹介されていますが、これはAIの能力を低く評価していると指摘。実際、AIはロボット技術を大幅に向上させると、特にロボットドッグのバランス維持の例を挙げています。

05:02

🎮 デジタルヒューマンとリアルタイムの相互作用

ビデオゲームのキャラクターとリアルタイムで相互作用するという長年の約束に加えて、デジタルヒューマンの基礎となるAIモデルは、多言語の音声認識と合成、対話生成のためのllmsを活用しています。口の同期の正確性とデジタルヒューマンのリアリティが向上し、リアルタイムで追跡される皮膚のサブスーフース散乱効果が光を模擬するなど、技術の進歩が示されています。しかし、デジタルヒューマンがリアルタイムでリアルな外観で話すという技術は、まだ数十年後の出来事のように感じるかもしれませんが、私の人生中に実現するかもしれないと述べています。さらに、AIのデモンストレーションとして、超地域的な天気予報、Nvidia Earth 2のようなデジタルツイン、数十人のロボットが働くコーヒーショップ、そして11 Labsによる効果音ジェネレーターの例が紹介されています。これらの技術は未来的な印象を受けるが、実際に起こっていることもあります。AIは人間の訓練データが必要ですが、継続するためや進行するためにはそれ以上必要なく、グラフィックデザイナーがAIによって職を失った例も紹介されています。これはAIが進化し続ける上での重要なポイントです。

10:03

👥 AIによる雇用形態の変化と社会への影響

AIが職業に与える影響について、アンソロピックのCEOの秘書が3年以内に雇用形態が大きく変わると予測し、経済的、政治的な比較において、AIが最も優れているかではなく、そのタスクをこなす予定の人間よりも優れているかが重要だと指摘しています。コピーライティング、税務処理、カスタマーサービスなどが大幅に自動化されると予想されていますが、AIが職業に与える影響が過大評価されることがあることも指摘。例えば、オープンAIの報告書では、悪意のある利用者がGPTモデルを使ってディスインフォメーションキャンペーンを行っていたが、その影響はほとんどなかったと報告されています。これは、AIがネガティブな用途であるとされている場合、モデルがあまり役に立たないとされていることに皮肉な面があると感じます。一方で、スケールAIが公正で操作不能なベンチマークとリーダーボードを提供するイニシアチブが評価されており、これはモデルを独自のユースケースでベンチマークするべきだと述べています。AIが学術分野で急速に増加しているものの、それが社会や職業、具現化された物理AIでどのように機能するかはまだ不明です。

15:04

🌟 AIの未来についての見解

AIの未来に関しては、誰もがそれには予測不可能であると同意しています。学術論文では、ほぼすべての分野で指数関数的に増加していることがわかりますが、それが現実社会でどのように機能するかは不明です。AIが職業に与える影響もまた、現在わかっていません。しかし、AIの発展を見守るために、常に最新の情報を集めていきましょう。

Keywords

💡AI

AIとは、人工知能の略で、人間のように思考し判断する能力を持つコンピュータシステムのことを指します。このビデオでは、AIが産業を革命化し、新しい可能性を創出する中心的なテーマとして取り上げられています。例えば、AIがロボット工学やデジタルヒューマンの基礎を形成し、ビデオゲームのキャラクターとの実時間での対話を実現するなど、多岐にわたる応用が示されています。

💡Nvidia

Nvidiaは、GPUを中心としたハイテク企業で、ビデオではそのCEOが自社を巨大AIへと発展させたいと語している様子が紹介されています。NvidiaはAI分野で先進的な技術を展開しており、ビデオではその技術が産業界に与える影響について触れられています。

💡ロボット工学

ロボット工学は、機械工学とコンピュータサイエンスの分野で、ロボットの設計、製造、制御に関する学問です。ビデオでは、AIがロボット工学を通じて産業界を革命化する可能性について語られており、具体例として工場でのロボットの活用が挙げられています。

💡デジタルヒューマン

デジタルヒューマンとは、AIとコンピュータグラフィックスを用いて作られる、人間に見えるキャラクターのことです。ビデオでは、デジタルヒューマンがリアルな外観と自然な会話を実現し、ビデオゲームキャラクターとの対話などにも応用されると紹介されています。

💡言語モデル

言語モデルは、自然言語処理の分野で用いられるもので、言語のパターンを理解し予測する機能を持つAIモデルです。ビデオでは、言語モデルがロボットの動作の計画や人間のデモンストレーションからの学習に使われると説明されています。

💡マルチモーダルLLM

マルチモーダルLLMとは、複数の刺激（音声、画像、テキストなど）を理解し、学ぶことができる大型言語モデルのことを指します。ビデオでは、マルチモーダルLLMがロボットに周囲の世界を理解させ、行動計画を立てることができると紹介されています。

💡シミュレーション

シミュレーションは、現実世界の状況をコンピュータ上で再現し、仮説の検証や予測を行うプロセスです。ビデオでは、AIがシミュレーションを通じてロボットの動作を学習し、最適なプログラムを見つけ出す方法が説明されています。

💡ハイパーローカル予報

ハイパーローカル予報とは、細かい地域単位での天気予報を意味します。ビデオでは、Nvidiaが開発した技術が街のインフラstruktureを考慮に入れた精密な天気予報を実現し、局地的な気象現象を予測することができると紹介されています。

💡デジタルツイン

デジタルツインは、物理的なオブジェクトや現象をデジタルで再現したものであり、分析や予測に使われます。ビデオでは、Nvidia Earth 2がAI、物理学のシミュレーション、観測データを融合させたデジタルツインとして、極端な天候の影響に対処するのに役立つと説明されています。

💡AIによる失業

AIによる失業は、人工知能が人間の職業に代わり、失業率の上昇をもたらす可能性に関する議論です。ビデオでは、AIがグラフィックデザインなど特定の分野で人間の仕事を取っていく例が挙げられており、将来の雇用市場への影響についても触れられています。

Highlights

Nvidia CEO aims to transform the company into a giant AI entity.

AI is currently capable of a range of capabilities showcased in recent demos.

Prediction of the end of employment as we know it within 3 to 5 years, which is considered overstated.

AI failures highlighted, such as a failed spam campaign.

Nvidia anticipates a robot revolution in industry through physical AI.

Factories will become robotic, with robots building other robots.

AI is improving itself and aiding in the design and software development processes.

Nvidia's use of AI for bug detection and resolution within code.

AI's ability to learn from human demonstrations and execute complex physical tasks.

LLMs (Large Language Models) are advancing robotics capabilities.

AI models are being developed for digital humans with multilingual speech recognition and synthesis.

Advancements in lip-syncing technology using AI, creating highly realistic digital humans.

Nvidia Earth 2, a digital twin that combines AI, physics simulations, and observed data.

Hyperlocal weather forecasting taking into account city infrastructure.

Robot-staffed coffee shops with minimal human oversight as a current reality.

AI's impact on jobs with a graphic designer losing their job to AI automation.

AI's need for human-generated training data to start but not necessarily to continue.

Predictions of job automation in areas like copywriting, tax preparation, and customer service.

OpenAI's report on the ineffectiveness of AI-generated disinformation campaigns.

The need for better benchmarks and unbiased leaderboards in AI performance measurement.

The unpredictability of AI's impact on society, jobs, and physical AI.

Transcripts

the CEO of Nvidia revealed that he wants

his company to become ultimately one

giant AI even if that feels a little

ways away he did Showcase in the last

couple of days a string of capabilities

that are possible now with AI yes we're

going to hear three big promises about

the future of AI but we're going to see

a host of demos of things are possible

right now I'll bring in clips from some

recent interviews I've conducted and

we'll hear from the chief of sta half of

one prominent AI company predicting the

end of employment as we know it in 3 to

5 years which I think is a tad

overstated speaking of which you'll also

see some AI fails as a Spam campaign

flops hard so what about those three

promises I mentioned from the CEO of

Nvidia which looks set to become the

largest company in the world if current

trends hold well first we heard and saw

that Nvidia anticipates robot

revolutionizing

industry the next wave of AI is here

robotics powered by physical AI will

revolutionize

Industries that's still pretty General

though right so how about the prediction

that everything is going to be robotic

let me talk about what's

next the next wave of AI is physical ai

ai that understands the laws of physics

AI that can work Among Us of course when

I say robotics there's a humanoid

robotics that's usually the

representation of that everything is

going to be robotic all of the factories

will be robotic the factories will

orchestrate robots and those robots will

be building products that are robotic

robots interacting with robots building

products that are robotic and of course

we don't just have robots building

robots we have artificial intelligence

improving artificial intelligence here

is Jason hang on a separate less

reported occasion promising to turn

Nvidia into one giant AI we can't design

a chip anymore without

AI at night our AIS are exploring design

spaces uh vast and wide that we would

never do ourselves because it cost too

much money to explore we can't write

software without without AI anymore we

have to explore all the you know the the

design space of of of optimizing

compilers is too large uh we use AIS to

uh file bugs so our bug you know our

bugs database uh actually tells you

what's wrong with the code who's likely

involved and activates that person to go

fix it you know so and so I I think uh

we I want everybody every organization

our company to use AI very aggressively

I want I want to turn into a one giant

AI but it's well past time that I become

a bit more concrete about what models

can do right now today here is a

30-second clip from Nvidia that actually

undersold what AI is capable

of multimodal llms are breakthroughs

that enable robots to learn perceive and

understand the world around them and

plan how they'll act and from Human

demonstrations robots can now learn the

skills required to interact with the

world using gross and fine motor skills

but how was that under selling the

capabilities of AI it looked pretty

impressive right well they focused on AI

learning from Human demonstrations but

if you've watched my Dr Eureka video

recently you'll know that it's not just

about llms coming up with high level

plans and then relying on human

demonstrations to exercise fine grained

robotic control in this case of a robot

dog llms are actually really good at

programming the robo dog to in this case

stay balanced on a moving rolling yoga

ball and I spoke with Jason Mah the lead

author of The Dr Eureka paper which was

made in collaboration with Nvidia about

how that will only accelerate robot

capabilities will be bootstrapped by

large language models and I think that's

the most interesting thing of using all

for robotics honestly like there's a lot

of work in using large language models

for robotics in the high level planning

category I could plan the sequence of

tasks the robot needs to do but I think

fundamentally the bottleneck for robot

it's still like lowlevel physical

control right the AL can tell the robot

to cook some food but if the robot can't

even pick up a knife properly it's not

going to work but I think a lot of eure

line work where my work is focused on

how to we use this highly capable

reasoning coding text models multimodal

models to supervise the lowle learning

so the robots can do the very complex

tasks in the first place and I think

that will only accelerate the key Edge

that AI has is that it can iterate

thousands and thousands of times in

parallel in simulation until it's got a

program it's happy with and dipping back

into the virtual world for a moment how

about the long awaited promise of being

able to interact live with video game

characters the foundation of digital

humans are AI models built on

multilingual speech recognition and

synthesis and llms that understand and

generate

[Music]

conversation

[Music]

for and speaking of realism before I get

to the latest clips from Nvidia here's

me speaking 6 weeks ago about how good

lip syncing was getting using just a

single photo of you we can now get you

to say anything have you ever had maybe

you're in that place right now where you

want to turn your life around and you

know somewhere deep in your soul there

could be some decision that you have to

make I have to remind myself that these

aren't projections this is what is

currently possible imagine that accuracy

of lip syncing on a digital human of

this level of realism lifelike

appearances enabling realtime path

traced subsurface scattering to simulate

the way light penetrates the skin

scatters and exits at various points

giving skin its soft and translucent

appearance I do wonder sometimes how

many decades away we are from a time

where you could be speaking to someone

and not be entirely certain in the real

world whether or not they are embodied

AI I might previously have said that's

100 years away but now I think it might

be in my lifetime but I'm off track cuz

I promised more demos of things that are

possible with AI today so how about a

weather report that's localized to your

building your pavement but we are not

stopping there the next Frontier is

hyperlocal forecasting down to tens of

meters where the effects of City

infrastructure are taken into account

when combined with weather simulation

windfields it can model the air flow

around buildings we expect to predict

phenomena such as down watch where

strong winds funnel down to street level

causing damage and affecting

pedestrians Nvidia Earth 2 an excellent

example of a digital twin that fuses AI

physics simulations and observe data can

help countries and companies see the

future and respond to the impact of

extreme weather or what about a coffee

shop which is staffed by dozens of

robots with just one or two humans to

oversee things wait that's happening

right now all of these things feel

futuristic and far away until they

actually happen and how about a sound

effect generator that can generate any

sound well that is possible today with

11 Labs actually I'm going to test it

with something like a robot being

crushed let's see if it comes up with

something interesting or not so far

about five six 7 Seconds not too bad and

how is

it

whoa not perfect obviously but if you

feel that all of this is in the future

let me bring you a video from a a

graphic designer who lost his job

recently to AI they just lost my job um

and I lost it to AI which is very

unfortunate I think many people joke

about the you know the fact that oh AI

is going to take all our jobs and we're

all going to get replaced and especially

within my industry which is graphic

design and it turns out basically all of

the material that I've provided over the

past 6 years is now being fed to Ai and

templated

um so a design that would take me 30

minutes now takes AI 30 seconds uh as

it's been trained on all my templates

essentially I think it just literally

reuses my templates and then they can

input the hex codes they want the email

or the website designed to be drag and

drop in the client's logo upload the

client's font and boom it will generate

uh my template but using their brand

assets it's a reminder that even though

almost all AI need needs human generated

training data to get started they don't

necessarily need more of it to keep

going or to put it another way this is

the worst the AI embodied or not will

ever be which is probably why some

people including the chief of staff to

the CEO of anthropic makers of the claw

chatbots think that this will massively

impact the short-term outlook on

employment this article by that Chief of

Staff Avatar balwit came out just two

weeks ago while I think the Outlook

isn't quite this Stark here's what she

had to say she predicted these next 3

years might be the last few years that I

work I stand at the edge of a

technological development that seems

likely should it arrive to end

employment as I know it and she makes

the point that would have been relevant

to that graphic designer we just heard

from the economically and politically

relevant comparison on most tasks is not

whether the language model or I would

say the embodied AI is better than the

best human it's whether they are better

than the human who would otherwise do

that task doesn't have to be perfect in

other words just has to be a bit cheaper

she makes the somewhat common prediction

by now that things like copywriting tax

preparation and customer service will be

heavily automated but let me give you

two examples how the future is a bit

more unpredictable than it can sometimes

seem first I remember the frenzied

reporting on this report from the think

tank the IP here in Britain according

ording to the headlines at least they

were warning of an AI jobs apocalypse

but the very next day I contacted the

lead author caraston young and we had a

detailed discussion for AI insiders

first he said head on that he was

disappointed by the media's coverage no

I'm I'm not fully happy with how this is

being covered both our report but in

general because it can sound very scary

and I think just scaring people doesn't

necessarily lead to incremental

thoughtful policy progress when people

talk about jobs apocalypse I think some

people might just switch off and throw

up their hands and say oh God we're all

doomed whereas what we try to do in the

report is actually to say there's a

range of scenarios and it's not some

kind of external event like a pandemic

that's like happening to us and it's all

doom and gloom but it's actually a thing

that totally depends on Decisions by

policy makers but also by organizations

that Implement AI then we discussed how

a more likely medium-term outcome is

wage inequality in short low wages for

many but not for those who utilize AI to

boost their productivity so those that

remain in work their productivity will

be hugely aided by AI so you have this

wage inequality aspect but then of

course and I think this is also Sam

alman's point is that profits are likely

going to go up so we have lower labor

costs AI likely is able to do things

more cheaply so profits will go up so

those that own companies will have

higher returns and so wealth inequality

will likely go up and the second caution

retail about how ai's impact say on jobs

can sometimes be overhyped actually

comes from open AI itself albeit

unintentionally when we're talking about

good things we talk about customer

service being revolutionized and

productivity accelerating but when the

focus is on people using AI for

nefarious purposes suddenly the AI is

kind of useless this was a report

released by openai a few days ago about

how some Bad actors were trying to

generate disinformation campaigns on

mass openai terminated those accounts

but gave a summary of the impact of

these campaigns using the GPT models

there was no significant audience

increase due to our services hm later on

in the report they say this so far these

operations from places like Russia

Israel and China do not appear to have

benefited from meaningfully increased

audience engagement or reach as a result

of our services they basically describe

how these guys came up with a load of

spam but people weren't buying it for

the most part it was because the spam

just wasn't very good I don't know it

might be me but I just find it a little

bit ironic that when we're talking about

a negative use of the technology the

party line is that the models are kind

of useless of course what we really need

are better benchmarks and so I was

pleased to see this initiative from

scale AI they describe these benchmarks

and leaderboards that can't be gamed are

uncontaminated and unbiased according to

these benchmarks at least Gypsy 40 is

not a million miles ahead of other

models this initiative reminds me at

least how we should always Benchmark

models on our own use cases because

leaderboards chop and change quite a lot

notice how the table on the left is

quite different to the one that open AI

put out on release that initiative by

the way isn't the only reason to be

optimistic about benchmarks which I

covered in this video on patreon in

short though I think just about the only

thing we can all agree on is that the

future is about as unpredictable as it

has ever been in terms of at least

referring to AI in academic papers you

can see the recent exponential increase

across virtually every field how this

all actually plays out though in the

real world in society with jobs with

embodied physical AI we simply don't

know thank you though for being here

with me as we watch it all unfold have a

wonderful day