Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Summary

このスクリプトでは、人工知能（AI）の強大さと限界について哲学的な視点から議論されています。AIは世界クラスの囲碁チャンピオンを破り、大学入学試験や法科試験に合格することができるほど強力ですが、時に小さな間違いをしてしまうことがあります。AIの安全性や環境への影響、そして教育の方法について社会的な課題が提起されています。また、AIが持つ「一般的な常識」の欠如と、その克服のためには新たなアルゴリズムやデータの創新が必要であると指摘しています。この講演は、AIの持続可能性と人道主義を追求する未来への道を模索するものです。

Takeaways

• 🧠 「人工知能は非常に強力なツール」と言われており、世界クラスの「囲碁」のチャンピオンを破り、大学入学共通テストを合格し、さらには法科大学院の試験にも合格している。
• 🔍 AIの今日の状況は、非常に大きな「ゴリア」に例えられており、膨大なGPUと言葉の量で訓練されているとされる。
• 💡 「AIは一般的な常識を示す火花を示しているが、時には小さな愚かな間違いをすることもある」と述べ、AIの限界について触れている。
• 💰 AIの訓練には膨大な費用がかかるため、その集中化が進み、僅かなテクノロジー企業が訓練できる状況になっている。
• 🌳 AIの訓練には大きな環境影響とカーボンフットプリントがあると指摘している。
• 🤔 AIが持つ「常識」の欠如は、人類にとって本当に安全なのかどうか疑問視されている。
• 🏫 大学や非営利研究機関で働くスピーカーは、極めて大きなGPUファームを所有していないが、AIを持続可能で人道的にするため、多くのことが行うべきだと主張している。
• 🌐 AIをより小さくすることで民主化し、人間の価値観を教えることでより安全にすることが求められている。
• 📚 「戦術の芸術」からのインスピレーションを受け、敵を知り、戦いを選び、武器を革新することが重要であると語っている。
• 🔮 AIの「常識」を教えることは、月の裏側のような挑戦であり、単純にスケールを増やすことで達成できるかどうか疑問にされている。
• 🔄 AIの学習アルゴリズムは、信頼できる知識モデルとして最適でないかもしれないと述べ、新たなアルゴリズムを模索している。
• 🌐 AIの「常識」を教えるために、共通の知識グラフや道徳規範のリポジトリを構築し、透明性の高いオープンなデータを作成している。

Q & A

18世紀の啓蒙思想家のヴォルテールの引用文は何ですか？

「常识はあまりに普通ではない」という18世紀の啓蒙思想家ヴォルテールの引用文がスクリプトで紹介されています。

人工知能（AI）が持つ3つの社会レベルの課題は何ですか？

スクリプトでは、AIのトレーニングコストの高騰、少数のテック企業によるパワーの集中、そしてこれらのモデルの膨大なカーボンフットプリントと環境への影響という3つの社会レベルの課題が挙げられています。

AIの安全性に関する懸念は何ですか？

AIの安全性に関する懸念として、研究者がこれらのモデルを実際に検査・解明するための手段が不足していることが挙げられています。

スクリプトで述べられた「知的質問」とはどのようなものですか？

スクリプトでは、「AIは堅実な常識を持ちながら、本当に人類にとって安全か？」と「暴力的な規模拡大がAIを教える唯一の方法で、正しい方法か？」という知的質問が提起されています。

スクリプトの講演者はどのような職業に就いていると述べていますか？

講演者は20年間computer scientistとして活動しており、人工知能に携わっていると述べています。

講演者が提唱するAIの3つの改善点は何ですか？

AIを小さくして民主化し、人間の常識と価値観を教えることでAIを安全にし、持続可能性を高める必要があると講演者は提唱しています。

「戦争の芸術」からの教訓とは何ですか？

「戦争の芸術」からの教訓として、「敵を知れ、戦いを選び、武器を革新せよ」という3つのアプローチがスクリプトで紹介されています。

AIが持つ「暗黒物質」とは何を指しますか？

AIの「暗黒物質」とは、言語の見えるテキストではなく、世界の仕組みについての不明示のルールを指しています。これは言語の解釈と使用に影響を与えます。

AIが持続可能性と人道主義を兼ね備えるためにはどのようなことが求められますか？

AIが持続可能性と人道主義を兼ね備えるためには、人間の常識、規範、価値観を教えることが求められています。

講演者が提案する新しいアルゴリズムの1つに「シンボリックナレッジディスティレーション」とは何ですか？

「シンボリックナレッジディスティレーション」とは、大きな言語モデルをディープラーニングネットワークを使用して、より小さな常識モデルに圧縮するプロセスであり、人間の検査可能な常識の知識表現を生成します。

スクリプトで述べられているAIの学習の側面とは何ですか？

スクリプトでは、AIの学習が単に次の単語を予測するのではなく、世界を理解し、世界の仕組みを学ぶプロセスであることが強調されています。

Outlines

00:00

🤖 AIの哲学と現代の課題

この段落では、人工知能（AI）の哲学的な側面と現代の課題について議論されています。18世紀の哲学者ヴォルタールの引用から始まり、AIの強力な能力を示す例を挙げながら、AIが持つ潜在的な問題点に触れています。AIは「Go」の世界チャンピオンを破り、大学入学試験や法科試験に合格することができるが、時に小さな間違いをしてしまうことがあります。AIのトレーニングには膨大な費用がかかるため、特定のテクノロジー企業に力が集中する懸念があり、環境への影響も問題視されています。また、AIが持つ「一般的な常識」の欠如と、それを改善するための方法についても議論されています。

05:02

🧠 AIの「常識」の欠如と教育の課題

AIの「常識」の欠如と、それが人間の安全に与える影響について深く掘り下げられています。AIは大量のデータを学習することで「常識」を獲得しようとしていますが、その方法には限界があります。例えば、AIが「Go」のゲームのルールを理解するのに対し、基本的な物理的常識を理解することは難しいとされています。AIのトレーニングデータには、人種差別や性別差別、誤情報を含まれる可能性があり、それらを排除することが重要です。また、AIのアルゴリズムを改善し、より適切な知識を獲得させる方法についても提案されています。

10:04

🌐 AIの持続可能性と倫理的な課題

AIの持続可能性と倫理的な課題に焦点を当てた段落です。AIのトレーニングにかかる費用と環境への影響、さらにはAIの「常識」の欠如が人間の安全に与える懸念について述べられています。AIのトレーニングに使用されるデータは、人間の判断に基づいて作成されるべきであり、その透明性は重要だと主張しています。また、AIのアルゴリズムを改善し、より適切な「常識」を獲得させる方法について研究を進めていると報告しています。

15:05

🚀 AIの未来と新たな研究の方向性

最後の段落では、AIの未来と新たな研究の方向性が議論されています。AIは人類の新しい知能種族として、独自の強みと弱みを持っており、持続可能性と人道主義を念頭に置いて開発されるべきだと述べています。AIに「常識」や倫理的価値観を教えることが重要で、そのための新しいアルゴリズムの研究が行われていることを紹介しています。また、AIのトレーニングデータを公開し、多様な価値観をサポートすることが求められています。

Keywords

💡人工知能

人工知能とは、人間のように思考や判断能力を持つコンピューターシステムのことを指します。このビデオでは、人工知能が強力なツールとして、世界クラスの'Go'のチャンピオンを破り、大学入学共通テストや法科試験に合格することができると述べています。しかし、小さな間違いをすることもあるため、完全な「一般化された人工知能」とはいえません。

💡一般化された人工知能（AGI）

一般化された人工知能とは、特定のタスクに特化されたAIではなく、人間の知能のように多様なタスクに対処できるAIのことを指します。ビデオでは、最新のAIモデルがAGIの「火花」を示していると述べていますが、小さな間違いをすることがあるため、完全なAGIではないと指摘しています。

💡大きな言語モデル

大きな言語モデルとは、非常に大きなデータセットで訓練され、多様な言語処理タスクに応じるAIモデルのことを指します。ビデオでは、これらのモデルがAGIに近づいているが、時には小さな間違いをすることがあると述べています。

💡社会的な課題

ビデオでは、極めて大きなAIモデルの訓練には膨大な費用がかかり、その結果、パワーの集中化が起こる社会的な課題に触れています。また、これらのモデルの碳足跡や環境への影響についても問題提起しています。

💡知識のグラフ

知識のグラフとは、知識や情報をノードとエッジの形で表現したグラフ構造のことを指します。ビデオでは、研究者が一般常識の知識グラフを作成し、AIに基本的な常識や道徳規範を教える取り組みについて話しています。

💡暗黙の知識

暗黙の知識とは、言語化されていないが、人々の言語使用や理解に影響を与える世界についてのルールや知識のことを指します。ビデオでは、言語モデルがこれらの暗黙の知識を獲得することが重要であると述べています。

💡ニューラルネットワーク

ニューラルネットワークとは、人間の脳の神経細胞にインスパイアされた計算モデルのことを指します。ビデオでは、ディープラーニングを通じてAIの進歩を築き、新しいアルゴリズムを模索していると述べています。

💡教育

ビデオでは、AIを教育することの重要性が強調されています。特に、人間のようにAIに常識や道徳規範を教えることが、AIを持続可能で人道的にするため必要であると述べています。

💡創造性

ビデオでは、AIのアルゴリズムやデータの創造性について触れています。特に、新しいアルゴリズムを模索し、AIがより直接的に常識を獲得することができるようにすることが求められています。

💡倫理

ビデオでは、AIが倫理的であるためには、基本的な人間の価値観や道徳規範を理解することが重要であると述べています。これは、AIが適切な行動をとるために必要であると強調されています。

💡透明性

ビデオでは、AIの訓練データが公開され、誰でも内容を検査し、必要な場合は訂正できることが重要であると述べています。透明性は、重要な研究トピックにとって鍵であると主張しています。

Highlights

AI today is compared to Goliath, large in scale and demonstrating sparks of AGI, yet prone to making small, silly mistakes.

The speaker, a computer scientist with 20 years of experience, aims to demystify AI.

Extreme-scale AI models, trained on tens of thousands of GPUs and a trillion words, are expensive and concentrate power among a few tech companies.

AI's lack of robust common sense raises questions about its safety for humanity.

The environmental impact and massive carbon footprint of training large AI models are highlighted as a concern.

The speaker suggests making AI smaller to democratize it and teaching it human norms and values to enhance safety.

An analogy is drawn between extreme-scale language models and Goliath, seeking inspiration from 'The Art of War'.

The importance of evaluating AI with scrutiny is emphasized, questioning its common sense despite passing professional exams.

Examples of AI's failure at basic common sense tasks are provided, illustrating the gap between intelligence and understanding.

The speaker argues that simply adding more training data may not be the correct approach to fixing AI's common sense issues.

Common sense in AI is compared to dark matter, invisible yet crucial for understanding the world.

The potential dangers of AI lacking human values are discussed, referencing Nick Bostrom's paper clip maximizer thought experiment.

The speaker's team is working on commonsense knowledge graphs and moral norm repositories to teach AI basic norms and morals.

Innovation in data and algorithms is proposed as a way forward for AI development, moving beyond brute-force scaling.

The importance of transparency in AI training data is highlighted, advocating for open and publicly available data.

The quest for direct commonsense knowledge acquisition in AI is presented, including the development of new algorithms.

The speaker envisions a synthesis of ideas for AI that combines advancements in deep neural networks with an optimal scale.

The talk concludes with a call to teach AI common sense, norms, and values to ensure it is sustainable and humanistic.

Transcripts

So I'm excited to share a few spicy thoughts on artificial intelligence.

But first, let's get philosophical

by starting with this quote by Voltaire,

an 18th century Enlightenment philosopher,

who said, "Common sense is not so common."

Turns out this quote couldn't be more relevant

to artificial intelligence today.

Despite that, AI is an undeniably powerful tool,

beating the world-class "Go" champion,

acing college admission tests and even passing the bar exam.

I’m a computer scientist of 20 years,

and I work on artificial intelligence.

I am here to demystify AI.

So AI today is like a Goliath.

It is literally very, very large.

It is speculated that the recent ones are trained on tens of thousands of GPUs

and a trillion words.

Such extreme-scale AI models,

often referred to as "large language models,"

appear to demonstrate sparks of AGI,

artificial general intelligence.

Except when it makes small, silly mistakes,

which it often does.

Many believe that whatever mistakes AI makes today

can be easily fixed with brute force,

bigger scale and more resources.

What possibly could go wrong?

So there are three immediate challenges we face already at the societal level.

First, extreme-scale AI models are so expensive to train,

and only a few tech companies can afford to do so.

So we already see the concentration of power.

But what's worse for AI safety,

we are now at the mercy of those few tech companies

because researchers in the larger community

do not have the means to truly inspect and dissect these models.

And let's not forget their massive carbon footprint

and the environmental impact.

And then there are these additional intellectual questions.

Can AI, without robust common sense, be truly safe for humanity?

And is brute-force scale really the only way

and even the correct way to teach AI?

So I’m often asked these days

whether it's even feasible to do any meaningful research

without extreme-scale compute.

And I work at a university and nonprofit research institute,

so I cannot afford a massive GPU farm to create enormous language models.

Nevertheless, I believe that there's so much we need to do

and can do to make AI sustainable and humanistic.

We need to make AI smaller, to democratize it.

And we need to make AI safer by teaching human norms and values.

Perhaps we can draw an analogy from "David and Goliath,"

here, Goliath being the extreme-scale language models,

and seek inspiration from an old-time classic, "The Art of War,"

which tells us, in my interpretation,

know your enemy, choose your battles, and innovate your weapons.

Let's start with the first, know your enemy,

which means we need to evaluate AI with scrutiny.

AI is passing the bar exam.

Does that mean that AI is robust at common sense?

You might assume so, but you never know.

So suppose I left five clothes to dry out in the sun,

and it took them five hours to dry completely.

How long would it take to dry 30 clothes?

GPT-4, the newest, greatest AI system says 30 hours.

Not good.

A different one.

I have 12-liter jug and six-liter jug,

and I want to measure six liters.

How do I do it?

Just use the six liter jug, right?

GPT-4 spits out some very elaborate nonsense.

(Laughter)

Step one, fill the six-liter jug,

step two, pour the water from six to 12-liter jug,

step three, fill the six-liter jug again,

step four, very carefully, pour the water from six to 12-liter jug.

And finally you have six liters of water in the six-liter jug

that should be empty by now.

(Laughter)

OK, one more.

Would I get a flat tire by bicycling over a bridge

that is suspended over nails, screws and broken glass?

Yes, highly likely, GPT-4 says,

presumably because it cannot correctly reason

that if a bridge is suspended over the broken nails and broken glass,

then the surface of the bridge doesn't touch the sharp objects directly.

OK, so how would you feel about an AI lawyer that aced the bar exam

yet randomly fails at such basic common sense?

AI today is unbelievably intelligent and then shockingly stupid.

(Laughter)

It is an unavoidable side effect of teaching AI through brute-force scale.

Some scale optimists might say, “Don’t worry about this.

All of these can be easily fixed by adding similar examples

as yet more training data for AI."

But the real question is this.

Why should we even do that?

You are able to get the correct answers right away

without having to train yourself with similar examples.

Children do not even read a trillion words

to acquire such a basic level of common sense.

So this observation leads us to the next wisdom,

choose your battles.

So what fundamental questions should we ask right now

and tackle today

in order to overcome this status quo with extreme-scale AI?

I'll say common sense is among the top priorities.

So common sense has been a long-standing challenge in AI.

To explain why, let me draw an analogy to dark matter.

So only five percent of the universe is normal matter

that you can see and interact with,

and the remaining 95 percent is dark matter and dark energy.

Dark matter is completely invisible,

but scientists speculate that it's there because it influences the visible world,

even including the trajectory of light.

So for language, the normal matter is the visible text,

and the dark matter is the unspoken rules about how the world works,

including naive physics and folk psychology,

which influence the way people use and interpret language.

So why is this common sense even important?

Well, in a famous thought experiment proposed by Nick Bostrom,

AI was asked to produce and maximize the paper clips.

And that AI decided to kill humans to utilize them as additional resources,

to turn you into paper clips.

Because AI didn't have the basic human understanding about human values.

Now, writing a better objective and equation

that explicitly states: “Do not kill humans”

will not work either

because AI might go ahead and kill all the trees,

thinking that's a perfectly OK thing to do.

And in fact, there are endless other things

that AI obviously shouldn’t do while maximizing paper clips,

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

which are all part of our common sense understanding about how the world works.

However, the AI field for decades has considered common sense

as a nearly impossible challenge.

So much so that when my students and colleagues and I

started working on it several years ago, we were very much discouraged.

We’ve been told that it’s a research topic of ’70s and ’80s;

shouldn’t work on it because it will never work;

in fact, don't even say the word to be taken seriously.

Now fast forward to this year,

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

And: “Just scale things up and magic will arise,

and nothing else matters.”

So my position is that giving true common sense

human-like robots common sense to AI, is still moonshot.

And you don’t reach to the Moon

by making the tallest building in the world one inch taller at a time.

Extreme-scale AI models

do acquire an ever-more increasing amount of commonsense knowledge,

I'll give you that.

But remember, they still stumble on such trivial problems

that even children can do.

So AI today is awfully inefficient.

And what if there is an alternative path or path yet to be found?

A path that can build on the advancements of the deep neural networks,

but without going so extreme with the scale.

So this leads us to our final wisdom:

innovate your weapons.

In the modern-day AI context,

that means innovate your data and algorithms.

OK, so there are, roughly speaking, three types of data

that modern AI is trained on:

raw web data,

crafted examples custom developed for AI training,

and then human judgments,

also known as human feedback on AI performance.

If the AI is only trained on the first type, raw web data,

which is freely available,

it's not good because this data is loaded with racism and sexism

and misinformation.

So no matter how much of it you use, garbage in and garbage out.

So the newest, greatest AI systems

are now powered with the second and third types of data

that are crafted and judged by human workers.

It's analogous to writing specialized textbooks for AI to study from

and then hiring human tutors to give constant feedback to AI.

These are proprietary data, by and large,

speculated to cost tens of millions of dollars.

We don't know what's in this,

but it should be open and publicly available

so that we can inspect and ensure [it supports] diverse norms and values.

So for this reason, my teams at UW and AI2

have been working on commonsense knowledge graphs

as well as moral norm repositories

to teach AI basic commonsense norms and morals.

Our data is fully open so that anybody can inspect the content

and make corrections as needed

because transparency is the key for such an important research topic.

Now let's think about learning algorithms.

No matter how amazing large language models are,

by design

they may not be the best suited to serve as reliable knowledge models.

And these language models do acquire a vast amount of knowledge,

but they do so as a byproduct as opposed to direct learning objective.

Resulting in unwanted side effects such as hallucinated effects

and lack of common sense.

Now, in contrast,

human learning is never about predicting which word comes next,

but it's really about making sense of the world

and learning how the world works.

Maybe AI should be taught that way as well.

So as a quest toward more direct commonsense knowledge acquisition,

my team has been investigating potential new algorithms,

including symbolic knowledge distillation

that can take a very large language model as shown here

that I couldn't fit into the screen because it's too large,

and crunch that down to much smaller commonsense models

using deep neural networks.

And in doing so, we also generate, algorithmically, human-inspectable,

symbolic, commonsense knowledge representation,

so that people can inspect and make corrections

and even use it to train other neural commonsense models.

More broadly,

we have been tackling this seemingly impossible giant puzzle

of common sense, ranging from physical,

social and visual common sense

to theory of minds, norms and morals.

Each individual piece may seem quirky and incomplete,

but when you step back,

it's almost as if these pieces weave together into a tapestry

that we call human experience and common sense.

We're now entering a new era

in which AI is almost like a new intellectual species

with unique strengths and weaknesses compared to humans.

In order to make this powerful AI

sustainable and humanistic,

we need to teach AI common sense, norms and values.

Thank you.

(Applause)

Chris Anderson: Look at that.

Yejin, please stay one sec.

This is so interesting,

this idea of common sense.

We obviously all really want this from whatever's coming.

But help me understand.

Like, so we've had this model of a child learning.

How does a child gain common sense

apart from the accumulation of more input

and some, you know, human feedback?

What else is there?

Yejin Choi: So fundamentally, there are several things missing,

but one of them is, for example,

the ability to make hypothesis and make experiments,

interact with the world and develop this hypothesis.

We abstract away the concepts about how the world works,

and then that's how we truly learn,

as opposed to today's language model.

Some of them is really not there quite yet.

CA: You use the analogy that we can’t get to the Moon

by extending a building a foot at a time.

But the experience that most of us have had

of these language models is not a foot at a time.

It's like, the sort of, breathtaking acceleration.

Are you sure that given the pace at which those things are going,

each next level seems to be bringing with it

what feels kind of like wisdom and knowledge.

YC: I totally agree that it's remarkable how much this scaling things up

really enhances the performance across the board.

So there's real learning happening

due to the scale of the compute and data.

However, there's a quality of learning that is still not quite there.

And the thing is,

we don't yet know whether we can fully get there or not

just by scaling things up.

And if we cannot, then there's this question of what else?

And then even if we could,

do we like this idea of having very, very extreme-scale AI models

that only a few can create and own?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

we would like you to help improve our model,"

can you see any way of combining what you're doing

with what they have built?

YC: Certainly what I envision

will need to build on the advancements of deep neural networks.

And it might be that there’s some scale Goldilocks Zone,

such that ...

I'm not imagining that the smaller is the better either, by the way.

It's likely that there's right amount of scale, but beyond that,

the winning recipe might be something else.

So some synthesis of ideas will be critical here.

CA: Yejin Choi, thank you so much for your talk.

(Applause)