Can a robot pass a university entrance exam? | Noriko Arai

TED
13 Sept 201713:37

Summary

TLDRこのスクリプトでは、人工知能(AI)が人間の職業を奪うだけでなく、東京大学入学試験に合格することができるレベルに達していることを示す「東大ロボットプロジェクト」が紹介されています。しかし、AIは単に事実を集積しているだけで、意味を理解する能力が乏しく、多くの学生を上回る成績を出しているにも関わらず、教育革命が急務であると指摘しています。

Takeaways

  • 🧠 AIは人間と同じように学び、特に教育を通じて得られるスキルと専門知識を比較してパフォーマンスを評価する必要がある。
  • 🤖 トーダイロボットプロジェクトは、東京大学の入学試験に合格するAIを開発することを目的としている。
  • 📝 トーダイロボットはリモートサーバーで動作し、17世紀の海上貿易に関する600語の論文を書いている。
  • 📚 現代のAIは「事実型質問」に特化しており、WatsonやSiri、トーダイロボットもこれに応じて最適化されている。
  • 🔍 AIは読むことができないが、キーワードを検索し、それらを最適化して答えを得る能力がある。
  • 📉 トーダイロボットは歴史の是非質問に答えることで、統計的に正しい答えを得ることができる。
  • 📝 トーダイロボットは600語の論文を書くことができ、多くの学生よりも良い成績を得ている。
  • 🔢 自動数学問題解決システムは、自然言語で書かれた問題を機械が読める形式に変換し、解答する。
  • 🎓 トーダイロボットは数学の第二段階の試験でトップ1%にランクインしたが、トーダイに合格はできなかった。
  • 🤔 AIは意味を理解しないまま、多くの学生を上回る成績を出すことができるが、これは教育者にとって警鐘である。
  • 👨‍🏫 教育の革命が急務であり、学生がAIよりも人間が得意とすることを学ぶ方法を見つける必要がある。

Q & A

  • AIが人間に代わって働くとされる職種について、講演者はどのような立場を示していますか?

    -講演者は、AIが単に低級な仕事に取って代わることはないと、人間が持つ専門知識や教育を通じて得るスキルをAIは習得できないと主張しています。

  • 講演で「Singularity」とは何を指していますか?

    -「Singularity」とは人工知能が人間の知性を超える時点を指しており、講演ではAIがトップ大学の入学試験に合格するかどうかという議論の中で触れられています。

  • Todai Robot Projectとはどのようなプロジェクトですか?

    -Todai Robot Projectは、東京大学の入学試験に合格するAIを開発するプロジェクトであり、そのAIはリモートサーバーで動作しています。

  • AIが現代の「Jeopardy!」チャレンジをどのように対応しているか説明してください。

    -現代のAIは、「Jeopardy!」のような特定の質問形式に対して、キーワードを検索し、それらと共起する単語を探して答えを導き出しますが、実際には読み取ることはありません。

  • Todai Robotは歴史の是非質問にどのように答えていますか?

    -Todai Robotは、自身で事実問題を生成し、検索と最適化を通じて答えを得ていますが、実際には読み取る能力はなく、統計的に正しい答えを得ることが多いです。

  • Todai Robotが書く600字の論文はどのように作成されていますか?

    -Todai Robotは教科書やWikipediaから文章を取得し、それらを組み合わせて最適化して論文を作成していますが、実際には理解を超越していません。

  • AIが数学の問題を解くために必要なステップは何ですか?

    -AIは数学の問題を解くために、自然言語で書かれた問題を機械が読める形式の公式に変換し、シンボリックコンピュテーションを実行し、答えを導き出します。

  • Todai Robotは数学の第二段階の書式試験でどのような成績を獲得しましたか?

    -Todai Robotは数学の第二段階の書式試験でトップ1%の成績を獲得しましたが、東京大学に合格することはありませんでした。

  • Todai Robotが英語のテストで誤った答えを選んだ例は何ですか?

    -Todai Robotは会話の文脈を理解せず、深層学習技術を使って15億の英語文章を学んだにもかかわらず、誤った答えを選んでしまいました。

  • 講演者は教育革命が必要であると主張する理由は何ですか?

    -講演者は、AIが単に知識を記憶するのと同じように動作し、人間が理解できることをAIはできないため、教育革命が必要なと主張しています。

  • 講演者が教育における重要な変化として指摘していることは何ですか?

    -講演者は、教育において知識の暗記から意味への理解へのシフトが求められると指摘しています。

Outlines

00:00

🤖 AIの挑戦と人間の教育

この段落では、AIが人間の仕事に取って代わる可能性と、新しい職業を生み出すという考え方について議論しています。特に、AIが東京大学の入学試験に合格する可能性について尋ね、多くの人が肯定的な答えを示したことから、AIの能力についての人々の認識が示されています。さらに、Todai Robot Projectの紹介と、そのAIがどのようにして歴史の事実関係の質問や600字の論文を生成するのかが説明されています。AIは現代の技術を駆使して検索と最適化を行い、人間のように教育を受けることなく特定のスキルを獲得しようとしています。

05:01

📚 AIの試験勉強と人間教育の現状

この段落では、Todai Robotが歴史の事実関係の質問や数学問題を解く方法について詳しく説明されています。AIは統計的手法を用いて答えを導き出し、実際には理解を超えた答えを得ることができています。しかし、AIは意味を理解せず、単に事実を羅列するだけであることが強調されています。また、AIが入学試験に合格しない理由として、意味を理解しないことが挙げられています。さらに、教育における問題として、多くの学生が教科書の知識を理解せずに単に暗記している現状が指摘されています。

10:04

🚀 教育の変革とAIとの共存

最後の段落では、AIが学生を上回る点数を得たことから、教育における深刻な問題があることを示唆しています。講演者は、教育における急激な変革の必要性を主張し、学生が意味を理解することの重要性を強調しています。AIは知識を単に蓄積するのではなく、人間のように意味を理解する能力を持たなければならないと述べています。教育者たちは、知識から意味へのシフトを促す新しい教育方法を模索する必要があると結び付けています。

Mindmap

Keywords

💡AI

AIとは「人工知能」の略で、人間のように思考や判断能力を持つ機械やソフトウェアのことを指します。このビデオでは、AIが人間の職務を奪うか、新しい職種を生み出すかという議論の中心に立ちます。特に、東大ロボットプロジェクトがAIが東京大学の入学試験に合格することができるかという挑戦を通じて、AIの限界と可能性について探求しています。

💡東大ロボットプロジェクト

これは、東京大学の入学試験にAIが合格できるかどうかを検証するプロジェクトです。ビデオでは、このプロジェクトがAIが人間の教育を超えることができるかどうかという問いを提起し、その過程でAIの限界についても触れています。

💡機械学習

機械学習は、AIのサブ分野で、コンピュータがデータから学習し、判断や予測を行う能力を獲得するプロセスです。ビデオでは、機械学習技術を使って15億の英語文章を学習し、深い洞察を得るAIが登場していますが、それでも意味を理解できないという問題もあります。

💡事実問題(factoid questions)

これは「事実に基づく質問」を意味しており、特定の事実やデータに基づいて答えられる質問です。ビデオでは、「Jeopardy!」のクイズ形式を例に取り上げ、AIがこれらの質問に答えることで、検索と最適化のスキルを示す方法について説明しています。

💡符号計算

符号計算は、数学の問題を解決する際に、文字や記号を扱う計算のことを指します。ビデオでは、AIが自然言語で書かれた数学問題を機械が読める式に変換し、符号計算を実行して解答を出すプロセスが紹介されています。

💡理解

理解とは、意味や概念を把握する能力を指します。ビデオでは、AIが知識を暗記する能力はあるが、それを理解する能力は不足していると指摘しています。この点が、AIと人間の教育の重要な違いとして強調されています。

💡教育革命

教育革命とは、教育の方法や目的を根本的に変革することです。ビデオでは、AIが人間の職務を奪う可能性があることから、教育システムが人間の理解能力を高めることに重点を置くべきだと述べています。

💡暗記

暗記は、意味を理解せずに情報を単純に記憶することです。ビデオでは、多くの学生が知識を理解せずに単に暗記している問題を指摘し、AIも同じ暗記能力を持っていることを比較して説明しています。

💡知識

知識とは、事実や概念を理解し、適用できる能力を指します。ビデオでは、学生たちが知識を身に付けるために、単なる暗記ではなく、意味を理解することの重要性が強調されています。

💡意味

意味とは、言葉や行動の背後にある深い理解や価値を指します。ビデオでは、AIが知識を暗記できる一方で、意味を理解することはできないという点を強調しており、教育が意味を理解する能力を育むことが重要であると述べています。

Highlights

AI研究人员曾表示,机器只会取代低技能工作,人类无需担心。

AI将创造新工作,失业者将找到新工作机会。

AI的学习能力可能超越大多数人类,引发对未来就业的担忧。

提出问题:到2020年,AI能否通过顶尖大学的入学考试?

介绍了东京大学机器人项目,旨在通过东京大学的入学考试。

机器人的大脑在远程服务器上工作,正在撰写关于17世纪海上贸易的600字文章。

东京大学的入学考试包括全国标准化测试和第二阶段的书面测试。

现代AI的工作方式示例,以“Jeopardy!”挑战为例。

AI通过搜索和优化关键词来回答问题,而不是阅读和理解。

东京大学机器人在回答历史是非题时的策略。

机器人如何撰写600字的论文,尽管它不理解内容。

机器人在数学问题解答方面的能力,包括自然语言到机器可读公式的转换。

机器人在数学书面考试中的表现,位于前1%。

尽管机器人在多项测试中表现优异,但未能进入东京大学,因为它不理解任何含义。

机器人在英语测试中的错误示例,尽管学习了大量英语句子。

对现代AI的理解:它们不阅读,不理解,只是伪装成这样做。

机器人在考试中的分布图,位于前20%,但未能进入东京大学。

对教育的反思:我们需要一场教育革命,帮助孩子们做人类比AI更擅长的事情。

呼吁教育从知识记忆转向理解意义。

Transcripts

play00:13

Today, I'm going to talk about AI and us.

play00:18

AI researchers have always said

play00:20

that we humans do not need to worry,

play00:22

because only menial jobs will be taken over by machines.

play00:27

Is that really true?

play00:30

They have also said that AI will create new jobs,

play00:34

so those who lose their jobs will find a new one.

play00:38

Of course.

play00:39

But the real question is:

play00:41

How many of those who may lose their jobs to AI

play00:45

will be able to land a new one,

play00:48

especially when AI is smart enough to learn better than most of us?

play00:55

Let me ask you a question:

play00:58

How many of you think

play01:00

that AI will pass the entrance examination of a top university by 2020?

play01:07

Oh, so many. OK.

play01:10

So some of you may say, "Of course, yes!"

play01:15

Now singularity is the issue.

play01:18

And some others may say, "Maybe,

play01:21

because AI already won against a top Go player."

play01:27

And others may say, "No, never. Uh-uh."

play01:32

That means we do not know the answer yet, right?

play01:36

So that was the reason why I started Todai Robot Project,

play01:41

making an AI which passes the entrance examination

play01:45

of the University of Tokyo,

play01:47

the top university in Japan.

play01:51

This is our Todai Robot.

play01:56

And, of course, the brain of the robot is working in the remote server.

play02:02

It is now writing a 600-word essay

play02:06

on maritime trade in the 17th century.

play02:11

How does that sound?

play02:14

Why did I take the entrance exam as its benchmark?

play02:19

Because I thought we had to study the performance of AI

play02:23

in comparison to humans,

play02:26

especially on the skills and expertise

play02:28

which are believed to be acquired only by humans

play02:32

and only through education.

play02:35

To enter Todai, the University of Tokyo,

play02:39

you have to pass two different types of exams.

play02:44

The first one is a national standardized test

play02:48

in multiple-choice style.

play02:50

You have to take seven subjects

play02:52

and achieve a high score --

play02:54

I would say like an 85 percent or more accuracy rate --

play02:59

to be allowed to take the second stage written test

play03:03

prepared by Todai.

play03:06

So let me first explain how modern AI works,

play03:12

taking the "Jeopardy!" challenge as an example.

play03:17

Here is a typical "Jeopardy!" question:

play03:20

"Mozart's last symphony shares its name with this planet."

play03:26

Interestingly, a "Jeopardy!" question always asks,

play03:30

always ends with "this" something:

play03:33

"this" planet, "this" country,

play03:36

"this" rock musician, and so on.

play03:39

In other words, "Jeopardy!" doesn't ask many different types of questions,

play03:43

but a single type,

play03:45

which we call "factoid questions."

play03:48

By the way, do you know the answer?

play03:53

If you do not know the answer and if you want to know the answer,

play03:58

what would you do?

play04:00

You Google, right? Of course.

play04:03

Why not?

play04:04

But you have to pick appropriate keywords

play04:08

like "Mozart," "last" and "symphony" to search.

play04:13

The machine basically does the same.

play04:16

Then this Wikipedia page will be ranked top.

play04:21

Then the machine reads the page.

play04:23

No, uh-uh.

play04:25

Unfortunately, none of the modern AIs,

play04:28

including Watson, Siri and Todai Robot,

play04:32

is able to read.

play04:35

But they are very good at searching and optimizing.

play04:40

It will recognize

play04:42

that the keywords "Mozart," "last" and "symphony"

play04:45

are appearing heavily around here.

play04:49

So if it can find a word which is a planet

play04:54

and which is co-occurring with these keywords,

play04:57

that must be the answer.

play05:00

This is how Watson finds the answer "Jupiter," in this case.

play05:08

Our Todai Robot works similarly, but a bit smarter

play05:12

in answering history yes-no questions,

play05:16

like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"

play05:23

Our robot starts producing a factoid question,

play05:27

like: "Charlemagne repelled [this person type]" by itself.

play05:32

Then, "Avars" but not "Magyars" is ranked top.

play05:38

This sentence is likely to be false.

play05:42

Our robot does not read, does not understand,

play05:48

but it is statistically correct in many cases.

play05:54

For the second stage written test,

play05:56

it is required to write a 600-word essay like this one:

play06:01

[Discuss the rise and fall of the maritime trade

play06:04

in East and Southeast Asia in the 17th century ...]

play06:06

and as I have shown earlier,

play06:07

our robot took the sentences from the textbooks and Wikipedia,

play06:12

combined them together,

play06:14

and optimized it to produce an essay

play06:17

without understanding a thing.

play06:20

(Laughter)

play06:21

But surprisingly, it wrote a better essay

play06:26

than most of the students.

play06:28

(Laughter)

play06:30

How about mathematics?

play06:33

A fully automatic math-solving machine

play06:36

has been a dream

play06:38

since the birth of the word "artificial intelligence,"

play06:43

but it has stayed at the level of arithmetic for a long, long time.

play06:51

Last year, we finally succeeded in developing a system

play06:56

which solved pre-university-level problems from end to end,

play07:02

like this one.

play07:05

This is the original problem written in Japanese,

play07:09

and we had to teach it 2,000 mathematical axioms

play07:14

and 8,000 Japanese words

play07:16

to make it accept the problems written in natural language.

play07:22

And it is now translating the original problems

play07:25

into machine-readable formulas.

play07:30

Weird, but it is now ready to solve it, I think.

play07:36

Go and solve it.

play07:38

Yes! It is now executing symbolic computation.

play07:44

Even more weird,

play07:45

but probably this is the most fun part for the machine.

play07:50

(Laughter)

play07:52

Now it outputs a perfect answer,

play07:55

though its proof is impossible to read, even for mathematicians.

play08:02

Anyway, last year our robot was among the top one percent

play08:10

in the second stage written exam in mathematics.

play08:14

(Applause)

play08:18

Thank you.

play08:19

So, did it enter Todai?

play08:22

No, not as I expected.

play08:26

Why?

play08:28

Because it doesn't understand any meaning.

play08:32

Let me show you a typical error it made in the English test.

play08:36

[Nate: We're almost at the bookstore. Just a few more minutes.

play08:39

Sunil: Wait. ______ . Nate: Thank you! That always happens ...]

play08:42

Two people are talking.

play08:43

For us, who can understand the situation --

play08:45

[1. "We walked for a long time." 2. "We're almost there."

play08:48

3. "Your shoes look expensive." 4. "Your shoelace is untied."]

play08:51

it is obvious number four is the correct answer, right?

play08:54

But Todai Robot chose number two,

play08:56

even after learning 15 billion English sentences

play09:02

using deep learning technologies.

play09:07

OK, so now you might understand what I said:

play09:12

modern AIs do not read,

play09:15

do not understand.

play09:17

They only disguise as if they do.

play09:24

This is the distribution graph

play09:27

of half a million students who took the same exam as Todai Robot.

play09:34

Now our Todai Robot is among the top 20 percent,

play09:40

and it was capable to pass

play09:43

more than 60 percent of the universities in Japan --

play09:47

but not Todai.

play09:50

But see how it is beyond the volume zone

play09:54

of to-be white-collar workers.

play10:00

You might think I was delighted.

play10:03

After all, my robot was surpassing students everywhere.

play10:09

Instead, I was alarmed.

play10:13

How on earth could this unintelligent machine outperform students --

play10:18

our children?

play10:20

Right?

play10:22

I decided to investigate what was going on in the human world.

play10:28

I took hundreds of sentences from high school textbooks

play10:33

and made easy multiple-choice quizzes,

play10:37

and asked thousands of high school students to answer.

play10:42

Here is an example:

play10:43

[Buddhism spread to ... , Christianity to ... and Oceania,

play10:46

and Islam to ...]

play10:47

Of course, the original problems are written in Japanese,

play10:50

their mother tongue.

play10:51

[ ______ has spread to Oceania.

play10:53

1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

play10:55

Obviously, Christianity is the answer, isn't it?

play10:58

It's written!

play11:01

And Todai Robot chose the correct answer, too.

play11:06

But one-third of junior high school students

play11:11

failed to answer this question.

play11:16

Do you think it is only the case in Japan?

play11:19

I do not think so,

play11:21

because Japan is always ranked among the top in OECD PISA tests,

play11:28

measuring 15-year-old students' performance in mathematics,

play11:31

science and reading

play11:33

every three years.

play11:39

We have been believing

play11:41

that everybody can learn

play11:43

and learn well,

play11:45

as long as we provide good learning materials

play11:49

free on the web

play11:50

so that they can access through the internet.

play11:53

But such wonderful materials may benefit only those who can read well,

play12:00

and the percentage of those who can read well

play12:04

may be much less than we expected.

play12:10

How we humans will coexist with AI

play12:14

is something we have to think about carefully,

play12:17

based on solid evidence.

play12:21

At the same time, we have to think in a hurry

play12:25

because time is running out.

play12:28

Thank you.

play12:29

(Applause)

play12:34

Chris Anderson: Noriko, thank you.

play12:36

Noriko Arai: Thank you.

play12:38

CA: In your talk, you so beautifully give us a sense of how AIs think,

play12:43

what they can do amazingly

play12:45

and what they can't do.

play12:46

But -- do I read you right,

play12:48

that you think we really need quite an urgent revolution in education

play12:53

to help kids do the things that humans can do better than AIs?

play12:57

NA: Yes, yes, yes.

play12:59

Because we humans can understand the meaning.

play13:03

That is something which is very, very lacking in AI.

play13:08

But most of the students just pack the knowledge

play13:12

without understanding the meaning of the knowledge,

play13:16

so that is not knowledge, that is just memorizing,

play13:19

and AI can do the same thing.

play13:21

So we have to think about a new type of education.

play13:25

CA: A shift from knowledge, rote knowledge, to meaning.

play13:28

NA: Mm-hmm.

play13:29

CA: Well, there's a challenge for the educators. Thank you so much.

play13:33

NA: Thank you very much. Thank you.

play13:34

(Applause)

Rate This

5.0 / 5 (0 votes)

Related Tags
AI教育人間の限界教育変革AIの限界未来予測知の意味記憶と理解ユニバーサリティ試験対策技術進歩
Do you need a summary in English?