Can a robot pass a university entrance exam? | Noriko Arai
Summary
TLDRこのスクリプトでは、人工知能(AI)が人間の職業を奪うだけでなく、東京大学入学試験に合格することができるレベルに達していることを示す「東大ロボットプロジェクト」が紹介されています。しかし、AIは単に事実を集積しているだけで、意味を理解する能力が乏しく、多くの学生を上回る成績を出しているにも関わらず、教育革命が急務であると指摘しています。
Takeaways
- 🧠 AIは人間と同じように学び、特に教育を通じて得られるスキルと専門知識を比較してパフォーマンスを評価する必要がある。
- 🤖 トーダイロボットプロジェクトは、東京大学の入学試験に合格するAIを開発することを目的としている。
- 📝 トーダイロボットはリモートサーバーで動作し、17世紀の海上貿易に関する600語の論文を書いている。
- 📚 現代のAIは「事実型質問」に特化しており、WatsonやSiri、トーダイロボットもこれに応じて最適化されている。
- 🔍 AIは読むことができないが、キーワードを検索し、それらを最適化して答えを得る能力がある。
- 📉 トーダイロボットは歴史の是非質問に答えることで、統計的に正しい答えを得ることができる。
- 📝 トーダイロボットは600語の論文を書くことができ、多くの学生よりも良い成績を得ている。
- 🔢 自動数学問題解決システムは、自然言語で書かれた問題を機械が読める形式に変換し、解答する。
- 🎓 トーダイロボットは数学の第二段階の試験でトップ1%にランクインしたが、トーダイに合格はできなかった。
- 🤔 AIは意味を理解しないまま、多くの学生を上回る成績を出すことができるが、これは教育者にとって警鐘である。
- 👨🏫 教育の革命が急務であり、学生がAIよりも人間が得意とすることを学ぶ方法を見つける必要がある。
Q & A
AIが人間に代わって働くとされる職種について、講演者はどのような立場を示していますか?
-講演者は、AIが単に低級な仕事に取って代わることはないと、人間が持つ専門知識や教育を通じて得るスキルをAIは習得できないと主張しています。
講演で「Singularity」とは何を指していますか?
-「Singularity」とは人工知能が人間の知性を超える時点を指しており、講演ではAIがトップ大学の入学試験に合格するかどうかという議論の中で触れられています。
Todai Robot Projectとはどのようなプロジェクトですか?
-Todai Robot Projectは、東京大学の入学試験に合格するAIを開発するプロジェクトであり、そのAIはリモートサーバーで動作しています。
AIが現代の「Jeopardy!」チャレンジをどのように対応しているか説明してください。
-現代のAIは、「Jeopardy!」のような特定の質問形式に対して、キーワードを検索し、それらと共起する単語を探して答えを導き出しますが、実際には読み取ることはありません。
Todai Robotは歴史の是非質問にどのように答えていますか?
-Todai Robotは、自身で事実問題を生成し、検索と最適化を通じて答えを得ていますが、実際には読み取る能力はなく、統計的に正しい答えを得ることが多いです。
Todai Robotが書く600字の論文はどのように作成されていますか?
-Todai Robotは教科書やWikipediaから文章を取得し、それらを組み合わせて最適化して論文を作成していますが、実際には理解を超越していません。
AIが数学の問題を解くために必要なステップは何ですか?
-AIは数学の問題を解くために、自然言語で書かれた問題を機械が読める形式の公式に変換し、シンボリックコンピュテーションを実行し、答えを導き出します。
Todai Robotは数学の第二段階の書式試験でどのような成績を獲得しましたか?
-Todai Robotは数学の第二段階の書式試験でトップ1%の成績を獲得しましたが、東京大学に合格することはありませんでした。
Todai Robotが英語のテストで誤った答えを選んだ例は何ですか?
-Todai Robotは会話の文脈を理解せず、深層学習技術を使って15億の英語文章を学んだにもかかわらず、誤った答えを選んでしまいました。
講演者は教育革命が必要であると主張する理由は何ですか?
-講演者は、AIが単に知識を記憶するのと同じように動作し、人間が理解できることをAIはできないため、教育革命が必要なと主張しています。
講演者が教育における重要な変化として指摘していることは何ですか?
-講演者は、教育において知識の暗記から意味への理解へのシフトが求められると指摘しています。
Outlines
🤖 AIの挑戦と人間の教育
この段落では、AIが人間の仕事に取って代わる可能性と、新しい職業を生み出すという考え方について議論しています。特に、AIが東京大学の入学試験に合格する可能性について尋ね、多くの人が肯定的な答えを示したことから、AIの能力についての人々の認識が示されています。さらに、Todai Robot Projectの紹介と、そのAIがどのようにして歴史の事実関係の質問や600字の論文を生成するのかが説明されています。AIは現代の技術を駆使して検索と最適化を行い、人間のように教育を受けることなく特定のスキルを獲得しようとしています。
📚 AIの試験勉強と人間教育の現状
この段落では、Todai Robotが歴史の事実関係の質問や数学問題を解く方法について詳しく説明されています。AIは統計的手法を用いて答えを導き出し、実際には理解を超えた答えを得ることができています。しかし、AIは意味を理解せず、単に事実を羅列するだけであることが強調されています。また、AIが入学試験に合格しない理由として、意味を理解しないことが挙げられています。さらに、教育における問題として、多くの学生が教科書の知識を理解せずに単に暗記している現状が指摘されています。
🚀 教育の変革とAIとの共存
最後の段落では、AIが学生を上回る点数を得たことから、教育における深刻な問題があることを示唆しています。講演者は、教育における急激な変革の必要性を主張し、学生が意味を理解することの重要性を強調しています。AIは知識を単に蓄積するのではなく、人間のように意味を理解する能力を持たなければならないと述べています。教育者たちは、知識から意味へのシフトを促す新しい教育方法を模索する必要があると結び付けています。
Mindmap
Keywords
💡AI
💡東大ロボットプロジェクト
💡機械学習
💡事実問題(factoid questions)
💡符号計算
💡理解
💡教育革命
💡暗記
💡知識
💡意味
Highlights
AI研究人员曾表示,机器只会取代低技能工作,人类无需担心。
AI将创造新工作,失业者将找到新工作机会。
AI的学习能力可能超越大多数人类,引发对未来就业的担忧。
提出问题:到2020年,AI能否通过顶尖大学的入学考试?
介绍了东京大学机器人项目,旨在通过东京大学的入学考试。
机器人的大脑在远程服务器上工作,正在撰写关于17世纪海上贸易的600字文章。
东京大学的入学考试包括全国标准化测试和第二阶段的书面测试。
现代AI的工作方式示例,以“Jeopardy!”挑战为例。
AI通过搜索和优化关键词来回答问题,而不是阅读和理解。
东京大学机器人在回答历史是非题时的策略。
机器人如何撰写600字的论文,尽管它不理解内容。
机器人在数学问题解答方面的能力,包括自然语言到机器可读公式的转换。
机器人在数学书面考试中的表现,位于前1%。
尽管机器人在多项测试中表现优异,但未能进入东京大学,因为它不理解任何含义。
机器人在英语测试中的错误示例,尽管学习了大量英语句子。
对现代AI的理解:它们不阅读,不理解,只是伪装成这样做。
机器人在考试中的分布图,位于前20%,但未能进入东京大学。
对教育的反思:我们需要一场教育革命,帮助孩子们做人类比AI更擅长的事情。
呼吁教育从知识记忆转向理解意义。
Transcripts
Today, I'm going to talk about AI and us.
AI researchers have always said
that we humans do not need to worry,
because only menial jobs will be taken over by machines.
Is that really true?
They have also said that AI will create new jobs,
so those who lose their jobs will find a new one.
Of course.
But the real question is:
How many of those who may lose their jobs to AI
will be able to land a new one,
especially when AI is smart enough to learn better than most of us?
Let me ask you a question:
How many of you think
that AI will pass the entrance examination of a top university by 2020?
Oh, so many. OK.
So some of you may say, "Of course, yes!"
Now singularity is the issue.
And some others may say, "Maybe,
because AI already won against a top Go player."
And others may say, "No, never. Uh-uh."
That means we do not know the answer yet, right?
So that was the reason why I started Todai Robot Project,
making an AI which passes the entrance examination
of the University of Tokyo,
the top university in Japan.
This is our Todai Robot.
And, of course, the brain of the robot is working in the remote server.
It is now writing a 600-word essay
on maritime trade in the 17th century.
How does that sound?
Why did I take the entrance exam as its benchmark?
Because I thought we had to study the performance of AI
in comparison to humans,
especially on the skills and expertise
which are believed to be acquired only by humans
and only through education.
To enter Todai, the University of Tokyo,
you have to pass two different types of exams.
The first one is a national standardized test
in multiple-choice style.
You have to take seven subjects
and achieve a high score --
I would say like an 85 percent or more accuracy rate --
to be allowed to take the second stage written test
prepared by Todai.
So let me first explain how modern AI works,
taking the "Jeopardy!" challenge as an example.
Here is a typical "Jeopardy!" question:
"Mozart's last symphony shares its name with this planet."
Interestingly, a "Jeopardy!" question always asks,
always ends with "this" something:
"this" planet, "this" country,
"this" rock musician, and so on.
In other words, "Jeopardy!" doesn't ask many different types of questions,
but a single type,
which we call "factoid questions."
By the way, do you know the answer?
If you do not know the answer and if you want to know the answer,
what would you do?
You Google, right? Of course.
Why not?
But you have to pick appropriate keywords
like "Mozart," "last" and "symphony" to search.
The machine basically does the same.
Then this Wikipedia page will be ranked top.
Then the machine reads the page.
No, uh-uh.
Unfortunately, none of the modern AIs,
including Watson, Siri and Todai Robot,
is able to read.
But they are very good at searching and optimizing.
It will recognize
that the keywords "Mozart," "last" and "symphony"
are appearing heavily around here.
So if it can find a word which is a planet
and which is co-occurring with these keywords,
that must be the answer.
This is how Watson finds the answer "Jupiter," in this case.
Our Todai Robot works similarly, but a bit smarter
in answering history yes-no questions,
like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?"
Our robot starts producing a factoid question,
like: "Charlemagne repelled [this person type]" by itself.
Then, "Avars" but not "Magyars" is ranked top.
This sentence is likely to be false.
Our robot does not read, does not understand,
but it is statistically correct in many cases.
For the second stage written test,
it is required to write a 600-word essay like this one:
[Discuss the rise and fall of the maritime trade
in East and Southeast Asia in the 17th century ...]
and as I have shown earlier,
our robot took the sentences from the textbooks and Wikipedia,
combined them together,
and optimized it to produce an essay
without understanding a thing.
(Laughter)
But surprisingly, it wrote a better essay
than most of the students.
(Laughter)
How about mathematics?
A fully automatic math-solving machine
has been a dream
since the birth of the word "artificial intelligence,"
but it has stayed at the level of arithmetic for a long, long time.
Last year, we finally succeeded in developing a system
which solved pre-university-level problems from end to end,
like this one.
This is the original problem written in Japanese,
and we had to teach it 2,000 mathematical axioms
and 8,000 Japanese words
to make it accept the problems written in natural language.
And it is now translating the original problems
into machine-readable formulas.
Weird, but it is now ready to solve it, I think.
Go and solve it.
Yes! It is now executing symbolic computation.
Even more weird,
but probably this is the most fun part for the machine.
(Laughter)
Now it outputs a perfect answer,
though its proof is impossible to read, even for mathematicians.
Anyway, last year our robot was among the top one percent
in the second stage written exam in mathematics.
(Applause)
Thank you.
So, did it enter Todai?
No, not as I expected.
Why?
Because it doesn't understand any meaning.
Let me show you a typical error it made in the English test.
[Nate: We're almost at the bookstore. Just a few more minutes.
Sunil: Wait. ______ . Nate: Thank you! That always happens ...]
Two people are talking.
For us, who can understand the situation --
[1. "We walked for a long time." 2. "We're almost there."
3. "Your shoes look expensive." 4. "Your shoelace is untied."]
it is obvious number four is the correct answer, right?
But Todai Robot chose number two,
even after learning 15 billion English sentences
using deep learning technologies.
OK, so now you might understand what I said:
modern AIs do not read,
do not understand.
They only disguise as if they do.
This is the distribution graph
of half a million students who took the same exam as Todai Robot.
Now our Todai Robot is among the top 20 percent,
and it was capable to pass
more than 60 percent of the universities in Japan --
but not Todai.
But see how it is beyond the volume zone
of to-be white-collar workers.
You might think I was delighted.
After all, my robot was surpassing students everywhere.
Instead, I was alarmed.
How on earth could this unintelligent machine outperform students --
our children?
Right?
I decided to investigate what was going on in the human world.
I took hundreds of sentences from high school textbooks
and made easy multiple-choice quizzes,
and asked thousands of high school students to answer.
Here is an example:
[Buddhism spread to ... , Christianity to ... and Oceania,
and Islam to ...]
Of course, the original problems are written in Japanese,
their mother tongue.
[ ______ has spread to Oceania.
1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]
Obviously, Christianity is the answer, isn't it?
It's written!
And Todai Robot chose the correct answer, too.
But one-third of junior high school students
failed to answer this question.
Do you think it is only the case in Japan?
I do not think so,
because Japan is always ranked among the top in OECD PISA tests,
measuring 15-year-old students' performance in mathematics,
science and reading
every three years.
We have been believing
that everybody can learn
and learn well,
as long as we provide good learning materials
free on the web
so that they can access through the internet.
But such wonderful materials may benefit only those who can read well,
and the percentage of those who can read well
may be much less than we expected.
How we humans will coexist with AI
is something we have to think about carefully,
based on solid evidence.
At the same time, we have to think in a hurry
because time is running out.
Thank you.
(Applause)
Chris Anderson: Noriko, thank you.
Noriko Arai: Thank you.
CA: In your talk, you so beautifully give us a sense of how AIs think,
what they can do amazingly
and what they can't do.
But -- do I read you right,
that you think we really need quite an urgent revolution in education
to help kids do the things that humans can do better than AIs?
NA: Yes, yes, yes.
Because we humans can understand the meaning.
That is something which is very, very lacking in AI.
But most of the students just pack the knowledge
without understanding the meaning of the knowledge,
so that is not knowledge, that is just memorizing,
and AI can do the same thing.
So we have to think about a new type of education.
CA: A shift from knowledge, rote knowledge, to meaning.
NA: Mm-hmm.
CA: Well, there's a challenge for the educators. Thank you so much.
NA: Thank you very much. Thank you.
(Applause)
5.0 / 5 (0 votes)