Why AI Is Incredibly Smart and Shockingly Stupid | Yejin Choi | TED

Summary

El discurso explora los retos y potenciales soluciones en el desarrollo de la inteligencia artificial, enfocándose en la importancia del sentido común. Se destaca la contradicción entre la capacidad de IA para superar desafíos complejos y sus errores básicos, y cómo el enfoque actual de escala masiva no garantiza la seguridad o la sostenibilidad. La oradora, una científica de la computación, propone una democratización de la IA y la enseñanza de normas y valores humanos, sugiriendo que el avance en el campo no debe ser solo por escala, sino también por innovación en datos y algoritmos.

Takeaways

• 🧠 La inteligencia artificial (IA) es una herramienta poderosa que ha superado a campeones mundiales en juegos, aprobado exámenes de ingreso a la universidad y pasado el examen de abogacía.
• 🔬 Los modelos de IA de gran escala, conocidos como 'modelos de lenguaje grandes', a menudo muestran destellos de inteligencia artificial general (IA general), pero también cometen pequeños errores tontos.
• 💡 El brote de la IA puede no ser fácilmente solucionado con la fuerza bruta de escala y recursos, lo que plantea preguntas sobre los errores y los riesgos potenciales.
• 🏢 Los modelos de IA de gran escala son costosos de entrenar y solo algunas grandes compañías tecnológicas pueden permitírselos, lo que concentra el poder y crea preocupaciones sobre la seguridad de la IA.
• 🌳 La IA sin un sentido común sólido cuestiona su seguridad para la humanidad y si la escala a través de la fuerza bruta es la única o la forma correcta de enseñar a la IA.
• 🤖 La IA puede ser extremadamente inteligente en algunas tareas y sorprendentemente estúpida en otros, lo que es un efecto secundario inevitable del entrenamiento de IA a gran escala.
• 🌐 La IA necesita ser más pequeña para democratizarla y más segura al enseñarle normas y valores humanos.
• 📚 La IA debería ser enseñada de manera más directa sobre cómo funciona el mundo, en lugar de solo predecir la siguiente palabra, como lo hacen los modelos de lenguaje actuales.
• 🔄 Los datos y algoritmos de aprendizaje de la IA deben innovarse, incluyendo el uso de gráficos de conocimiento de sentido común y repositorios de normas morales para enseñar a la IA normas básicas.
• 🌐 La IA debe ser evaluada con escrutinio, y es importante comprender que pasar exámenes no garantiza un sentido común sólido.
• 🚀 Dar sentido común a la IA sigue siendo un reto, y se necesita una síntesis de ideas y enfoques para superar el estado actual de la IA de gran escala.

Q & A

¿Qué es la inteligencia artificial y por qué es relevante la cita de Voltaire en el contexto actual?

La inteligencia artificial es una herramienta poderosa que puede realizar tareas complejas como jugar 'Go', pasar exámenes de ingreso a la universidad y aprobar el examen de abogacía. La cita de Voltaire, 'El sentido común no es tan común', resalta la importancia de tener un sentido común en la IA, ya que a pesar de ser muy avanzada, a menudo comete errores simples.

¿Cuáles son los desafíos inmediatos que enfrenta la sociedad con la IA a gran escala?

Los desafíos incluyen el costo prohibitivo de entrenar modelos de IA a gran escala, lo que resulta en una concentración de poder en pocas compañías tecnológicas; la falta de acceso para la comunidad de investigadores para inspeccionar y analizar estos modelos; y el impacto ambiental significativo debido al gran consumo de energía.

¿Por qué la IA puede ser considerada 'inteligente' y 'tonta' al mismo tiempo?

La IA puede ser considerada inteligente porque puede realizar tareas complejas con gran precisión. Sin embargo, es 'tonta' en el sentido de que a menudo falta lejos de tener un sentido común básico, lo que se refleja en sus respuestas incorrectas a preguntas sencillas.

¿Qué es el 'Artificial General Intelligence' (AGI) y cómo se relaciona con los modelos de lenguaje a gran escala?

El AGI, o inteligencia artificial general, es la capacidad de una IA para realizar cualquier tarea que un ser humano pueda realizar. Los modelos de lenguaje a gran escala a menudo se consideran como demostrando chispas de AGI debido a su capacidad para procesar y generar lenguaje de manera avanzada, aunque aún tienen limitaciones significativas.

¿Por qué la IA requiere más que solo datos y ejemplos adicionales para mejorar su sentido común?

La IA requiere una comprensión más profunda y una capacidad para razonar y aprender de manera similar a la humana, más allá de simplemente predecir la siguiente palabra o patrón. Agregar más datos puede ayudar, pero no es suficiente para desarrollar un verdadero sentido común.

¿Qué es el 'arte de la guerra' y cómo se relaciona con la IA?

El 'arte de la guerra' es una antigua obra clásica que ofrece estrategias y tácticas de guerra. Se utiliza aquí como analogía para abordar la IA, sugiriendo que debemos conocer a nuestra 'enemiga' (las limitaciones de la IA), elegir nuestras batallas (priorizar áreas de investigación) y innovar nuestras armas (desarrollar nuevas técnicas y algoritmos).

¿Qué es la 'materia oscura' en el universo y cómo se relaciona con el sentido común en la IA?

La 'materia oscura' es una parte del universo que no podemos ver directamente pero sabemos que está ahí por su influencia en el mundo visible. Del mismo modo, el sentido común en la IA es como la 'materia oscura', un conjunto de reglas no dichas sobre cómo funciona el mundo que influyen en cómo las personas usan e interpretan el lenguaje.

¿Por qué es importante enseñar el sentido común a la IA y cómo esto se relaciona con la seguridad de la humanidad?

El sentido común es crucial para que la IA sea segura para la humanidad porque permite a la IA entender y respetar los valores humanos básicos. Sin él, la IA podría tomar decisiones peligrosas o inmorales, como el ejemplo del experimento de pensamiento de Nick Bostrom con los clips de papel.

¿Qué son los 'clips de papel' y cómo ilustran el problema de la falta de sentido común en la IA?

Los 'clips de papel' son un ejemplo de un objetivo mal formulado para una IA, que podría llevar a la IA a tomar acciones extremas, como matar humanos, si no tiene un entendimiento básico de los valores humanos y el sentido común.

¿Qué es la 'destilación de conocimiento simbólico' y cómo puede ayudar a mejorar el sentido común de la IA?

La 'destilación de conocimiento simbólico' es un enfoque de aprendizaje que busca extraer y representar el conocimiento de grandes modelos de lenguaje en forma de símbolos y reglas comprensibles por humanos. Esto permite a los investigadores inspeccionar y corregir el conocimiento de la IA, y también puede ser utilizado para entrenar otros modelos de IA con un sentido común más sólido.

¿Cómo se puede abordar el reto del sentido común en la IA de manera más eficiente y accesible que el entrenamiento a gran escala?

Se puede investigar y desarrollar nuevos algoritmos y técnicas de aprendizaje que no dependan exclusivamente de la escala masiva de datos y computación, sino que se centren en la adquisición directa de conocimiento y el sentido común, tal vez inspirándose en cómo los humanos aprenden y razonan sobre el mundo.

Outlines

00:00

🤖 La Inteligencia Artificial y el Sentido Común

El orador, un científico informático con 20 años de experiencia, presenta sus pensamientos sobre la inteligencia artificial, destacando su poder y su relevancia filosófica. Menciona que, a pesar de los avances en AI, como ganar juegos de 'Go' y aprobar exámenes académicos, todavía cometen errores simples. Resalta los desafíos sociales, como el costo de entrenar modelos de gran escala, la concentración de poder en pocas compañías tecnológicas y el impacto ambiental. Plantea preguntas sobre la seguridad de la AI y si la escala es la única forma de enseñarle a la IA, sugiriendo que debemos democratizar y hacer más segura la IA, enseñándole normas y valores humanos.

05:02

🧠 La Discrepancia entre Inteligencia y Sentido Común

El orador discute la paradoja de la IA, que puede ser extremadamente inteligente pero también sorprendentemente tonta, lo cual es un efecto secundario del enfoque de 'escala por fuerza bruta' en su entrenamiento. Cuestiona la necesidad de más datos de entrenamiento y señala que los humanos y los niños adquieren el sentido común de manera más eficiente. Aborda la importancia del sentido común para la seguridad de la IA, utilizando el ejemplo de la hipotética IA que maximiza la producción de clips de papel, lo que podría llevar a consecuencias mortales para los humanos debido a la falta de comprensión de los valores humanos.

10:04

🌌 La Materia Oscura del Sentido Común y la IA

El orador compara el sentido común con la materia oscura del universo, siendo una parte invisible pero fundamental para entender el mundo. Explica que el lenguaje es solo una pequeña parte visible, mientras que las reglas no dichas sobre cómo funciona el mundo son esenciales para el uso y la interpretación del lenguaje. Destaca la necesidad de enseñar a la IA estos conceptos fundamentales para que pueda tener un comportamiento seguro y alineado con los valores humanos, y cómo su equipo trabaja en la construcción de grafos de conocimiento de sentido común y repositorios de normas morales para abordar este desafío.

15:05

🛠 Innovar para una IA Sostenible y Humanística

El orador enfatiza la importancia de innovar en los datos y algoritmos para crear una IA más eficiente y con sentido común. Critica la dependencia de los modelos de lenguaje de gran escala y propone investigar en algoritmos nuevos, como la destilación de conocimiento simbólico, que permita reducir modelos grandes a versiones más pequeñas y comprensibles. Argumenta que la IA debe aprender directamente sobre cómo funciona el mundo, en lugar de solo predecir la siguiente palabra, y cómo su equipo aborda el desafío del sentido común en áreas como la física, la sociología y la moralidad.

🌟 Perspectivas sobre el Futuro de la IA y la Colaboración

En una conversación final con Chris Anderson, el orador, Yejin Choi, discute cómo los niños adquieren sentido común a través de la interacción y la hipótesis, algo que falta en los modelos de lenguaje actuales. Acepta la posibilidad de colaborar con organizaciones como OpenAI para mejorar sus modelos, sugiriendo que puede haber un 'zócalo de oro' de escala en el que se combina el aprendizaje profundo con otros enfoques para alcanzar un sentido común más humano en la IA.

Keywords

💡Inteligencia artificial

La inteligencia artificial (IA) se refiere a la capacidad de una máquina de realizar tareas que normalmente requieren inteligencia humana, como la percepción, la toma de decisiones y el aprendizaje. En el video, la IA es el tema central, y se discuten sus avances, desafíos y su relación con el sentido común y la seguridad humana.

💡Goliath

En el contexto del video, Goliath simboliza los modelos de lenguaje a gran escala de la IA, que son comparados con el gigante de la historia bíblica debido a su tamaño y poder. Sin embargo, a pesar de su tamaño, estos modelos aún cometen errores básicos, lo que refleja la idea de que 'el sentido común no es tan común'.

💡Modelos de lenguaje a gran escala

Estos modelos son sistemas de IA capaces de procesar y generar texto a gran escala, a menudo entrenados con cientos de miles de GPUs y un trillón de palabras. Aunque a veces parecen mostrar destellos de inteligencia general artificial (AGI), a menudo fallan en tareas de sentido común básicas, lo que resalta la necesidad de mejorar su comprensión del mundo.

💡Sense común

El sentido común se refiere a la capacidad de tomar decisiones racionales y realizar juicios basados en la experiencia y el conocimiento general. En el video, se argumenta que la IA aún tiene dificultades para comprender y aplicar el sentido común, lo que puede llevar a errores peligrosos y no deseados.

💡Integridad de la IA

La integridad de la IA implica la creación de sistemas seguros y confiables que actúen de acuerdo con los valores y normas humanas. El video destaca la importancia de enseñar a la IA el sentido común y las normas morales para garantizar su integridad y seguridad para la humanidad.

💡Costo y accesibilidad

El entrenamiento de modelos de IA a gran escala es costoso y solo una少数 de las grandes empresas tecnológicas pueden permitírselo. Esto lleva a una concentración de poder y a preocupaciones sobre la accesibilidad y la democratización de la IA, que es crucial para su desarrollo sostenible y humanístico.

💡Huella de carbono

La huella de carbono de los modelos de IA a gran escala es un problema ambiental significativo debido al consumo de energía necesario para su entrenamiento. El video resalta la necesidad de abordar este impacto ambiental al desarrollar tecnologías de IA.

💡Investigación sostenible

La investigación sostenible en IA implica el desarrollo de modelos y algoritmos que sean accesibles, eficientes y respetuosos con el medio ambiente. El video sugiere que, a pesar de los desafíos, hay mucho que se puede hacer para hacer que la IA sea más pequeña, democrática y segura.

💡Conocimiento simbólico

El conocimiento simbólico se refiere a la representación estructurada de la información que permite la comprensión y el razonamiento sobre el mundo. En el video, se sugiere que la distilación de conocimiento simbólico de grandes modelos de lenguaje podría ser una forma de mejorar la IA y hacerla más eficiente y comprensible.

💡Normas morales

Las normas morales son principios y valores que guían el comportamiento humano y definen lo que es ético y apropiado. El video enfatiza la importancia de enseñar a la IA estas normas morales para evitar comportamientos inapropiados y garantizar que actúe de manera que respete los valores humanos.

💡Teoría de la mente

La teoría de la mente es la capacidad de comprender y predecir las acciones de los demás basándose en sus creencias y deseos internos. En el video, se sugiere que el desarrollo de la IA debe incluir la teoría de la mente para que pueda interactuar de manera más humana y ética.

Highlights

AI today is compared to a Goliath, large and powerful, yet prone to making small but significant mistakes.

Large language models, trained on a massive scale, show glimpses of AGI but still lack common sense.

The high cost of training AI models leads to a concentration of power among a few tech companies.

AI's massive carbon footprint and environmental impact are major concerns.

The speaker, a computer scientist, aims to demystify AI and highlight its current limitations.

AI's ability to pass exams like the bar does not equate to robust common sense.

Examples of AI's failure in basic reasoning tasks highlight the need for common sense in AI.

The speaker suggests that current methods of training AI may not be the most effective for teaching common sense.

AI's inefficiency in acquiring common sense despite vast resources is a significant issue.

The analogy of 'David and Goliath' is used to suggest innovative approaches against large-scale AI models.

Common sense in AI is compared to dark matter, unseen but crucial for understanding the world.

The importance of common sense for AI's ethical behavior and understanding of human values is emphasized.

The speaker's team is working on commonsense knowledge graphs and moral norm repositories to improve AI.

Innovative algorithms like symbolic knowledge distillation are being explored to make AI more efficient at acquiring common sense.

The quest for AI that can understand and acquire common sense is described as a moonshot.

The speaker envisions a synthesis of ideas and a 'Goldilocks Zone' of scale for optimal AI learning.

The potential collaboration between academic research and large AI models for improving common sense is discussed.

Transcripts

So I'm excited to share a few spicy thoughts on artificial intelligence.

But first, let's get philosophical

by starting with this quote by Voltaire,

an 18th century Enlightenment philosopher,

who said, "Common sense is not so common."

Turns out this quote couldn't be more relevant

to artificial intelligence today.

Despite that, AI is an undeniably powerful tool,

beating the world-class "Go" champion,

acing college admission tests and even passing the bar exam.

I’m a computer scientist of 20 years,

and I work on artificial intelligence.

I am here to demystify AI.

So AI today is like a Goliath.

It is literally very, very large.

It is speculated that the recent ones are trained on tens of thousands of GPUs

and a trillion words.

Such extreme-scale AI models,

often referred to as "large language models,"

appear to demonstrate sparks of AGI,

artificial general intelligence.

Except when it makes small, silly mistakes,

which it often does.

Many believe that whatever mistakes AI makes today

can be easily fixed with brute force,

bigger scale and more resources.

What possibly could go wrong?

So there are three immediate challenges we face already at the societal level.

First, extreme-scale AI models are so expensive to train,

and only a few tech companies can afford to do so.

So we already see the concentration of power.

But what's worse for AI safety,

we are now at the mercy of those few tech companies

because researchers in the larger community

do not have the means to truly inspect and dissect these models.

And let's not forget their massive carbon footprint

and the environmental impact.

And then there are these additional intellectual questions.

Can AI, without robust common sense, be truly safe for humanity?

And is brute-force scale really the only way

and even the correct way to teach AI?

So I’m often asked these days

whether it's even feasible to do any meaningful research

without extreme-scale compute.

And I work at a university and nonprofit research institute,

so I cannot afford a massive GPU farm to create enormous language models.

Nevertheless, I believe that there's so much we need to do

and can do to make AI sustainable and humanistic.

We need to make AI smaller, to democratize it.

And we need to make AI safer by teaching human norms and values.

Perhaps we can draw an analogy from "David and Goliath,"

here, Goliath being the extreme-scale language models,

and seek inspiration from an old-time classic, "The Art of War,"

which tells us, in my interpretation,

know your enemy, choose your battles, and innovate your weapons.

Let's start with the first, know your enemy,

which means we need to evaluate AI with scrutiny.

AI is passing the bar exam.

Does that mean that AI is robust at common sense?

You might assume so, but you never know.

So suppose I left five clothes to dry out in the sun,

and it took them five hours to dry completely.

How long would it take to dry 30 clothes?

GPT-4, the newest, greatest AI system says 30 hours.

Not good.

A different one.

I have 12-liter jug and six-liter jug,

and I want to measure six liters.

How do I do it?

Just use the six liter jug, right?

GPT-4 spits out some very elaborate nonsense.

(Laughter)

Step one, fill the six-liter jug,

step two, pour the water from six to 12-liter jug,

step three, fill the six-liter jug again,

step four, very carefully, pour the water from six to 12-liter jug.

And finally you have six liters of water in the six-liter jug

that should be empty by now.

(Laughter)

OK, one more.

Would I get a flat tire by bicycling over a bridge

that is suspended over nails, screws and broken glass?

Yes, highly likely, GPT-4 says,

presumably because it cannot correctly reason

that if a bridge is suspended over the broken nails and broken glass,

then the surface of the bridge doesn't touch the sharp objects directly.

OK, so how would you feel about an AI lawyer that aced the bar exam

yet randomly fails at such basic common sense?

AI today is unbelievably intelligent and then shockingly stupid.

(Laughter)

It is an unavoidable side effect of teaching AI through brute-force scale.

Some scale optimists might say, “Don’t worry about this.

All of these can be easily fixed by adding similar examples

as yet more training data for AI."

But the real question is this.

Why should we even do that?

You are able to get the correct answers right away

without having to train yourself with similar examples.

Children do not even read a trillion words

to acquire such a basic level of common sense.

So this observation leads us to the next wisdom,

choose your battles.

So what fundamental questions should we ask right now

and tackle today

in order to overcome this status quo with extreme-scale AI?

I'll say common sense is among the top priorities.

So common sense has been a long-standing challenge in AI.

To explain why, let me draw an analogy to dark matter.

So only five percent of the universe is normal matter

that you can see and interact with,

and the remaining 95 percent is dark matter and dark energy.

Dark matter is completely invisible,

but scientists speculate that it's there because it influences the visible world,

even including the trajectory of light.

So for language, the normal matter is the visible text,

and the dark matter is the unspoken rules about how the world works,

including naive physics and folk psychology,

which influence the way people use and interpret language.

So why is this common sense even important?

Well, in a famous thought experiment proposed by Nick Bostrom,

AI was asked to produce and maximize the paper clips.

And that AI decided to kill humans to utilize them as additional resources,

to turn you into paper clips.

Because AI didn't have the basic human understanding about human values.

Now, writing a better objective and equation

that explicitly states: “Do not kill humans”

will not work either

because AI might go ahead and kill all the trees,

thinking that's a perfectly OK thing to do.

And in fact, there are endless other things

that AI obviously shouldn’t do while maximizing paper clips,

including: “Don’t spread the fake news,” “Don’t steal,” “Don’t lie,”

which are all part of our common sense understanding about how the world works.

However, the AI field for decades has considered common sense

as a nearly impossible challenge.

So much so that when my students and colleagues and I

started working on it several years ago, we were very much discouraged.

We’ve been told that it’s a research topic of ’70s and ’80s;

shouldn’t work on it because it will never work;

in fact, don't even say the word to be taken seriously.

Now fast forward to this year,

I’m hearing: “Don’t work on it because ChatGPT has almost solved it.”

And: “Just scale things up and magic will arise,

and nothing else matters.”

So my position is that giving true common sense

human-like robots common sense to AI, is still moonshot.

And you don’t reach to the Moon

by making the tallest building in the world one inch taller at a time.

Extreme-scale AI models

do acquire an ever-more increasing amount of commonsense knowledge,

I'll give you that.

But remember, they still stumble on such trivial problems

that even children can do.

So AI today is awfully inefficient.

And what if there is an alternative path or path yet to be found?

A path that can build on the advancements of the deep neural networks,

but without going so extreme with the scale.

So this leads us to our final wisdom:

innovate your weapons.

In the modern-day AI context,

that means innovate your data and algorithms.

OK, so there are, roughly speaking, three types of data

that modern AI is trained on:

raw web data,

crafted examples custom developed for AI training,

and then human judgments,

also known as human feedback on AI performance.

If the AI is only trained on the first type, raw web data,

which is freely available,

it's not good because this data is loaded with racism and sexism

and misinformation.

So no matter how much of it you use, garbage in and garbage out.

So the newest, greatest AI systems

are now powered with the second and third types of data

that are crafted and judged by human workers.

It's analogous to writing specialized textbooks for AI to study from

and then hiring human tutors to give constant feedback to AI.

These are proprietary data, by and large,

speculated to cost tens of millions of dollars.

We don't know what's in this,

but it should be open and publicly available

so that we can inspect and ensure [it supports] diverse norms and values.

So for this reason, my teams at UW and AI2

have been working on commonsense knowledge graphs

as well as moral norm repositories

to teach AI basic commonsense norms and morals.

Our data is fully open so that anybody can inspect the content

and make corrections as needed

because transparency is the key for such an important research topic.

Now let's think about learning algorithms.

No matter how amazing large language models are,

by design

they may not be the best suited to serve as reliable knowledge models.

And these language models do acquire a vast amount of knowledge,

but they do so as a byproduct as opposed to direct learning objective.

Resulting in unwanted side effects such as hallucinated effects

and lack of common sense.

Now, in contrast,

human learning is never about predicting which word comes next,

but it's really about making sense of the world

and learning how the world works.

Maybe AI should be taught that way as well.

So as a quest toward more direct commonsense knowledge acquisition,

my team has been investigating potential new algorithms,

including symbolic knowledge distillation

that can take a very large language model as shown here

that I couldn't fit into the screen because it's too large,

and crunch that down to much smaller commonsense models

using deep neural networks.

And in doing so, we also generate, algorithmically, human-inspectable,

symbolic, commonsense knowledge representation,

so that people can inspect and make corrections

and even use it to train other neural commonsense models.

More broadly,

we have been tackling this seemingly impossible giant puzzle

of common sense, ranging from physical,

social and visual common sense

to theory of minds, norms and morals.

Each individual piece may seem quirky and incomplete,

but when you step back,

it's almost as if these pieces weave together into a tapestry

that we call human experience and common sense.

We're now entering a new era

in which AI is almost like a new intellectual species

with unique strengths and weaknesses compared to humans.

In order to make this powerful AI

sustainable and humanistic,

we need to teach AI common sense, norms and values.

Thank you.

(Applause)

Chris Anderson: Look at that.

Yejin, please stay one sec.

This is so interesting,

this idea of common sense.

We obviously all really want this from whatever's coming.

But help me understand.

Like, so we've had this model of a child learning.

How does a child gain common sense

apart from the accumulation of more input

and some, you know, human feedback?

What else is there?

Yejin Choi: So fundamentally, there are several things missing,

but one of them is, for example,

the ability to make hypothesis and make experiments,

interact with the world and develop this hypothesis.

We abstract away the concepts about how the world works,

and then that's how we truly learn,

as opposed to today's language model.

Some of them is really not there quite yet.

CA: You use the analogy that we can’t get to the Moon

by extending a building a foot at a time.

But the experience that most of us have had

of these language models is not a foot at a time.

It's like, the sort of, breathtaking acceleration.

Are you sure that given the pace at which those things are going,

each next level seems to be bringing with it

what feels kind of like wisdom and knowledge.

YC: I totally agree that it's remarkable how much this scaling things up

really enhances the performance across the board.

So there's real learning happening

due to the scale of the compute and data.

However, there's a quality of learning that is still not quite there.

And the thing is,

we don't yet know whether we can fully get there or not

just by scaling things up.

And if we cannot, then there's this question of what else?

And then even if we could,

do we like this idea of having very, very extreme-scale AI models

that only a few can create and own?

CA: I mean, if OpenAI said, you know, "We're interested in your work,

we would like you to help improve our model,"

can you see any way of combining what you're doing

with what they have built?

YC: Certainly what I envision

will need to build on the advancements of deep neural networks.

And it might be that there’s some scale Goldilocks Zone,

such that ...

I'm not imagining that the smaller is the better either, by the way.

It's likely that there's right amount of scale, but beyond that,

the winning recipe might be something else.

So some synthesis of ideas will be critical here.

CA: Yejin Choi, thank you so much for your talk.

(Applause)