Neural Networks and Deep Learning: Crash Course AI #3

Summary

En este episodio de CrashCourse AI, se explica cómo los neuronales artificiales, que imitan las neuronas del cerebro humano, pueden resolver tareas complejas como el reconocimiento de imágenes. Se destaca la importancia de las capas ocultas y la belleza matemática de las redes neuronales, que han revolucionado la tecnología de aprendizaje automático. Se menciona el trabajo pionero de Fei-Fei Li y la creación de ImageNet, una gran base de datos de imágenes etiquetadas, y cómo AlexNet, una red neuronal con múltiples capas ocultas, cambió el juego en el reconocimiento de imágenes en el concurso anual de ImageNet en 2012. Además, se explora la arquitectura de las redes neuronales y cómo se utilizan para clasificar imágenes, resaltando la necesidad de computadoras rápidas para procesar la cantidad masiva de datos involucrados.

Takeaways

• 🧠 Los cerebros humanos toman decisiones con 100 mil millones de neuronas y trillones de conexiones entre ellas.
• 💡 Las redes neuronales están compuestas de capas ocultas que permiten mejorar la eficacia en tareas como el reconocimiento de imágenes.
• 🐶 La dificultad en el reconocimiento de imágenes reales por parte de las computadoras se debe a su capacidad limitada para comparaciones literales.
• 🌐 ImageNet es una gran base de datos de fotos etiquetada creada para ayudar a desarrollar AI en el reconocimiento de imágenes.
• 🏆 AlexNet, una red neuronal desarrollada por Alex Krizhevsky, logró un gran avance al ganar el concurso ImageNet en 2012.
• 📊 Las redes neuronales están formadas por una capa de entrada, capas ocultas y una capa de salida.
• 🔢 Cada neurona en la capa de entrada representa una característica o dato que se convierte en número.
• 👥 La etiquetadura de datos por humanos es crucial para el entrenamiento de las redes neuronales.
• 📊 Las capas ocultas combinan los datos recibidos para identificar componentes específicos dentro de los datos de entrada.
• 📉 Las capas ocultas pueden ser profundas y cada una puede estar entrenada para buscar componentes más complejos dentro de los datos.
• 🔑 La clave de las redes neuronales y del aprendizaje automático en general es la matemática, que permite realizar cálculos complejos para predecir resultados.

Q & A

¿Qué es un perceptrón y cómo se relaciona con las redes neuronales?

Un perceptrón es un programa que imita la función de un neurona biológica y es la base de las redes neuronales. Las redes neuronales son una colección de perceptrones conectados que permiten a la máquina aprender y hacer decisiones complejas, como el reconocimiento de imágenes.

¿Por qué son importantes las capas ocultas en las redes neuronales?

Las capas ocultas son esenciales en las redes neuronales porque permiten que la red aprenda y modele patrones complejos de datos. Estas capas ocultas son donde se realizan las combinaciones matemáticas y se extraen características abstractas que son fundamentales para el rendimiento de las redes en tareas como el reconocimiento de imágenes.

¿Qué fue el desafío principal en el reconocimiento de imágenes antes de la IA?

Antes de la IA, los ordenadores no podían realizar comparaciones literales más allá de la coincidencia de ceros y unos, lo que les dificultaba reconocer imágenes de objetos diferentes pero similares, como distintos perros o gatos.

¿Quién fue Fei-Fei Li y qué contribución realizó al campo de la IA?

Fei-Fei Li es una profesora y una investigadora líder en la IA y la visión por computadora. Su principal contribución fue la creación de ImageNet, una vasta base de datos de fotos etiquetadas que ha permitido a los científicos de todo el mundo desarrollar y probar diferentes algoritmos de reconocimiento de imágenes.

¿Qué innovaciones introdujo Alex Krizhevsky en su red neuronal llamada AlexNet?

Alex Krizhevsky innovó al utilizar muchas capas ocultas en su red neuronal, lo que permitió un aprendizaje más profundo, y también utilizó hardware de cómputo más rápido para manejar las complejas matemáticas que requiere la red neuronal.

¿Cómo se representan los datos en la capa de entrada de una red neuronal?

En la capa de entrada, los datos se representan como números. Cada neurona de entrada representa una característica única, que puede ser una cantidad numérica directa o una característica convertida en un número, como la frecuencia de una palabra en un texto o la luminosidad de un píxel en una imagen.

¿Qué es el papel de las neuronas en las capas ocultas de una red neuronal?

Las neuronas en las capas ocultas combinan matemáticamente los números que reciben de la capa de entrada. Su objetivo es medir si los datos de entrada tienen ciertas características o componentes, como colores, formas o texturas específicas.

¿Cómo se determina la respuesta final de una red neuronal en un problema de clasificación?

La capa de salida combina matemáticamente las salidas de la última capa oculta para determinar la respuesta final. Si se trata de una clasificación binaria, como determinar si una imagen es de un perro, un neurona de salida representa la probabilidad de esa respuesta. Para múltiples respuestas, se utilizan múltiples neuronas de salida, cada una correspondiente a la probabilidad de una etiqueta específica.

¿Por qué es importante la velocidad del hardware en el procesamiento de redes neuronales?

La velocidad del hardware es crucial porque cada píxel en una imagen color se representa con tres números, lo que significa que para procesar una imagen de 1000 por 1000 píxeles, una red neuronal necesita examinar 3 millones de características, lo que requiere una gran cantidad de cálculos matemáticos.

¿Cuál es el desafío al usar redes neuronales profundas con muchas capas ocultas?

Las redes neuronales profundas con muchas capas ocultas pueden combinar datos de maneras más complejas para resolver problemas más difíciles, pero a medida que se van profundizando, se vuelven más matemáticamente exigentes y difíciles de interpretar, lo que puede complicar la comprensión de por qué dan las respuestas que ofrecen.

Outlines

00:00

🤖 Introducción a las Redes Neuronales

Jabril nos presenta CrashCourse AI, donde explica que mientras un perceptrón imita un neurón, las redes neuronales artificiales son sistemas complejos que imitan el comportamiento del cerebro humano, conectando múltiples perceptrones. Estas redes son especialmente útiles en tareas como el reconocimiento de imágenes, gracias a sus capas ocultas y su diseño matemáticamente elegante. La dificultad histórica de la computadora para realizar comparaciones literales y el éxito de las redes neuronales en competencias de reconocimiento de imágenes, como la del conjunto de datos ImageNet, son mencionados como ejemplos de su utilidad y eficacia.

05:01

🐶 Reconocimiento de Imágenes y Redes Neuronales

Se profundiza en cómo las redes neuronales procesan la información para el reconocimiento de imágenes. Se describe la arquitectura de las redes neuronales, incluyendo capas de entrada, ocultas y salida, y cómo las neuronas en las capas ocultas buscan patrones específicos en los datos de entrada. Se ilustra con un ejemplo práctico cómo una red neuronal entrenada puede reconocer si una imagen contiene a un perro, utilizando la foto de un perro como ejemplo. Además, se discute la importancia de la potencia de procesamiento para manejar las complejidades matemáticas de las redes neuronales y se menciona la evolución hacia redes más profundas, conocidas como deep learning, que permiten abordar problemas más complejos.

10:03

🧠 Desafíos y Aplicaciones de las Redes Neuronales

Se aborda la complejidad de las redes neuronales profundas y sus desafíos, como la dificultad para comprender las razones detrás de sus decisiones y la necesidad de más potencia de cómputo. Se discute la importancia de entender cómo funcionan estas redes, especialmente en contextos donde influyen en decisiones importantes, como en el sistema financiero o la medicina. Se menciona el uso de redes neuronales en la detección de fraudes bancarias, la identificación de cáncer y en servicios de inteligencia artificial como Alexa y Facebook. Finalmente, se anuncia que en el próximo episodio se explorará el proceso de aprendizaje de las redes neuronales y la importancia de los datos para su entrenamiento.

Keywords

💡Perceptrón

Un perceptrón es un modelo de red neuronal artificial que imita el funcionamiento de un neurona biológico. Se utiliza para aprender y hacer predicciones a partir de datos de entrada. En el guion, se menciona que el perceptrón es la base de los neurales artificiales y que, al conectar varios perceptrones, se crean redes neuronales más complejas.

💡Redes neuronales artificiales

Son una extensión de los perceptrones que consisten en una serie de capas de neuronas artificiales conectadas. Estas redes son capaces de aprender y realizar tareas complejas, como el reconocimiento de imágenes. En el video, se destaca cómo las redes neuronales han revolucionado el campo de la inteligencia artificial, especialmente en áreas como el reconocimiento de imágenes.

💡Imagenet

Imagenet es una base de datos de imágenes etiquetadas creada por Fei-Fei Li y otros investigadores. Contiene millones de imágenes clasificadas en varias categorías y ha sido fundamental para el desarrollo de algoritmos de reconocimiento de imágenes. En el guion, se menciona cómo Imagenet desafió a los científicos a mejorar sus algoritmos de reconocimiento de imágenes.

💡AlexNet

AlexNet es una red neuronal desarrollada por Alex Krizhevsky que utilizó Imagenet para entrenarse y que marcó un hito en el reconocimiento de imágenes. Se destaca por su uso de múltiples capas ocultas y hardware de cómputo rápido. En el guion, AlexNet se presenta como un ejemplo de cómo las redes neuronales pueden superar a otros métodos en tareas específicas.

💡Capas ocultas

Las capas ocultas son una parte esencial de las redes neuronales que se encuentran entre la capa de entrada y la capa de salida. Estas capas son donde se procesan y se extraen características relevantes de los datos de entrada. En el video, se enfatiza cómo las capas ocultas son clave para el éxito de las redes neuronales en tareas de aprendizaje supervisado.

💡Aprendizaje supervisado

El aprendizaje supervisado es un tipo de aprendizaje automático donde el algoritmo aprende a predecir un resultado a partir de datos etiquetados. En el guion, se explica cómo el aprendizaje supervisado es fundamental para el funcionamiento de las redes neuronales, que aprenden a partir de ejemplos de datos etiquetados para realizar tareas como el reconocimiento de imágenes.

💡Características

Las características son atributos numéricos que representan datos de entrada en una red neuronal. Por ejemplo, en el reconocimiento de imágenes, las características podrían ser los valores de brillo de los píxeles. En el guion, se menciona cómo las características son fundamentales para que las redes neuronales puedan procesar y aprender de los datos.

💡Función de activación

Las funciones de activación son funciones matemáticas que limitan el valor de la salida de una neurona a un rango específico, como entre 0 y 1. Estas funciones son esenciales para controlar el flujo de información en las redes neuronales. Aunque no se menciona directamente en el guion, son un componente clave en el proceso de aprendizaje de las redes neuronales.

💡Detección de fraudes

La detección de fraudes es una aplicación práctica de las redes neuronales en el sector financiero. Se utilizan para identificar transacciones sospechosas y prevenir el fraude. En el guion, se menciona cómo las redes neuronales están siendo utilizadas en aplicaciones prácticas de nuestra vida diaria, como la detección de fraudes en bancos.

💡Derechos legales

Los derechos legales se refieren a la necesidad de que los sistemas de inteligencia artificial, como las redes neuronales, puedan ser explicables y justificables, especialmente cuando se utilizan para tomar decisiones importantes que afectan a las personas. En el guion, se discute la importancia de entender cómo funcionan los sistemas de IA para poder garantizar la transparencia y la responsabilidad en sus decisiones.

Highlights

Introducción a la inteligencia artificial (AI) y cómo se pueden conectar múltiples perceptrones para crear una red neuronal artificial.

Las redes neuronales son superiores a otros métodos en tareas específicas como el reconocimiento de imágenes.

La clave del éxito de las redes neuronales es su uso de capas ocultas y su elegancia matemática.

Los desafíos históricos de la IA en el reconocimiento de imágenes del mundo real, como distinguir entre un perro y un gato.

Creación de ImageNet, un dataset público de fotos etiquetadas para fomentar el desarrollo de AI en el reconocimiento de imágenes.

Alex Krizhevsky y su red neuronal AlexNet, que revolucionó el reconocimiento de imágenes en el concurso ImageNet 2012.

AlexNet utilizó múltiples capas ocultas y hardware de cómputo más rápido para manejar las matemáticas de las redes neuronales.

La arquitectura de las redes neuronales, compuesta de capas de entrada, salida y capas ocultas intermedias.

La representación de datos en la capa de entrada y cómo se convierten en números para ser procesados por la red neuronal.

La función de las capas ocultas en la combinación matemática de los datos para detectar patrones en la entrada.

Cómo la capa de salida utiliza la información de las capas ocultas para dar una respuesta al problema de clasificación.

La importancia de la matemática en las redes neuronales y cómo funciona un ejemplo simple de reconocimiento de imágenes.

La necesidad de computadoras rápidas para procesar las grandes cantidades de datos involucrados en las redes neuronales.

La tendencia hacia las redes neuronales más profundas, conocidas como deep learning, para resolver problemas más complejos.

Los desafíos de crear redes neuronales muy profundas debido a la complejidad y la dificultad de interpretar sus resultados.

Las aplicaciones prácticas de las redes neuronales en la toma de decisiones en la vida real, como en el fraude bancario y la detección de cáncer.

La importancia de comprender cómo funcionan las redes neuronales para ser un ser humano en el mundo actual.

Vista previa del contenido del próximo episodio, que abordará el proceso de aprendizaje de las redes neuronales y por qué requieren tanta data para funcionar adecuadamente.

Transcripts

Hi, I’m Jabril, and welcome to CrashCourse AI!

In the supervised learning episode, we taught John Green-bot to learn using a perceptron,

a program that imitates one neuron.

But our brains make decisions with 100 billion neurons, which have trillions of connections

between them!

We can actually do a lot more with AI if we connect a bunch of perceptrons together, to

create what’s called an artificial neural network.

Neural networks are better than other methods for certain tasks like, image recognition.

The secret to their success is their hidden layers, and they’re mathematically very

elegant.

Both of these reasons are why neural networks are one of the most dominant machine learning

technologies used today.

[INTRO]

Not that long ago, a big challenge in AI was real-world image recognition, like recognizing

a dog from a cat, and a car from a plane from a boat.

Even though we do it every day, it’s really hard for computers.

That’s because computers are good at literal comparisons, like matching 0s and 1s, one

at a time.

It’s easy for a computer to tell that these images are the same by matching the pixels.

But before AI, a computer couldn’t tell that these images are of the same dog, and

had no hope of telling that all of these different images are dogs.

So, a professor named Fei-Fei Li and a group of other machine learning and computer vision

researchers wanted to help the research community develop AI that could recognize images.

The first step was to create a huge public dataset of labeled real-world photos.

That way, computer scientists around the world could come up with and test different algorithms.

They called this dataset ImageNet.

It has 3.2 million labeled images, sorted into 5,247 nested categories of nouns.

Like for example, the “dog” label is nested under “domestic animal,” which is nested

under “animal.”

Humans are the best at reliably labeling data.

But if one person did all this labeling, taking 10 seconds per label, without any sleep or

snack breaks, it would take them over a year!

So ImageNet used crowd-sourcing and leveraged the power of the Internet to cheaply spread

the work between thousands of people.

Once the data was in place, the researchers started an annual competition in 2010 to get

people to contribute their best solutions to image recognition.

Enter Alex Krizhevsky, who was a graduate student at the University of Toronto.

In 2012, he decided to apply a neural network to ImageNet, even though similar solutions

hadn’t been successful in the past.

His neural network, called AlexNet, had a couple of innovations that set it apart.

He used a lot of hidden layers, which we’ll get to in a minute.

He also used faster computation hardware to handle all the math that neural networks do.

AlexNet outperformed the next best approaches by over 10%.

It only got 3 out of every 20 images wrong.

In grade terms, it was getting a solid B while other techniques were scraping by with a low

C.

Since 2012, neural network solutions have taken over the annual competition, and the

results keep getting better and better.

Plus, AlexNet sparked an explosion of research into neural networks, which we started to

apply to lots of things beyond image recognition.

To understand how neural networks can be used for these classification problems, we have

to understand their architecture first.

All neural networks are made up of an input layer, an output layer, and any number of

hidden layers in between.

There are many different arrangements but we’ll use the classic multi-layer perceptron

as an example.

The input layer is where the neural network receives data represented as numbers.

Each input neuron represents a single feature, which is some characteristic of the data.

Features are straightforward if you’re talking about something that’s already a number,

like grams of sugar in a donut.

But, really, just about anything can be converted to a number.

Sounds can be represented as the amplitudes of the sound wave.

So each feature would have a number that represents the amplitude at a moment in time.

Words in a paragraph can be represented by how many times each word appears.

So each feature would have the frequency of one word.

Or, if we’re trying to label an image of a dog, each feature would represent information

about a pixel.

So for a grayscale image, each feature would have a number representing how bright a pixel

is.

But for a color image, we can represent each pixel with three numbers: the amount of red,

green, and blue, which can be combined to make any color on your computer screen.

Once the features have data, each one sends its number to every neuron in the next layer,

called the hidden layer.

Then, each hidden layer neuron mathematically combines all the numbers it gets.

The goal is to measure whether the input data has certain components.

For an image recognition problem, these components may be a certain color in the center, a curve

near the top, or even whether the image contains eyes, ears, or fur.

Instead of answering yes or no, like the simple Perceptron from the previous episode, each

neuron in the hidden layer does some slightly more complicated math and outputs a number.

And then, each neuron sends its number to every neuron in the next layer, which could

be another hidden layer or the output layer.

The output layer is where the final hidden layer outputs are mathematically combined

to answer the problem.

So, let’s say we’re just trying to label an image as a dog.

We might have a single output neuron representing a single answer - that the image is of a dog

or not.

But if there are many answers, like for example if we’re labeling a bunch of images, we’ll

need a lot of output neurons.

Each output neuron will correspond to the probability for each label -- like for example,

dog, car, spaghetti, and more.

And then we can pick the answer with the highest probability.

The key to neural networks -- and really all of AI -- is math.

And I get it.

A neural network kind of seems like a black box that does math and spits out an answer.

I mean, those middle layers are even called hidden layers!

But we can understand the gist of what’s happening by working through an example.

Oh John Green Bot?

Let’s give John Green-bot a program with a neural network that’s been trained to

recognize a dog in a grayscale photo.

When we show him this photo first, every feature will contain a number between 0 and 1 corresponding

to the brightness of one pixel.

And it’ll pass this information to the hidden layer.

Now, let’s focus on one hidden layer neuron.

Since the neural network is already trained, this neuron has a mathematical formula to

look for a particular component in the image, like a specific curve in the center.

The curve at the top of the nose.

If this neuron is focused on this specific shape and spot, it may not really care what’s

happening everywhere else.

So it would multiply or weigh the pixel values from most of those features by 0 or close

to 0.

Because it’s looking for bright pixels here, it would multiply these pixel values by a

positive weight.

But this curve is also defined by a darker part below.

So the neuron would multiply these pixel values by a negative weight.

This hidden neuron will add all the weighted pixel values from the input neurons and squish

the result so that it’s between 0 and 1.

The final number basically represents the guess of this neuron thinking that a specific

curve, aka a dog nose, appeared in the image.

Other hidden neurons are looking for other components, like for example, a different

curve in another part of the image , or a fuzzy texture.

When all of these neurons pass their estimates onto the next hidden layer, those neurons

may be trained to look for more complex components.

Like, one hidden neuron may check whether there’s a shape that might be a dog nose.

It probably doesn’t care about data from previous layers that looked for furry textures,

so it weights those by 0 or close to 0.

But it may really care about neurons that looked for the “top of the nose” and “bottom

of the nose” and “nostrils”.

It weights those by large positive numbers.

Again, it would add up all the weighted values from the previous layer neurons, squish the

value to be between 0 and 1, and pass this to the next layer.

That’s the gist of the math, but we’re simplifying a bit.

It’s important to know that neural networks don’t actually understand ideas like “nose”

or “eyelid.”

Each neuron is doing a calculation on the data it’s given and just flagging specific

patterns of light and dark.

After a few more hidden layers, we reach the output layer with one neuron!

So after one more weighted addition of the previous layer’s data, which happens in

the output neuron, the network should have a good estimate if this image is a dog.

Which means, John Green-bot should have a decision.

John Green-bot: Output neuron value: 0.93.

Probability that this is a dog: 93%!

Hey John Green Bot nice job!

Thinking about how a neural network would process just one image makes it clearer why

AI needs fast computers.

Like I mentioned before, each pixel in a color image will be represented by 3 numbers --- how

much red, green, and blue it has.

So to process a 1000 by 1000 pixel image, which in comparison is a small 3 by 3 inch

photo, a neural network needs to look at 3 million features!

AlexNet needed more than 60 million neurons to achieve this, which is a ton of math and

could take a lot of time to compute.

Which is something we should keep in mind when designing neural networks to solve problems.

People are really excited about using deeper neural networks, which are networks with more

hidden layers, to do deep learning.

Deep networks can combine input data in more complex ways to look for more complex components,

and solve trickier problems.

But we can’t make all networks like a billion layers deep, because more hidden layers means

more math which again would mean that we need faster computers.

Plus, as a network get deeper, it gets harder for us to make sense of why it’s giving

the answers it does.

Each neuron in the first hidden layer is looking for some specific component of the input data.

But in deeper layers, those components get more abstract from how humans would describe

the same data.

Now, this may not seem like a big deal, but if a neural network was used to deny our loan

request for example, we’d want to know why.

Which features made the difference?

How were they weighed towards the final answer?

In many countries, we have the legal right to understand why these kinds of decisions

were made.

And neural networks are being used to make more and more decisions about our lives.

Most banks for example use neural networks to detect and prevent fraud.

Many cancer tests, like the Pap test for cervical cancer, use a neural network to look at an

image of cells under a microscope, and decide whether there’s a risk of cancer.

And neural networks are how Alexa understands what song you’re asking her to play and

how Facebook suggests tags for our photos.

Understanding how all this happens is really important to being a human in the world right

now, whether or not you want to build your own neural network.

So this was a lot of big-picture stuff, but the program we gave John Green-bot had already

been trained to recognize dogs.

The neurons already had algorithms that weighted inputs.

Next time, we’ll talk about the learning process used by neural networks to get to

the right weights for every neuron, and why they need so much data to work well.

Crash Course Ai is produced in association with PBS Digital Studios.

If you want to help keep all Crash Course free for everyone, forever, you can join our

community on Patreon.

And if you want to learn more about the math behind neural networks, check out this video

from Crash Course Statistics about them.