Le deep learning

Summary

Ce script introduit le deep learning, une branche en évolution rapide de l'intelligence artificielle, en expliquant son histoire et sa relation avec le machine learning. Il illustre le processus d'apprentissage par l'exemple simple d'une droite et développe ensuite vers les réseaux de neurones et leur capacité à gérer des entrées et sorties complexes. Le succès du deep learning est attribué à l'amélioration des algorithmes, la puissance de calcul accrue des GPU, et surtout à l'accès à de grandes quantités de données, comme ImageNet. Les applications variées, allant de la reconnaissance d'images à la génération de nouvelles images, montrent la portée et l'impact potentiel de cette technologie.

Takeaways

• 🧠 L'intelligence artificielle (IA) a une histoire tumultueuse avec des périodes d'enthousiasme et de désillusion, suivie d'une renaissance avec l'apprentissage automatique dans les années 90.
• 🌟 Le deep learning est une sous-catégorie de l'IA qui a explosé ces dernières années, entrainant un regain d'intérêt pour l'IA.
• 📈 L'apprentissage automatique est basé sur la capacité des algorithmes à apprendre à partir d'exemples, illustré par l'exemple simple de prédire la hauteur d'un arbre à partir de son diamètre.
• 🔍 Les réseaux de neurones sont une approche mathématique inspirée du fonctionnement du cerveau, utilisant des neurones artificiels pour modéliser des relations complexes entre les données d'entrée et de sortie.
• 🚀 Le succès du deep learning est attribué à l'augmentation de la puissance de calcul, l'amélioration des algorithmes et, surtout, à la disponibilité massive de données, comme démontré par la base ImageNet.
• 🏆 En 2012, un algorithme de deep learning a battu tous les autres en reconnaissance d'images, marquant un tournant dans l'acceptation et la popularité du deep learning.
• 🛠️ L'un des défis du deep learning est la complexité de l'entraînement des réseaux profonds avec un grand nombre de paramètres à ajuster, mais qui peuvent être surmontés avec suffisamment d'exemples d'apprentissage.
• 🎨 Les algorithmes de deep learning sont capables de créer des images à partir de caractéristiques essentielles, ce qui a conduit à l'émergence des modèles génératifs capables de produire des œuvres uniques.
• 👁️ L'un des applications du deep learning est l'analyse d'images pour une variété de tâches, y compris la reconnaissance de scènes, ce qui peut aider les personnes malvoyantes.
• 🚗 Les systèmes de conduite autonome bénéficient également du deep learning pour sa capacité à reconnaître et à différencier les objets sur la route, améliorant la sécurité des transports.
• 👩‍🏫 Les figures clés de l'IA comme Yann Le Cun et Fei Fei Li ont joué un rôle central dans le développement et la popularisation du deep learning, avec des contributions majeures à la compréhension et à l'application de cette technologie.

Q & A

Qu'est-ce que le deep learning et pourquoi a-t-il explosé ces dernières années?

Le deep learning est un domaine de l'intelligence artificielle qui implémente des réseaux de neurones profonds pour apprendre des modèles complexes à partir de données. Il a explosé ces dernières années en raison des progrès dans les algorithmes, l'augmentation de la puissance de calcul, et l'abondance de données disponibles pour l'apprentissage.

Quel est le lien entre l'intelligence artificielle et le machine learning?

Le machine learning est un domaine de l'intelligence artificielle qui étudie comment les algorithmes peuvent apprendre à partir d'exemples. Il a été le moteur de la renaissance de l'IA dans les années 90 après une période de désillusion.

Comment les algorithmes de machine learning peuvent-ils apprendre à partir d'observations?

Les algorithmes de machine learning apprennent à partir d'observations en ajustant des paramètres, comme la pente et l'ordonnée à l'origine dans le cas d'une droite, pour trouver un modèle qui généralise bien les données d'entrée à une sortie prédite.

Quels sont quelques exemples d'applications du machine learning dans la vie quotidienne?

Les exemples incluent l'algorithme de tri des nouvelles sur Facebook, la détection de fraudes lors des transactions de carte de crédit sur internet, et la reconnaissance d'images.

Pourquoi les réseaux de neurones sont-ils utilisés dans le machine learning?

Les réseaux de neurones sont utilisés car ils sont capables de modéliser des relations complexes entre les entrées et les sorties grâce à leur structure composée de plusieurs couches de neurones artificiels.

Quel est le rôle des caractéristiques intermédiaires dans la reconnaissance d'images?

Les caractéristiques intermédiaires sont utilisées pour résumer une image en une liste de caractéristiques essentielles qui sont plus faciles à gérer pour un réseau de neurones que l'image brute, réduisant ainsi la complexité de l'entrée.

Pourquoi l'idée initiale du deep learning n'était-elle pas censée fonctionner?

L'idée initiale du deep learning n'était pas censée fonctionner car les réseaux profonds comportaient trop de neurones et de paramètres à ajuster, ce qui rendait la phase d'apprentissage extrêmement difficile.

Quel événement marqua le tournant du deep learning vers le succès?

Le tournant du deep learning vers le succès fut sa victoire inattendue dans une compétition de reconnaissance d'images en 2012, où un algorithme de deep learning a largement battu les autres méthodes.

Quels sont les facteurs qui ont contribué au succès soudain du deep learning?

Les facteurs comprennent les améliorations des algorithmes, l'augmentation de la puissance de calcul, en particulier avec les GPUs, et l'augmentation de la disponibilité de données, notamment grâce à la base de données ImageNet.

Quels sont quelques-uns des avantages et des usages du deep learning en dehors de la reconnaissance d'images?

Les avantages et les usages du deep learning incluent la capacité à générer des descriptions d'images pour les malvoyants, l'amélioration de la conduite autonome des voitures, et la création de contenu original comme des images inventées par des modèles génératifs.

Outlines

00:00

🧠 Introduction au deep learning et à l'intelligence artificielle

Le script introduit le concept de deep learning en tant que domaine en évolution rapide de l'intelligence artificielle. Il mentionne les vidéos précédentes sur le Go et les images générées par Google représentant un algorithme de deep learning. L'auteur explique que le deep learning est une approche spécifique du machine learning, qui a connu une renaissance dans les années 90 après une période de désillusion. Le machine learning est défini comme l'étude de l'apprentissage automatique des algorithmes à partir d'exemples. L'exemple d'un botaniste mesurant des arbres est utilisé pour illustrer le processus d'apprentissage, de généralisation et de prédiction, qui sont les ingrédients clés du machine learning.

05:05

🔍 Applications du machine learning et introduction aux réseaux de neurones

Ce paragraphe explore des applications réelles du machine learning, telles que la sélection de nouvelles sur Facebook, la détection de fraudes lors des transactions de carte de crédit et la reconnaissance d'images. L'auteur souligne que pour ces tâches, des relations bien plus complexes que la droite linéaire simple sont nécessaires, ce qui mène à l'introduction des réseaux de neurones. Ces réseaux sont des fonctions mathématiques inspirées du fonctionnement des neurones biologiques, capables de modéliser des relations complexes entre les entrées et les sorties. L'exemple d'un neurone artificiel avec plusieurs entrées et un seuil de décharge est donné pour expliquer leur fonctionnement de base.

10:08

🚀 Comment les réseaux de neurones ont évolué vers le deep learning

Le script explique comment les réseaux de neurones, en empilant des neurones artificiels, peuvent créer des fonctions très complexes avec de nombreux paramètres à ajuster. Cependant, il y a un compromis entre la puissance et la facilité d'entraînement. Les réseaux de trois couches sont simples, mais limités. L'idée du deep learning est de sauter l'étape d'extraction manuelle de caractéristiques et de permettre au réseau lui-même de découvrir ces caractéristiques à partir de données brutes. L'auteur mentionne Yann Le Cun comme pionnier du deep learning, malgré les doutes de la communauté scientifique initiale.

15:11

🏆 Le tournant décisif de 2012 et l'explosion du deep learning

En 2012, un algorithme de deep learning a remporté une compétition de reconnaissance d'images, battant tous les autres algorithmes et prouvant l'efficacité du deep learning. Cette victoire a déclenché un engouement pour le deep learning dans le domaine de l'IA. L'auteur explique que les réseaux profonds peuvent découvrir par eux-mêmes les caractéristiques essentielles des images, sans besoin d'une étape d'extraction manuelle de caractéristiques préalable. Cette capacité a rendu Yann Le Cun et d'autres chercheurs en deep learning des superstars de l'IA, et a conduit de grandes entreprises à embaucher des spécialistes dans ce domaine.

🌐 Les facteurs clés du succès du deep learning et ses applications

Le succès du deep learning est attribué à plusieurs facteurs: l'évolution des algorithmes, l'accroissement de la puissance de calcul grâce aux GPUs, et surtout l'accès à de vastes quantités de données, comme la base ImageNet. L'auteur décrit les applications du deep learning, notamment dans la reconnaissance d'images, la description automatique de scènes pour les malvoyants, la conduite autonome et la création d'images. Il mentionne également les modèles génératifs capables de produire des images inventées de manière unique à partir d'une série de caractéristiques. Enfin, l'auteur recommande des ressources pour approfondir la compréhension du deep learning et annonce ses activités à venir.

Keywords

💡Deep Learning

Deep Learning est un domaine de l'intelligence artificielle qui implique l'utilisation de réseaux de neurones profonds pour apprendre des modèles complexes à partir de données. Dans la vidéo, il est présenté comme un domaine en évolution rapide qui a révolutionné la manière dont les ordinateurs apprennent à effectuer des tâches complexes, comme la reconnaissance d'images.

💡Intelligence Artificielle

L'Intelligence Artificielle (IA) est un domaine de l'informatique qui vise à créer des machines capables de réaliser des tâches qui nécessitent normalement l'intelligence humaine, telles que la reconnaissance de la parole, la détection de la fraude ou encore la reconnaissance d'images. Le script mentionne que l'IA est un sujet de discussion depuis plus de 50 ans et a traversé différentes périodes d'enthousiasme et de désillusion avant de connaître une renaissance avec le machine learning.

💡Machine Learning

Le Machine Learning est une sous-catégorie de l'IA qui se concentre sur la capacité des machines à apprendre à partir de données sans être explicitement programmées pour chaque tâche. Dans le script, le machine learning est introduit comme un élément clé de la renaissance de l'IA dans les années 90, où les algorithmes ont commencé à apprendre à partir d'exemples.

💡Réseaux de Neurones

Les Réseaux de Neurones sont des modèles mathématiques inspirés du fonctionnement du cerveau humain qui permettent de résoudre des problèmes complexes en apprenant à partir de données. Dans la vidéo, ils sont décrits comme des outils permettant de créer des fonctions complexes pour lier des entrées à des sorties, servant de base à l'apprentissage profond.

💡Apprentissage Profond

L'Apprentissage Profond est une approche particulière du machine learning qui utilise des réseaux de neurones profonds pour apprendre des caractéristiques à partir de données brutes. Le script explique que cette méthode a explosé ces dernières années, en particulier après le succès d'un algorithme de deep learning dans une compétition de reconnaissance d'images en 2012.

💡Reconnaissance d'Images

La Reconnaissance d'Images est la capacité d'un algorithme à identifier et à classer des objets dans des images. Dans le script, c'est un exemple clé utilisé pour illustrer comment le deep learning permet aux machines de découvrir et d'apprendre à partir de caractéristiques complexes dans les images, comme le nombre de roues pour identifier un véhicule.

💡Algorithme

Un Algorithme est une suite de règles ou d'instructions utilisées par les ordinateurs pour effectuer des tâches. Dans le contexte de la vidéo, les algorithmes de deep learning sont essentiels pour permettre aux machines d'apprendre et de faire des prédictions à partir de données d'entrée.

💡Fonction de Perceptron

La Fonction de Perceptron est une fonction mathématique utilisée dans les réseaux de neurones pour déterminer si un signal est envoyé ou non. Elle est décrite dans le script comme une somme pondérée des entrées qui, si elle dépasse un seuil, active l'unité neuronale.

💡Extraction de Caractéristiques

L'Extraction de Caractéristiques est le processus d'identification et d'extraction des éléments importants d'un ensemble de données pour en faciliter l'analyse. Dans le script, cette étape est initialement effectuée manuellement avant d'être automatisée par les réseaux profonds dans le deep learning.

💡Modèles Génératifs

Les Modèles Génératifs sont des algorithmes capables de créer de nouveaux exemples à partir de données d'entrée, comme des images ou des phrases. Dans la vidéo, ils sont mentionnés comme une application intéressante du deep learning qui permet de créer des images inexistantes avec des caractéristiques spécifiques.

💡GPU

Les GPUs (Unités de Traitement Graphique) sont des processeurs spécialisés dans le rendu graphique et les calculs parallèles, qui sont plus puissants que les processeurs traditionnels pour certaines tâches. Dans le script, l'amélioration des GPUs est identifiée comme un facteur clé dans les progrès du deep learning, en particulier pour les tâches de traitement d'image.

💡ImageNet

ImageNet est une base de données d'images classifiées publiquement disponible qui a joué un rôle crucial dans le développement du deep learning. Elle a été utilisée pour entraîner et évaluer les performances des algorithmes de reconnaissance d'images, comme mentionné dans le script.

Highlights

Le deep learning est un domaine de l'intelligence artificielle qui a explosé ces dernières années.

L'histoire de l'intelligence artificielle est tumultueuse, allant de l'enthousiasme à la désillusion.

La renaissance de l'IA dans les années 90 est liée au machine learning.

Le machine learning permet aux algorithmes d'apprendre à partir d'exemples.

Le deep learning est une approche spécifique du machine learning qui a gagné en popularité.

Les algorithmes peuvent apprendre à partir de données simples comme la relation entre la hauteur et le diamètre d'un arbre.

La prédiction est une capacité clé du machine learning pour estimer des valeurs manquantes.

Les réseaux de neurones sont des fonctions mathématiques inspirées du fonctionnement des neurones biologiques.

Les réseaux de neurones artificiels peuvent être empilés pour créer des fonctions complexes.

L'entraînement des réseaux de neurones implique de trouver les bons paramètres pour faire le lien entre entrées et sorties.

Les réseaux de neurones peuvent devenir des modèles 'boîte noire' difficiles à interpréter.

Le deep learning a permis de sauter l'étape de construction manuelle des caractéristiques essentielles de l'image.

Le succès du deep learning en 2012 a été un tournant dans la reconnaissance d'images.

Les algorithmes de deep learning sont devenus plus performants grâce à des architectures spéciales et à la puissance de calcul accrue.

La disponibilité massive de données a été un facteur clé pour le succès du deep learning.

Les réseaux profonds peuvent atteindre plus de 100 couches et plusieurs millions de neurones.

Le deep learning est utilisé pour créer des images uniques à partir de séries de nombres d'entrée.

Les modèles génératifs de deep learning ont des applications variées, allant de la création d'images à l'aide des malvoyants.

Les applications du deep learning vont au-delà de l'analyse d'images et comprennent la conduite autonome et la création artistique.

Google DeepDream est un exemple médiatique de ce que peut faire le deep learning en termes de création d'images psychédéliques.

Transcripts

Bonjour à tous ! Aujourd'hui on va parler du deep learning.

Le deep learning c'est un domaine de l'intelligence artificielle

qui a littéralement explosé ces dernières années.

Vous en avez déjà peut être entendu parler si vous avez vu ma vidéo sur le Go,

ou bien si vous avez vu, il y a quelques mois, ces images un peu psychédéliques qui ont été publiées par Google

et qui représentaient soit-disant un algorithme de deep learning en train de rêver.

Alors aujourd'hui on va voir ce que c'est que le deep learning

et comment ça se positionne par rapport aux autres champs de l'intelligence artificielle.

L'intelligence artificielle on en parle depuis plus de 50 ans maintenant

et l'histoire du domaine est un peu tumultueuse.

Ça a commencé par une période de grand enthousiasme

où on s'imaginait qu'on arriverait très vite à faire des choses assez incroyables.

Puis ça a été suivi par une période un peu plus sombre de désillusion

où on a finalement constaté qu'on avait un peu sous-estimé les difficultés.

Je ne vais pas vous refaire l'histoire du domaine

mais ce qu'il faut savoir, c'est que dans les années 90, après cette période de désillusion,

Il y a eu une renaissance de l'intelligence artificielle,

sous la forme de ce que l'on appelle le machine learning,

ou "l'apprentissage automatique" en bon français.

Le machine learning c'est un domaine qui étudie

comment des algorithmes peuvent apprendre en étudiant des exemples

et on va voir exactement ce que ça veut dire.

Le deep learning dans tout ça, ou "l'apprentissage profond"

c'est juste une manière particulière de faire du machine learning

et je vais vous expliquer en quoi elle est originale

et pourquoi elle a explosé ces derniers temps.

Pour comprendre comment des ordinateurs et des algorithmes peuvent apprendre à faire des choses

on va partir d'un exemple très très simple.

Imaginons que vous soyez un botaniste

et que vous vous intéressiez à une certaine espèce d'arbre.

Vous vous promenez en forêt et vous faites des observations

et sur chaque arbre que vous croisez

vous relevez sa auteur et le diamètre de son tronc.

Puis vous consignez toutes vos observations dans un tableau de données.

Voilà le tableau, chaque ligne représente un arbre différent

dont vous avez mesuré le diamètre et la hauteur.

Une chose simple que l'on peut faire quand on a des données comme ça

c'est de les représenter graphiquement.

On met le diamètre en abscisse, la hauteur en ordonnée

et chaque point va représenter un arbre différent que vous avez mesuré.

Voilà ce qu'on obtient.

Vous avec vos yeux et votre cerveau d'être humain,

vous voyez qu'il y a un truc notable dans ces données.

Tous les points sont, en gros, à peu près alignés

et on a très envie de faire passer une droite.

Faire passer une droite comme ça c'est vraiment une bonne idée parce que ça nous permet de généraliser,

c'est-à-dire qu'on a un certain nombre d'observations sur des cas particuliers,

qui sont les arbres qu'on a mesurés,

et on en tire une relation générale qui est cette droite.

Et grâce à ce lien qu'on a découvert dans les données,

on va pouvoir faire de la prédiction.

La prédiction ça veut dire que si je prends un nouvel arbre

de la même espèce qu'on n'a pas encore mesuré

et que je vous donne son diamètre,

vous pouvez grâce à cette droite estimer sa hauteur.

Le terme de "prédiction" est peut être un peu mal choisi

parce qu'il ne s'agit pas de prédire l'avenir,

il s'agit plutôt de deviner une valeur qu'on ne possède pas.

Donc je résume la démarche : on prend des données qui sont des observations particulières,

on découvre un lien dans ces données

et ce lien nous permet de généraliser, de faire des prédictions.

Ici, on a tous les ingrédients de ce qu'est le machine learning.

Le machine learning, c'est essayer de faire la même chose avec des algorithmes.

En supposant qu'on prenne ces mêmes données et qu'on les donne à un ordinateur,

on peut très bien imaginer un algorithme qui va chercher comme nous

à faire passer une droite parmi les points.

Une droite est définie par deux choses : Une pente : a et une ordonnée à l'origine : b

Vous savez, c'est le classique : y = ax + b.

On peut imaginer un algorithme qui fasse varier a et b

jusqu'à trouver une droite qui colle bien au nuage des points.

Souvent l'image qu'on prend c'est d'imaginer que a et b, les paramètres de la droite,

c'est un peu comme deux boutons que l'algorithme peut faire tourner

jusqu'à trouver la meilleure droite possible.

Et une fois qu'on a fait ça, on ne touche plus à nos deux boutons et on a une droite

qui permet à l'algorithme de généraliser, d'extrapoler à des cas qu'il n'a jamais vu.

Il suffit d'utiliser l'équation de la droite.

Et voilà, le machine learning, en gros, c'est ça.

On a des données, ici sous la forme d'une entrée X et d'une sortie Y,

on les présente à un algorithme qui a des boutons et qui les tourne

jusqu'à ce qu'il ait compris le lien entre X et Y.

Ça, c'est tout ce qu'on appelle la phase d'apprentissage.

Et puis, une fois que c'est fait, on peut faire des prédictions

et ça, c'est le but ultime d'un algorithme de machine learning,

être capable de faire des prédictions, des extrapolations.

Evidemment, ici, j'ai pris un exemple super basique.

En entrée on n'a qu'un seul nombre X qui est le diamètre de l'arbre,

en sortie, un seul nombre Y qui est sa taille

et en plus le lien entre les deux est très simple, puisque c'est une simple droite.

Mais dans les vrais problèmes de machine learning,

on peut avoir des relations qui sont beaucoup plus compliquées

et surtout, on peut avoir beaucoup plus qu'une seule donnée en entrée.

Pour le voir, on va prendre quelques exemples d'applications du machine learning.

Vous avez certainement déjà remarqué que votre fil Facebook ne vous montre pas

toutes les nouvelles de vos amis ou des pages auxquelles vous êtes abonnés.

Il en choisit seulement certaines et il vous les présente dans un certain ordre.

Derrière, il y a un algorithme de machine learning qui essaie de comprendre

quelles sont les nouvelles qui ont le plus de chance de vous intéresser.

Cet algorithme prend en entrée tout un tas de caractéristiques de la nouvelle,

qui l'a postée ? quand ? de quoi elle parle ? sa nature, etc...

Et il essaie de prédire si ça va vous intéresser ou pas.

Un autre exemple d'utilisation du machine learning, c'est la détection de fraudes sur internet.

Chaque fois que vous utilisez votre carte de crédit sur internet,

il y a un algorithme quelque part qui tourne

pour essayer d'estimer si c'est bien vous ou si c'est une fraude.

Pour ça, il utilise des données d'entrée qui sont la nature de la transaction,

sa localisation, son montant et tout un tas d'autres données du même genre.

Encore un autre exemple d'utilisation du machine learning

dont on va particulièrement parler aujourd'hui, c'est la reconnaissance d'images.

La reconnaissance d'images, ça consiste à essayer de faire un algorithme

qui prend en donnée d'entrée une image,

et dont le but est d'essayer de deviner, en sortie, ce que représente l'image.

Vous voyez peut être sur ces quelques exemples que ma droite ax+b avec ses deux boutons

va être largement insuffisante.

Il nous faut quelque chose qui soit capable de prendre plein de données d'entrée

et surtout de capturer des relations bien plus complexes que ça entre les entrées et la sortie.

C'est là qu'interviennent les réseaux de neurones.

Un neurone c'est quelque chose qui va jouer le même rôle que ma droite tout à l'heure,

c'est à dire que c'est une fonction mathématique

qui va mettre en relation des entrées X avec une sortie Y.

Alors évidemment, c'est important de préciser que ce dont on parle là c'est un neurone artificiel,

c'est à dire que c'est une construction mathématique

qui imite grossièrement le fonctionnement d'un vrai neurone.

Les vrais neurones biologiques ce sont des cellules

qu'on trouve dans notre système nerveux et qui sont connectées les unes aux autres.

Chaque neurone possède une terminaison qu'on appelle un axone

et par laquelle le neurone peut envoyer un signal à d'autres neurones.

La manière dont fonctionne un neurone, est la suivante :

Le neurone reçoit, ou pas, un signal électrique des autres neurones qui sont connectés à lui

et en fonction de ces signaux, il fait un truc assez binaire.

Soit il n'envoie rien dans son axone,

soit il envoie un signal électrique, et là on dit qu'il "décharge".

L'idée du neurone artificiel qui date déjà d'il y a plusieurs décennies,

c'est de mimer ce comportement par une fonction mathématique.

Voilà le principe, imaginons qu'on ait un neurone artificiel avec trois entrées,

on va les appeler X1, X2 et X3.

On fait la somme de ces trois entrées

en affectant un coefficient à chacune, on appelle ça un poids.

Si la somme obtenue est supérieure à un certain seuil

le neurone va envoyer 1 en sortie, sinon il va envoyer 0.

Un neurone artificiel, vous voyez donc que c'est une fonction mathématique

qui prend des X en entrées et sort un Y en sortie

et cette fonction elle a des boutons qu'on peut tourner, qui sont les poids et le seuil.

Un peu de la même manière qu'on pouvait changer les coefficients a et b sur la droite.

Le problème, c'est qu'un neurone tout seul ne suffit pas pour faire des relations très compliquées.

Ce qui est intéressant c'est que les neurones on peut en associer plein ensemble

et les empiler pour faire des fonctions beaucoup plus compliquées

et c'est ça qu'on appelle des réseaux de neurones.

On devrait plutôt dire des réseaux de neurones artificiels.

En empilant des neurones comme ça on peut fabriquer des fonctions aussi compliquées qu'on veut

avec plein d'entrées et plein de sorties et surtout plein de boutons à tourner,

autant que de poids et de seuils dans le réseau.

Ces réseaux de neurones, l'avantage c'est qu'ils sont très polyvalents,

on peut les adapter à plein de types d'entrées ou de sorties

Mais, dans le fond, on les utilise de la même manière que ma droite, tout à l'heure.

On prend un réseau de neurones,

on lui présente une base de données d'exemples d'entrées et sorties

et on tourne tous ses boutons jusqu'à ce qu'il fasse correctement le lien entre les entrées et les sorties.

Je vous rappelle qu'on appelle ça la phase d'apprentissage.

Et, une fois qu'on a fait ça, notre réseau est entraîné

et il est capable de prédire la sortie si on lui présente une nouvelle entrée.

Ça, c'est la phase de prédiction.

Un des inconvénients des réseaux de neurones par rapport à ma droite de tout à l'heure,

c'est que c'est ce que l'on appelle parfois un modèle "boîte noire".

C'est à dire qu'une fois qu'on a trouvé toutes les bonnes positions des boutons,

on se retrouve avec une fonction qui mathématiquement est un peu compliquée

et c'est un peu difficile de l'interpréter.

Mais bon, en général tant que le réseau de neurones donne la bonne réponse on est content.

Et d'ailleurs il semblerait que l'apprentissage dans le cadre des réseaux de neurones artificiels

ressemble pas mal à ce qui se passe en réalité dans le cerveau.

Quand on apprend des choses, la force des connexions entre nos neurones se modifie,

c'est ce qu'on appelle l'efficacité synaptique

et ça peut se comparer à la manière dont on joue sur les poids dans notre réseau de neurones artificiels.

Encore une fois, le but des réseaux de neurones ce n'est pas de faire un modèle de notre cerveau,

c'est juste une construction mathématique qui s'en inspire.

Tout ça c'était pour la théorie, maintenant on va passer à la pratique.

On l'a dit, quand on veut faire un réseau de neurones, on empile plein de fois cette unité élémentaire qu'on appelle le neurone artificiel.

Une question : combien faut-t-il en mettre dans notre réseau ?

Si on s'inspire de notre cerveau, il y a à peu près 100 milliards de neurones

et comme il peut y avoir plusieurs milliers de synapses pour chaque neurone

ça ne nous met pas loin du million de milliards de connexions.

Très clairement, on ne va pas pouvoir faire ça avec un réseau de neurones artificiels.

Sans aller jusque là, dès qu'on met trop de neurones dans notre réseau,

ça fait beaucoup trop de boutons qu'on peut tourner,

et ça devient très difficile de trouver les bonnes positions des boutons.

Ça veut dire que la phase d'apprentissage devient quasiment impossible.

C'est pour ça qu'en pratique on se limite à une structure très simple avec seulement 3 couches de neurones.

Les neurones d'entrée, qui sont les X,

le ou les neurones de sorties, c'est le Y

et puis une couche intermédiaire de neurones.

Plus on met de neurones dans la couche intermédiaire, plus le réseau est polyvalent et puissant

mais plus il devient compliqué à entraîner, à trouver les bonnes positions des boutons

et si on essaie d'ajouter des couches de plus on se noie assez vite dans la complexité de la phase d'apprentissage.

Pour des problèmes avec un nombre raisonnable de données d'entrée,

comme par exemple de la détection de fraudes sur internet,

ce genre de méthode peut très bien marcher

mais pour faire de la reconnaissance d'images, c'est vite limité.

Si on prend une photo de petite taille : 400x400, ça fait tout de suite 160 000 pixels,

c'est à dire 160 000 nombres à filer en entrée au réseau.

et on se retrouve obligé d'utiliser un réseau extrêmement compliqué

qu'on n'arrivera pas à entraîner.

Donc, en somme, balancer une image brute dans un réseau de neurones ça ne marche pas.

Heureusement il existe une méthode pour s'en sortir, c'est celle de fabriquer

des caractéristiques intermédiaires de l'image.

Imaginons qu'on s'intéresse à un problème qui consiste à reconnaître des véhicules.

Vous voulez fabriquer un algorithme à qui on donne une image

et qui nous dit si cette image représente une voiture, un bus, un train, une moto, etc...

Nous en tant qu'être humain, il existe un certain nombre de caractéristiques

qui nous permettent de faire la différence.

On peut par exemple compter le nombre de roues apparentes,

regarder le rapport largeur hauteur, regarder quelle est la couleur dominante,

la quantité de surfaces vitrées, le nombre de vitres, leurs formes, etc...

La solution pour faire de la reconnaissance d'images dans ce genre de situation

c'est de créer un algorithme intermédiaire qui ne sera pas un réseau de neurones

et dont le but va être d'analyser les images et d'extraire toutes ces caractéristiques intéressantes.

Ce sont ensuite ces caractéristiques qu'on va donner à un réseau de neurones pour faire la reconnaissance.

Cette approche peut fonctionner parce que la quantité de données d'entrée qu'on va filer au réseau

va être bien inférieure à ce qu'on aurait si on avait filé l'image brute en entier.

Les caractéristiques qui résument l'image, il va y en avoir quelques dizaines, maximum quelques centaines

et comme on a résumé image en la réduisant à une liste de caractéristiques essentielles,

on dit parfois qu'on a fait une abstraction de l'image.

Tout ça c'est très bien, mais ça pose quand même un petit problème, c'est que

la qualité de la reconnaissance va fortement dépendre de la manière dont

on a fait ce travail intermédiaire de construction des caractéristiques essentielles de l'image

et pour faire correctement ce travail, il faut savoir de quoi on parle.

Dans mon exemple des véhicules, il faut savoir que ce qui est important

pour différencier un véhicule d'un autre, c'est le nombre de roue, les vitres, etc...

Donc il faut, entre guillemets, un expert du domaine.

C'est donc le concepteur de l'algorithme intermédiaire

qui fait, en quelque sorte, une bonne partie du travail d'intelligence

et c'est pour pallier à ça qu'intervient le deep learning.

On a vu comment fonctionnait le machine learning classique

et on a vu comment on pouvait l'utiliser pour faire de la reconnaissance d'images,

pourvu qu'on ait une étape précédente qui soit une étape de construction

des caractéristiques essentielles de l'image qu'on pourrait ensuite donner à un réseau de neurones.

L'idée un peu folle du deep learning c'est de sauter cette étape.

En gros, on va faire un gros réseau avec plein de couches de neurones

à qui on file l'image brute.

C'est ce qu'on appelle un réseau profond,

d'où l'appellation d'apprentissage profond, ou deep learning en anglais.

Je vous ai dit, a priori cette idée ne peut pas fonctionner,

ça fait beaucoup trop de neurones, ça fait beaucoup trop de boutons à tourner

et la phase d'apprentissage ne marche pas.

Et bien, il y a quand même des gens qui ont voulu essayer.

Un de ces pionniers, c'est un français qui s'appelle Yann Le Cun

et qui a commencé à utiliser ces méthodes dans les années 90.

A l'époque la communauté de l'intelligence artificielle n'était pas du tout convaincue

et préférait s'intéresser à d'autres trucs.

Pendant à peu près deux décennies il n'y a eu qu'une poignée de personnes dans le monde

qui ont continuer à essayer de faire du deep learning.

Sauf qu'en 2012 il y a eu une explosion.

Il faut savoir que tous les ans, il y a une compétition de reconnaissance d'images qui est organisée

où tous les meilleurs algorithmes du monde s'affrontent.

vous pouvez voir ici les pourcentages d'erreurs obtenus par les différents algorithmes de la compétition

en 2010 et en 2011

et plus ce pourcentage est faible, meilleur est l'algorithme.

Et bien en 2012, à la surprise générale, c'est un algorithme de deep learning

qui a largement battu tout le monde

et dès l'année suivante, tout le monde s'est mis à faire du deep learning dans cette compétition.

Evidemment, ce qui est intéressant c'est d'essayer de comprendre pourquoi,

soudainement, un algorithme de deep learning marche mieux que les méthodes habituelles,

alors que pendant 20 ans tout le monde avait pensé que ça ne marcherait jamais.

On l'a dit, dans les méthodes habituelles on a un algorithme qui extrait de l'image

les caractéristiques essentielles, qui résume l'image, qui en donne une abstraction

et ces caractéristiques, normalement, on les file à un réseau qui est peu profond.

Le petit miracle qui se produit avec le deep learning,

c'est que si on a réussi à entraîner le réseau correctement,

on se rend compte que les couches supérieures contiennent ces caractéristiques essentielles,

tous les éléments importants de l'image qui peuvent servir à la reconnaître.

C'est à dire que l'algorithme les a fabriqués lui même, il les a découverts

sans qu'on ait eu besoin de faire le travail pour lui.

Si on reprend l'exemple de la reconnaissance de véhicules,

ça veut dire qu'on n'aurait pas besoin de dire à l'algorithme ce que c'est qu'une roue

et le fait qu'une roue c'est important pour reconnaître un véhicule.

Non, l'algorithme en fait, découvrirait tout seul le concept de roue

et l'importance de la roue pour classifier les véhicules.

Je vous l'ai dit, suite au succès spectaculaire d'un algorithme de deep learning

dans la compétition de reconnaissance d'images de 2012,

tout le monde s'est mis à faire du deep learning

et Yann Le Cun qui était resté entre temps un petit peu dans l'ombre,

est soudainement devenu une des superstars de l'intelligence artificielle.

Evidemment tout le monde s'est mis à embaucher des spécialistes de deep learning,

Google, Amazon, Baidu, etc... et bien sûr Facebook

qui a embauché Le Cun comme directeur de son laboratoire d'intelligence artificielle.

Ce que je n'ai pas encore dit, c'est pourquoi cette méthode

à laquelle personne ne croyait il y a encore quelques années

s'est mise à marcher soudainement.

Et bien, comme souvent, il y a plusieurs raisons.

D'abord les algorithmes ont progressé, comme toujours,

notamment, contrairement à ce que je peux laisser penser, on n'utilise pas n'importe quel réseau profond,

ce n'est pas juste un tas de neurones empilés

et on a des architectures particulières qui fonctionnent bien.

Il y a aussi bien sûr une raison matérielle, c'est la puissance de calcul

et notamment les progrès des processeurs de cartes graphiques, les GPU,

qui sont plus puissants que les processeurs traditionnels quand il s'agit de faire des choses liées à l'image.

Mais la vraie raison du succès des algorithmes de deep learning notamment en reconnaissance d'images,

ça a été la disponibilité des données.

Je vous ai dit, quand on fait un réseau profond on peut se retrouver avec des milliers,

voire des millions de neurones

et donc ça peut faire des millions de boutons qu'il faut tourner

pendant la phase d'apprentissage jusqu'à trouver la bonne relation.

Pour faire ça, il faut des millions d'exemples à montrer au réseau.

En 2009 un laboratoire de Stanford a rendu public une base de données qui s'appelle ImageNet

et qui contient aujourd'hui plus de 15 millions d'images classifiées,

c'est à dire qu'on a des images et en face de chaque image, on a une description de ce que c'est,

c'est à dire, une voiture, un chien, une vague, etc...

Il y a plus de 10000 catégories différentes alors vous pouvez faire le test

et vous pouvez chercher dans ImageNet par exemple, les images qui représentent un chat

et je crois qu'il y en a plusieurs dizaines de milliers.

Donc quand on balance toutes ces images à un algorithme de deep learning

on n'a pas besoin de lui dire quelles sont les caractéristiques essentielles

qui font qu'un chat est un chat.

La forme de la tête, la couleur des yeux, la taille des oreilles, etc...

L'algorithme va les découvrir tout seul.

A l'heure actuelle on peut faire des réseaux profonds qui ont plus d'une centaine de couches

et plusieurs millions de neurones.

On est encore très très loin du cerveau

mais les performances en reconnaissance d'images sont quand même assez spectaculaires.

Vous pouvez voir quelques exemples ici...

Quand on sait que chaque jour sur Facebook c'est près de 800 millions d'images qui sont uploadées,

on comprend bien leur intérêt pour avoir un algorithme qui soit capable de reconnaître rapidement

ce qu'il y a dans une photo.

Alors c'est vrai que des fois, ça rate...

Heureusement, il y a d'autres applications du deep learning que celle d'analyser

les détails graphiques de notre vie privée qu'on partage sur les réseaux sociaux.

Par exemple, il existe des algorithmes qui sont capables d'analyser des scènes sur une image

et de les décrire automatiquement par une phrase.

Ça peut être plutôt utile pour les malvoyants.

Une autre application, c'est la conduite autonome,

vous savez, la voiture qui se conduit toute seule et dont on parle beaucoup en ce moment.

Pour reprendre un exemple qui est donné par Fei Fei Li, qui est une des pionnières de ImageNet,

c'est quand même vachement important pour une voiture autonome

d'être capable de reconnaître un sac en papier qui est froissé sur la route et sur lequel elle pourrait rouler,

d'un rocher qui est posé au milieu de la route et qu'il vaudrait peut-être mieux éviter.

Mais une des applications que je trouve les plus intéressantes du deep learning,

c'est la capacité à fabriquer des images.

Je vous ai dit tout à l'heure, un algorithme de deep learning, un réseau profond,

si vous lui donnez une image brute en entrée,

il va découvrir tout seul comment résumer cette image brute par une série de caractéristiques essentielles.

Là je simplifie beaucoup mais, en gros, on peut essayer de prendre le réseau dans l'autre sens

et de faire en sorte que, si on lui donne en entrée une série de nombres,

il produise une image en sortie

et cette image sera nouvelle, elle sera unique et aura les caractéristiques correspondantes à ce qu'on a entré,

mais ce sera une image inventée de toutes pièces.

Les algorithmes qui sont capables de faire ça, c'est ce qu'on appelle des modèles génératifs.

Par exemple ici, vous voyez un exemple récent qui est assez spectaculaire,

on a utilisé un modèle génératif créé par un algorithme de deep learning

pour créer des chambres à coucher.

Vous avez toute une série de chambres à coucher qui ont été inventées par un algorithme

et ça marche aussi avec des chaises ou avec des personnages de manga.

Mon exemple préféré, c'est celui-ci:

il s'agit de pochettes d'albums qui ont été complètement inventées par un algorithme de deep learning

qui auparavant avait étudié des vraies pochettes d'albums.

L'exemple le plus médiatique, même si ce n'est pas forcément le plus utile,

c'est celui dont j'ai parlé au début, c'est Google DeepDream.

Il s'agit d'un réseau qu'on a entrainé sur tout un tas d'images

et qu'ensuite on a utilisé pour produire des images un peu psychédéliques.

Le principe est un peu le même que quand on s'amuse à essayer de trouver des formes dans les nuages,

vous savez, quand on joue à regarder les nuages,

en gros on peut essayer de se forcer à y voir d'autres trucs que des nuages.

Ici on a donné des images à un réseau profond et on l'a forcé à essayer d'y voir autre chose

et voilà le résultat. C'est sympa non?

Encore une fois, il s'agit d'un exemple un peu anecdotique mais j'espère quand même

vous avoir convaincus qu'il y a plein d'applications fantastiques pour le deep learning

et je suis sûr que d'ici quelques années on trouvera ce genre d'algorithme partout.

Merci d'avoir suivi cette vidéo, si vous voulez aller plus loin je vous en conseille deux autres.

La première c'est celle de Fei Fei Li qui est une des créatrices de ImageNet,

qui à la conférence TED a présenté le problème de la reconnaissance d'images

et ce qu'on peut faire aujourd'hui, c'est assez rapide.

Si vous voulez aller quand même beaucoup plus loin,

vous pouvez aller voir la leçon inaugurale de Yann Le Cun au Collège de France,

ça dure plus longtemps et il va beaucoup plus dans les détails.

Comme d'habitude vous pouvez me retrouver sur les réseaux sociaux, Facebook, Tweeter.

Vous pouvez me soutenir sur Tipeee, merci à tous les tipeurs qui me soutiennent.

Vous pouvez aussi aller jeter un œil à mon bouquin que j'ai sorti chez Flammarion

et pour ceux qui sont intéressés à me rencontrer en vrai,

je serai le 16 Avril à Vulgarizators à Lyon,

donc n'hésitez pas à aller voir et n'hésitez pas à venir assister à toutes les conférences.

Merci et à bientôt!