Introduction à l’intelligence artificielle - 5 - Apprentissage Automatique

Summary

Ce script présente les principes de la modélisation prédictive et de l'apprentissage automatique, expliquant comment les modèles statistiques évoluent avec de nouvelles données pour éviter l'obsolescence. Il introduit les concepts de validation croisée et de régularisation pour contrôler le sur-apprentissage et optimiser les modèles. Le texte couvre une variété d'algorithmes, allant des méthodes simples comme KNN et les arbres de décision, aux modèles plus complexes tels que les SVM, les réseaux neuronaux et les forêts aléatoires, mettant en évidence leur utilisation dans divers domaines tels que la finance, la robotique et les jeux.

Takeaways

• 📊 Le modèle prédictif a pour but de donner une probabilité de mesure ou d'occurrence d'un événement.
• 📐 L'essence de la création de modèles repose sur le calcul de distances entre observations.
• 🔍 La classification d'une observation inconnue est basée sur sa proximité avec des observations connues.
• 📚 L'importance de l'algèbre linéaire et du calcul matricielle est soulignée pour faciliter les mesures de distance.
• ⏳ Les modèles statiques deviennent obsolètes avec le temps, car les corrélations à leur base évoluent.
• 🔄 L'évolution automatique des modèles est recherchée pour s'adapter aux nouvelles observations sans intervention manuelle.
• 🔒 La validation croisée et la régularisation sont des concepts clés pour éviter le sur-apprentissage et améliorer la fiabilité des modèles.
• 🔄 La validation croisée implique de tester le modèle sur des échantillons différents pour assurer sa validité.
• 🔧 La régularisation ajuste la fonction de coût pour contrôler l'optimisation et éviter le sur-apprentissage.
• 🛠️ L'apprentissage automatique est axé sur l'optimisation des hyper-paramètres plutôt que la simple définition des paramètres du modèle.
• 🌐 Il existe une variété d'algorithmes d'apprentissage, allant des méthodes supervisées à non supervisées et de l'apprentissage par renforcement.
• 🌳 Les forêts aléatoires sont un exemple d'algorithme composite qui utilise la majorité des décisions pour améliorer la précision.
• 🤖 Les réseaux neuronaux, y compris les réseaux profonds, sont utilisés pour simuler le fonctionnement du cerveau et l'apprentissage automatique.

Q & A

Qu'est-ce que la modélisation prédictive et pourquoi est-elle importante?

La modélisation prédictive est une technique qui vise à prévoir la probabilité d'une mesure ou l'occurrence d'un événement en se basant sur des données historiques. Elle est importante car elle permet de prendre des décisions éclairées en anticipant les résultats possibles.

Quels sont les principes de base de la modélisation prédictive mentionnés dans le script?

Les principes de base incluent la simplicité du modèle, la notion de distance entre observations pour la classification, et l'utilisation d'algèbre linéaire et de calcul matriciel pour faciliter ces mesures de distance.

Pourquoi est-il nécessaire de vectoriser l'espace et d'utiliser du calcul matriciel dans l'apprentissage automatique?

Vectoriser l'espace et d'utiliser du calcul matriciel facilite les mesures de distance entre observations, en les transformant en vecteurs et en les manipulant via des matrices, ce qui est essentiel pour la comparaison et la classification.

Quels sont les défis associés à la création de modèles prédictifs qui ne deviennent pas obsolètes avec le temps?

Les défis comprennent la nécessité d'adapter les modèles à un univers en constante évolution, et la gestion des corrélations qui peuvent changer, ce qui peut rendre les modèles obsolètes si ils ne sont pas régulièrement mis à jour.

Quel est le rôle de la validation croisée dans l'apprentissage automatique?

La validation croisée permet de contrôler le risque de surapprentissage en testant le modèle sur différents échantillons aléatoires et en comparant les résultats pour confirmer la validité de la méthode de modélisation choisie.

Comment la régularisation contribue-t-elle à prévenir le surapprentissage?

La régularisation pénalise volontairement la fonction de coût pour éviter qu'elle ne soit parfaite, ce qui permet de contrôler les calculs des paramètres du modèle et d'éviter ainsi le surapprentissage.

Quels sont les types de modèles mentionnés dans le script?

Les types de modèles mentionnés sont les modèles supervisés, les modèles non supervisés, et les modèles d'apprentissage par renforcement.

Quels sont les principaux algorithmes utilisés dans les modèles de régression supervisée?

Les principaux algorithmes incluent la régression linéaire, la régression logistique, et le support vector machine (SVM).

Quel est l'intérêt de l'utilisation de plusieurs algorithmes en même temps dans un ensemble?

L'utilisation conjointe de plusieurs algorithmes dans un ensemble permet de prendre le résultat de la majorité, ce qui améliore la précision des prédictions et contribue à éviter les erreurs individuelles des algorithmes.

Comment la forêt aléatoire est-elle utilisée dans l'apprentissage automatique?

La forêt aléatoire est une technique qui consiste à créer plusieurs arbres de décision de manière aléatoire et à prendre le résultat de la majorité pour améliorer la robustesse et la précision des prédictions.

Quel est le but de l'algorithme K-means dans les modèles non supervisés?

Le but de l'algorithme K-means est de segmenter les données en plusieurs groupes (segments) homogènes en utilisant un calcul de distance moyenne et en optimisant la fonction de coût pour maximiser la séparation entre les groupes.

Outlines

00:00

📊 Principes de la modélisation prédictive et importance de l'algèbre linéaire

Le paragraphe 1 introduit les concepts de modélisation prédictive à travers l'exemple de la régression linéaire. Il explique que le but d'un modèle est de s'approcher de la réalité et de fournir des probabilités de mesure ou d'occurrence d'un événement. L'importance de la distance dans la création de ces modèles est soulignée, ainsi que la nécessité de la vectorisation de l'espace et de l'utilisation de l'algèbre linéaire et du calcul matriciel pour faciliter ces mesures. Le texte discute également de l'évolution des modèles statiques au fil du temps, de la nécessité de les mettre à jour et de l'introduction de concepts comme l'apprentissage automatique, la validation croisée et la régularisation pour éviter le surapprentissage.

05:01

🔍 Les différents types d'apprentissage automatique et leurs algorithmes

Le paragraphe 2 explore les différents types d'apprentissage automatique, y compris l'apprentissage non supervisé, supervisé et l'apprentissage par renforcement. Il décrit les modèles de classification, de régression et les algorithmes associés tels que la régression linéaire, la régression logistique, KNN, les arbres de décision, le SVM et les réseaux neuronaux. Le paragraphe met en évidence la complexité croissante des modèles et des algorithmes, ainsi que l'évolution vers des approches comme les forêts aléatoires qui utilisent plusieurs algorithmes simultanément pour améliorer la précision des prédictions.

10:03

🌐 L'évolution de l'apprentissage automatique vers l'intelligence artificielle

Dans le paragraphe 3, l'auteur aborde l'idée de l'évolution de l'apprentissage automatique vers l'intelligence artificielle. Il explique comment les algorithmes ont évolué pour permettre aux modèles de s'adapter automatiquement à de nouvelles observations sans intervention humaine, en utilisant des techniques telles que la validation croisée et la régularisation pour éviter le surapprentissage. Le texte mentionne également l'utilisation de différents algorithmes ensemble dans des ensembles pour obtenir des résultats plus fiables. Enfin, il conclut en disant que l'apprentissage automatique est une méthode qui permet de trouver le meilleur modèle possible en utilisant une variété d'algorithmes et en évitant de surajuster les modèles aux données.

Keywords

💡Modélisation prédictive

La modélisation prédictive est une méthode utilisée pour prévoir des événements ou des résultats à l'avenir en s'appuyant sur des données historiques. Dans le script, elle est introduite comme la base de la création de modèles qui, en plus de s'adapter à la réalité, fournissent des probabilités d'occurrence d'un événement. Elle est illustrée par l'exemple de la régression linéaire.

💡Distance

La distance est un concept clé dans la modélisation, servant à comparer et classer des observations. Le script mentionne que même les modèles sophistiqués reposent sur le calcul de distances pour déterminer la classe ou l'appartenance d'une observation inconnu, par exemple en classifiant une observation comme étant plus proche de 'Jean' ou de 'Baie Jean'.

💡Vecteur

Dans le contexte de l'IA, un vecteur est une représentation mathématique d'une observation. Le script explique que chaque observation devient un vecteur, facilitant ainsi les calculs de distance et l'analyse des données, ce qui est crucial pour l'algèbre linéaire et le calcul matriciel.

💡Matrice

Une matrice est un ensemble de vecteurs organisés en lignes et colonnes. Le script indique que l'ensemble des observations est transformé en une matrice, ce qui facilite l'analyse statistique et les calculs de distances.

💡Modèle statique

Un modèle statique est un modèle dont les paramètres ne changent pas une fois qu'il est créé. Le script aborde l'idée que ces modèles peuvent devenir obsolètes au fil du temps, car les corrélations qu'ils utilisent évoluent.

💡Validation croisée

La validation croisée est une technique utilisée pour évaluer la performance d'un modèle de manière à éviter le surapprentissage. Le script décrit le processus de division de la base de données en échantillons d'apprentissage et de test, et la répétition de ce processus pour obtenir une évaluation plus robuste du modèle.

💡Régularisation

La régularisation est une méthode pour contrôler le surapprentissage en ajustant la fonction de coût d'un modèle. Le script explique que cela implique de pénaliser légèrement la fonction de coût pour éviter qu'elle ne soit parfaite et ainsi contrôler la complexité du modèle.

💡Hyperparamètres

Les hyperparamètres sont des paramètres du modèle qui ne sont pas appris à partir des données, mais qui sont définis par le modéliste. Dans le script, ils sont décrits comme un élément clé dans l'apprentissage automatique, servant à équilibrer entre précision et surapprentissage.

💡Apprentissage automatique

L'apprentissage automatique, ou machine learning, est le processus par lequel un modèle s'adapte et évolue sans intervention manuelle. Le script souligne que le but est de permettre à un modèle de s'adapter à de nouvelles observations sans surapprentissage, améliorant ainsi l'efficacité et la précision.

💡Régression linéaire

La régression linéaire est un type de modèle statistique utilisé pour établir une relation linéaire entre une variable dépendante et une ou plusieurs variables indépendantes. Le script l'utilise comme exemple de base pour introduire la modélisation prédictive.

💡Régression logistique

La régression logistique est un algorithme de classification binaire souvent utilisé dans le secteur financier et bancaire. Le script la mentionne comme un outil pour prévoir des événements binaires, comme vrai/faux ou bon/mauvais, en utilisant une fonction sigmoïde.

💡Algorithme KNN

L'algorithme K-NN (K plus proche voisins) est une méthode de classification utilisée pour déterminer l'appartenance d'une observation en se basant sur ses K voisins les plus proches. Le script l'illustre comme un exemple simple d'algorithme de classification.

💡Arbre de décision

Un arbre de décision est un modèle de classification hiérarchique qui sépare la population en fonction de variables spécifiques. Le script le décrit comme un outil populaire pour la modélisation, car il est facile à expliquer et à comprendre.

💡SVM

La SVM (Support Vector Machine) est un algorithme utilisé pour trouver la séparation optimale entre deux groupes de données. Le script la mentionne comme un outil pour trouver la ligne de séparation qui offre le plus grand écart entre les populations.

💡Réseaux neuronaux

Les réseaux neuronaux sont une forme d'apprentissage automatique inspirée du fonctionnement du cerveau humain. Le script les décrit comme composés de plusieurs couches, y compris des couches cachées, et capables de s'adapter à de complexes tâches d'apprentissage profond.

💡Forêt aléatoire

La forêt aléatoire est une technique qui consiste à créer plusieurs arbres de décision aléatoires et à prendre la décision de la majorité. Le script l'illustre comme un exemple d'utilisation d'un ensemble d'algorithmes pour améliorer les performances de prédiction.

💡K-Means

K-Means est un algorithme d'apprentissage non supervisé utilisé pour la segmentation de données en K groupes. Le script le mentionne comme un outil pour créer des segments homogènes en minimisant la distance au sein des groupes et en maximisant la distance entre eux.

Highlights

La modélisation prédictive vise à donner une probabilité de mesure ou d'occurrence d'un événement.

Les modèles reposent sur le calcul de distances, même pour les modèles sophistiqués.

L'observation inconnu est classifié en fonction de sa proximité avec des observations connues.

L'importance de l'algèbre linéaire et du calcul matricielle dans l'étude de l'intelligence artificielle.

Les modèles statiques deviennent obsolètes avec le temps, nécessitant de créer de nouveaux modèles.

Les modèles doivent évoluer automatiquement avec de nouvelles observations sans intervention manuelle.

La validation croisée est utilisée pour éviter le surapprentissage et valider la modélisation.

La régularisation pénalise la fonction de coût pour contrôler l'optimisation et éviter le surapprentissage.

Les hyperparamètres sont utilisés pour ajuster les modèles dans l'apprentissage automatique.

L'apprentissage automatique permet l'évolution des modèles avec de nouvelles observations sans intervention.

Différents types d'apprentissage : supervisé, non supervisé et renforcement.

Les modèles de régression linéaire et logistique sont simples mais importants dans la modélisation.

La régression logistique est utilisée pour la classification binaire et est souvent rencontrée en finance.

L'algorithme KNN est utilisé pour la classification en fonction des voisins les plus proches.

Les arbres de décision sont populaires pour leur simplicité et leur capacité à prédire la probabilité d'appartenance à une classe.

Le SVM (Séparateur à Vaste Marge) est utilisé pour trouver la ligne de séparation optimale entre populations.

Les réseaux neuronaux reproduisent le fonctionnement du cerveau humain avec des couches d'entrée, de sortie et cachées.

L'apprentissage profond implique l'utilisation de réseaux neuronaux avec plus de cinq couches cachées.

Les forêts aléatoires sont créées en combinant plusieurs arbres de décision aléatoires pour une meilleure précision.

L'algorithme K-Means est utilisé pour la segmentation en utilisant le calcul de distance moyenne.

L'apprentissage automatique vise à pénaliser délibérément les fonctions de coût pour permettre une adaptation automatique des modèles.

Transcripts

bonjour

nous avons vu lors du tour précédent les

principes de la modélisation prédictive

en général à travers l'exemple simple

d'une régression linéaire

le but d'un modèle est la simple a sion

de la réalité est un modèle prédictif

vise à nous donner une probabilité la

probabilité d'une mesure où la

probabilité d'occurrence d'un événement

nous avons également vu que la création

de ces modèles reposent sur du calcul de

distance même pour les modèles les plus

sophistiqués que nous verrons par la

suite tout ce que nous faisons est de

calculer des distances

le principe est simple si j'ai deux

observations connu a et b et une

troisième observation inconnu s'est

soumise à une classification

cissé est plus près d'eux à jean

conclurait qu'elle appartient

probablement à la même classe que

1,6 l et plus près de baie jean

conclurait qu'elle appartient

probablement à la même classe que b

c'est la raison pour laquelle nous

allons vectorisé notre espace et

utiliser du calcul matricielle afin de

faciliter ces mesures de distance chaque

observation devient un vecteur et

l'ensemble des observations devient une

matrice ce qui facilite considérablement

ces mesures de distance d'où

l'importance de l'algèbre linéaire et du

calcul matricielle dans l'étude de

l'intelligence artificielle

pendant des décennies encore aujourd'hui

on a fait des modèles statiques c'est à

dire que le modèle une fois fait ces

paramètres ne change plus pourtant

l'univers lui change et les corrélations

qui sont à l'origine du modèle évolue un

modèle va donc devenir obsolète avec le

temps

jusqu'à présent lorsqu'un modèle ne

fonctionnait plus la seule solution

était d'en refaire un autre

cela implique une nouvelle base de

données un nouveau processus de

modélisation avec tout ce que là ce que

cela coûte entend et on travaille

on a donc recherché un moyen pour que le

modèle évolue seul c'est à dire que les

paramètres soir calculé lorsque de

nouvelles observations sont ajoutés

cela présente cependant une difficulté

comment faire pour éviter le sur

apprentissage sans l'intervention

manuelle et le jugement d'un mode aux

leurs

la solution qui a été trouvée repose sur

les concepts de validation croisés et de

régularisation qu'ils définissent

l'apprentissage automatique

la validation croisé repose sur le

principe de validation que nous avons

déjà vu précédemment et qui consiste à

tester notre modèle sur un échantillon

qui n'a pas servir sa réalisation la

volonté d'automatisation nous a même

cependant à une approche légèrement

différente un échantillon de tests de

20% de notre base de travail est extrait

de manière aléatoire un modèle est

construit sur l'échantillon

d'apprentissage que sont les 80%

restants est testé sur l'échantillon de

test

mais nous retournons alors à notre base

de travail initial et recommençons avec

un autre échantillon de tests aléatoires

qui sera forcément différent et par

conséquent nous obtiendrons aussi un

modèle différent

cette étape sera répétée de 5 à 10 fois

au final nous aurons dix modèles

différents testé sur dix échantillons de

tests aléatoires

la comparaison des résultats obtenus sur

la variété des échantillons permet de

contrôler le risque de sur apprentissage

et de confirmer la validité de la

méthode de modélisation choisi

la régularisation est plus complexe elle

consiste à analyser l'optimisation de la

fonction de coo nous l'avons vu au début

du cours précédant la fonction de coo

d'une régression linéaire par exemple

est la minimisation de la somme des

distances entre chaque observation et la

droite représentant notre modèle

si la fonction de coo en l'occurrence la

minimisation des distances et pousser

trop loin je cours le risque de sur

apprentissage si pour cela que je vais

volontairement

pénaliser la fonction de coo afin

qu'elle ne soit jamais parfaite

cette régularisation a donc une

dimension mathématiques supplémentaire

qui permet de contrôler leurs calculs

des paramètres du modèle cette

régularisation est elle même une

fonction dont les paramètres sont

appelés hyper paramètres

dans le contexte de l'apprentissage

automatique

le travail du mode l'heure est donc à

présent non plus de calculs et des

paramètres mais de choisir et de définir

des hypers paramètres afin que le modèle

reste constamment dans l'espace contre 1

entre précisions et rappelle et sous

apprentissage et sur apprentissage

comme nous l'avons vu précédemment le

but de l'apprentissage automatique

l évolution du modèle avec l'ajout de

nouvelles observations sans

l'intervention du mot de l'heure on a

donc un gain considérable en efficacité

en temps et en précision sur la durée

résumons le monde de l'apprentissage

automatique grâce à cette image

on y retrouve les modèles non supervisé

avec en particulier leur utilisation

dans le domaine de la segmentation

puis nous avons les modèles supervisait

c'est à dire que l'on à une vérité une

référence observé dans le passé

nous y retrouvons les modèles de

classification réduction de

l'appartenance à une classe et les

modèles de régression prédiction d'une

dimension

nous voyons aussi une troisième famille

de modèles non nous n'avons pas encore

parlé qui sont les modèles

d'apprentissage parents renforcement ces

modèles sont essentiellement utilisés

dans les domaines des jeux et de la

robotique il consiste en un

apprentissage qui repose sur la punition

est la récompense

si ma fonction de coo consiste par

exemple à optimiser un nombre de points

je vais pénalisé l'algorithme pour toute

mauvaise action en lui retirant des

points et le récompenser pour toute

bonne action en ajouter des points

l'algorithme va apprendre très vite à

favoriser les bonnes actions et éviter

les mauvaises

voyons à présent les principaux

algorithmes que nous pourrons rencontrer

on retrouve dans ce tableau la même

classification à présent bien connue des

modèles superviser ou non supervisé des

régressions et des classifications

dans les modèles de régression

superviser nous allons retrouver la

régression linéaire que nous avons vu

précédemment

très souvent utilisé simple mais qu'il

ne faut pas sous-estimer

nous avons également la régression

logistique la régression logistique a

été et est encore le cheval de trait de

la modélisation financière et bancaire

entre autres bien que ce soit une

régression elle est souvent utilisée

comme classification binaire en effet on

utilise principalement lorsque la

prédiction recherché n'a que deux

valeurs possibles bon ou mauvais vrai ou

faux et ses

possibilités résumé par les deux

chiffres 0 et 1

dans ce cas il est impossible d'utiliser

une droite infinie sous peine d'avoir

plus vrai que vrai est plus faux que fo

on a donc trouvé le moyen mathématiques

de contraindre la droite de régression

entre les deux valeurs limites et on

obtient ainsi une sigmoïde

caractéristiques on utilise pour cela le

logarithme naturel de la probabilité

d'où le nom de régression logistique

dans la catégorie des classifications

l'algorithme le plus simple et le knm

pour qui n'est ni

l'appartenance d'une nouvelle

observation à une classe et décider en

fonction de l'appartenance de ses

voisins les plus proches cas étant une

variable on décidera si l'on prend les

trois quatre ou cinq plus proche voisin

sika nn et le plus simple les arbres de

décision sont les plus populaires en

effet ils sont faciles à expliquer on

parle de l'ensemble de la population que

l'on sépare au fur et à mesure en

fonction de variables et de ce de

séparation on crée ainsi des branches

des parents et des enfants les notes

terminaux sont appelés des feuilles le

but de l'algorithme est d'obtenir la

population la plus pure au sein d'une

feuille on pourra ainsi prédire la

probabilité d'appartenance à une classe

en fonction d'une série de conditions

faciles à expliquer

dans les modèles plus sophistiqués et

plus complexe on trouvera le svn support

vecteur machine ou séparateur avast

marge en français cet algorithme

consiste à trouver la ligne optimale de

séparation entre deux populations il le

fait en trouvant la ligne qui offre

l'espace le plus large entre les deux

populations à séparer

encore plus complexes sont les réseaux

neuronaux ceux ci sont composés de

neurones agencés en couches

le but est de reproduire le

fonctionnement du cerveau humain et la

transmission du signal de neurones en

europe il y à une couche d'entrée et une

couche de sortie entre lesquels sont

plusieurs couches caché au delà de cinq

couches cacher on parle de réseau

neuronal profond et donc d'apprentissage

profond ou diplôme le diplôme ning et

donc une méthode d'apprentissage

automatique qui repose sur l'utilisation

de réseaux neuronaux à plus de cinq

couches cacher

la question récurrente est toujours

celle de savoir quel modèle utilisé est

de trouver le meilleur modèle possible

au début des années 2000 un groupe de

chercheurs s'est posé la question

suivante

pourquoi chercher l'unique arbre de

décisions le plus efficace ne

pourrait-on pas créer de manière

aléatoire plusieurs arbres de décision

médiocre et prendre le résultat de la

majorité et cela fonctionne

merveilleusement bien parce qu il y a

plusieurs arbres cela c'est appeler une

forêt et parce que les arbres sont créés

de façon aléatoire cela c'est appeler

une forêt aléatoire aux hommes

le principe s'est étendue au delà des

arbres de décision et aujourd'hui il

n'est pas rare d'utiliser plusieurs

algorithmes en même temps dans ce que

l'on appelle un ensemble et prendre le

résultat de la majorité

cela fonctionne certes mais reste

cependant très gourmands en capacités de

calcul

dans la catégorie des algorithmes non

supervisé le plus souvent utilisés à des

fins de segmentation le plus connu est

le cas mills qui utilise un calcul de

distance moyenne en fonction de centre

aux ide positionné au hasard au début

puis enr positionnée en fonction de

l'optimisation de la fonction de coûts

qui vise à réduire au maximum la

distance entre des observations du même

segment est d'augmenter au maximum la

distance entre les centre-villes je vous

propose de regarder une animation qui

illustre la séparation d'une population

en quatre segments

les centres aux ide sont initialement

définie au hasard les distances avec

chaque observation sont calculés la

fonction de coo va ensuite modifier la

position des centres aux ide afin

d'optimiser les distances au sein d'un

segment et entre les segments on obtient

ainsi quatre segments les plus homogène

possible et les plus séparé possible

facile

ce que nous devons retenir c'est que

l'apprentissage automatique ou machine

learning est une pénalisation volontaire

de notre fonction coûts afin de

permettre un recul automatique des

paramètres d'un modèle après ajout de

nouvelles observations tout en évitant

le sur apprentissage

qu'il existe toute une variété

d'algorithmes de modélisation parmi

lesquels il nous faudra choisir ou pas

si nous décidons de les utiliser tous

ensemble

lors du prochain court no achèverons

notre cheminement qui nous amenait de la

décision humaine aux statistiques et à

la modélisation prédictive et nous

enverrons l'aboutissement qu'ils aient

l'intelligence artificielle h à bientôt