La trouvaille stupéfiante de chercheurs sur cette IA qui joue à Minecraft

Summary

Le script explore l'usage de Minecraft comme plateforme d'entraînement pour l'IA, mettant en avant le bot 'Voyageur' développé par Nvidia. Voyageur démontre une capacité d'exploration et d'apprentissage autonome sans assistance humaine, illustrant les progrès de l'apprentissage par renforcement et la créativité artificielle. La discussion couvre également les implications futures pour la robotique et l'apprentissage de vie, soulignant le potentiel de modèles de langage avancés pour améliorer les interactions avec les robots et les systèmes informatiques.

Takeaways

• 🧠 Le bot 'Voyageur' a été conçu par un chercheur de Nvidia pour explorer le monde de Minecraft sans assistance humaine.
• 🕵️‍♂️ Voyageur est capable d'effectuer des tâches complexes dans Minecraft qui pourraient être difficiles à comprendre même pour un humain non-expert du jeu.
• 🎮 Minecraft est utilisé pour entraîner l'IA car il offre un environnement ouvert avec des possibilités infinies, offrant un terrain de jeu idéal pour le développement d'IA.
• 🔧 Le concept de 'coding as action' est utilisé pour que Voyageur interprète le monde de Minecraft en texte, permettant à l'IA de prendre des décisions sans vision.
• 🤖 GPT4 est utilisé pour analyser la situation de Voyageur et proposer des objectifs à atteindre, basés sur l'inventaire et l'environnement de l'IA.
• 🔄 Voyageur dispose d'un mécanisme d'auto-vérification et d'itération pour apprendre de ses erreurs et améliorer ses actions.
• 📚 Lorsqu'une nouvelle compétence est découverte, Voyageur la stocke dans une 'bibliothèque', créant ainsi une mémoire persistante.
• 🏆 Voyageur a été le premier agent à atteindre l'épée en diamant dans Minecraft, démontrant son efficacité dans l'apprentissage et l'exploration du jeu.
• 🌐 L'IA est utilisée pour des applications bien au-delà de Minecraft, y compris dans le domaine de la robotique, où elle peut être utilisée pour apprendre à effectuer des tâches complexes.
• 🛠️ Les projets de Jim Fan, comme 'Métamorphe' et 'ISAAC', visent à développer des modèles de fondation pour contrôler et apprendre à partir de robots dans le monde réel.
• 🔮 Le projet 'Groot' a pour ambition de créer un modèle de fondation unique pour tous les robots, indépendamment de leur type ou de leur environnement.

Q & A

Qu'est-ce que le bot Voyager et à quoi est-il destiné?

Voyager est un bot d'IA conçu par un chercheur de Nvidia pour explorer le monde de Minecraft entièrement seul, sans assistance humaine. Il est capable d'effectuer des tâches que même un humain ne pourrait comprendre aussi rapidement.

Pourquoi Minecraft est-il utilisé pour entraîner l'IA?

Minecraft est utilisé car il s'agit d'un monde ouvert avec des possibilités infinies, offrant un environnement de jeu sans scénario fixe où l'IA peut s'autonomiser et développer des capacités de créativité et de résolution de problèmes.

Quel est le rôle de l'API JavaScript de Minecraft dans Voyager?

L'API JavaScript de Minecraft permet de convertir le monde 3D en texte, ce qui est essentiel pour Voyager qui n'a pas de capacité de vision. Ainsi, il peut envoyer des informations sur son inventaire et son environnement à GPT4.

Comment Voyager interagit-il avec GPT4?

Voyager envoie à GPT4 des informations sur son inventaire, son environnement et son état de santé dans le jeu. GPT4 analyse ces données et propose une tâche ou un objectif à atteindre, que Voyager doit essayer de réaliser.

Quelle est la méthode 'Coding as action' utilisée par Voyager?

La méthode 'Coding as action' est utilisée pour que Voyager envoie des actions à GPT4, qui les interprète et propose des tâches en conséquence. Cette méthode permet à Voyager d'apprendre et de s'améliorer en fonction des actions qu'il effectue dans Minecraft.

Comment Voyager vérifie-t-il les erreurs et apprend-il de celles-ci?

Voyager dispose d'un mécanisme d'autovérification et d'itération. Si des erreurs sont commises, il renvoie ces erreurs à GPT4, qui propose une action corrective. Cela permet à Voyager d'apprendre de ses erreurs et de s'améliorer.

Quel est l'objectif final de Voyager dans Minecraft?

L'objectif final de Voyager est d'explorer le plus possible le monde de Minecraft, de découvrir de nouveaux items et de développer des compétences, tout en construisant une mémoire persistante pour stocker ces compétences.

Quelle est la différence entre Voyager et d'autres agents autonomes dans Minecraft?

Voyager est capable d'apprendre et de s'améliorer sans avoir besoin d'être retuné ou spécialisé spécifiquement pour Minecraft. Il a atteint des niveaux de compétences élevés, comme la fabrication d'une épée en diamant, ce qui le place au-dessus d'autres agents autonomes.

Pourquoi les chercheurs sont-ils intéressés par le potentiel de Voyager au-delà de Minecraft?

Les chercheurs voient dans Voyager un pas en avant vers l'apprentissage lifelong et l'application de modèles de langage pour effectuer des actions utiles dans le monde réel. Leur ambition est de transposer les capacités de Voyager dans des robots et des agents autonomes pour résoudre des tâches complexes.

Quels sont les projets connexes à Voyager menés par le chercheur Jim Fan et son équipe?

Jim Fan et son équipe travaillent sur des projets comme Métamorphe, qui vise à contrôler des milliers de robots, et Groot, qui a pour objectif de créer un modèle de fondation unique pour tous les robots, indépendamment de leur environnement ou de leur usage.

Quels sont les défis et les limitations actuels de Voyager et des modèles de langage similaires?

Les défis et les limitations comprennent l'incapacity à planifier de manière réelle et à anticiper des actions pour atteindre des objectifs lointains. Les modèles de langage, comme Voyager, sont principalement capables d'adapter des plans et des objectifs vus dans leurs ensembles de données à des situations données.

Outlines

00:00

🤖 L'IA Voyager et son entraînement dans Minecraft

Le paragraphe introduit Voyager, un bot IA développé par Nvidia, capable d'explorer Minecraft sans assistance humaine. Il effectue des tâches complexes que les humains ne pourraient comprendre aussi rapidement. L'IA est utilisée dans Minecraft pour ses propriétés d'open-world, offrant des possibilités infinies et un terrain de jeu pour le développement de l'IA. Le script mentionne également une offre de serveur de Minecraft par Hostinger, ainsi que des projets précédents de Microsoft utilisant Minecraft pour le renforcement de l'apprentissage. Voyager est spécialisé dans l'exploration de Minecraft, utilisant une méthode appelée 'coding as action' pour convertir le monde 3D en texte, ce qui lui permet d'envoyer des informations à GPT4, qui analyse la situation et propose des objectifs à atteindre.

05:03

🔨 La capacité d'auto-correction de Voyager et son apprentissage persistant

Ce paragraphe détaille comment Voyager est capable de corriger ses erreurs à l'aide d'une boucle d'autovérification. Si Voyager ne parvient pas à créer un outil, comme une hache en acacia qui n'est pas possible, il reçoit des instructions de GPT4 pour effectuer une action corrective. Voyager a également la capacité de stocker de nouvelles compétences dans une 'bibliothèque', créant ainsi une mémoire persistante. Le paragraphe mentionne également le succès de Voyager dans l'exploration de l'arbre technologique de Minecraft, atteignant des objectifs avancés comme la fabrication d'une épée en diamant.

10:04

🌐 Les implications du projet Voyager pour l'apprentissage de vie et l'IA

Le paragraphe discute des implications plus larges du projet Voyager, soulignant son rôle dans l'évolution des agents autonomes d'IA. Jim Fan, le chercheur à l'origine de Voyager, a une vision d'IA complète, capable d'apprendre et d'évoluer dans le monde réel, similaire à des personnages de science-fiction comme Wall-E ou les robots de Star Wars. Il mentionne d'autres projets comme Métamorphe et ISAACIM, qui cherchent à appliquer la même logique d'apprentissage de vie aux robots, en utilisant des modèles de fondation pour contrôler un large éventail d'actions et d'environnements.

15:06

🚀 Les défis et les perspectives d'avenir pour l'IA autonome

Ce dernier paragraphe aborde les défis actuels et les perspectives d'avenir pour l'IA autonome. Il souligne que les modèles actuels, bien que performants dans l'adaptation de plans et d'objectifs vus dans leurs ensembles de données, manquent de capacité à planifier de manière réelle et à anticiper des actions pour atteindre des objectifs lointains. Il mentionne le Visuus Challenge comme exemple d'un problème passionnant dans le domaine de l'IA, où un étudiant a réussi à déchiffrer un manuscrit ancien en utilisant l'IA.

Keywords

💡Voyageur

Voyageur est le nom d'un bot d'IA conçu par un chercheur de Nvidia, qui explore le monde de Minecraft sans assistance humaine. Ce bot est capable d'effectuer des tâches complexes dans le jeu, démontrant une intelligence artificielle autonome. Dans le script, il est utilisé comme exemple pour parler de l'avancée de l'IA dans les jeux et son potentiel d'application dans des contextes plus vastes, comme la robotique.

💡Minecraft

Minecraft est un jeu vidéo de type 'sandbox' où les joueurs peuvent explorer, construire et interagir avec un monde en 3D. Dans le script, il est mentionné comme un environnement de test pour l'entraînement d'IA, en raison de sa complexité et de ses possibilités infinies d'interaction, ce qui permet aux chercheurs d'étudier le comportement et l'apprentissage des algorithmes d'IA.

💡Intelligence Artificielle (IA)

L'Intelligence Artificielle (IA) fait référence à la capacité d'un ordinateur de raisonner, de décider et d'apprendre de manière similaire à un humain. Dans le script, l'IA est explorée à travers l'exemple de Voyageur, un bot capable d'apprendre et d'interagir avec l'environnement de Minecraft, illustrant les progrès de l'IA dans la résolution de problèmes et la prise de décisions.

💡Apprentissage par renforcement

L'apprentissage par renforcement est une forme d'apprentissage automatique où un algorithme apprend à atteindre un objectif en interagissant avec un environnement. Dans le script, il est mentionné que des projets comme Malmo utilisent Minecraft pour l'apprentissage par renforcement, permettant aux IA de développer des stratégies pour résoudre des problèmes dans le jeu.

💡Coding as Action

Coding as Action est une méthode utilisée par l'IA Voyageur pour explorer et interagir avec Minecraft. Elle implique la conversion du monde 3D en texte, permettant à l'IA sans vision de comprendre et de réagir à l'environnement. Dans le script, cette méthode est utilisée pour envoyer des informations à GPT4, qui analyse la situation et propose des actions à Voyager.

💡GPT4

GPT4 est un modèle de langage IA mentionné dans le script, qui reçoit des informations textuelles de Voyager et analyse la situation pour proposer des actions. Il est un exemple de l'utilisation d'IA pour la prise de décisions et la planification dans un environnement complexe comme Minecraft.

💡Autovérification

L'autovérification est un mécanisme utilisé par Voyager pour apprendre de ses erreurs et s'améliorer. Si Voyager commet une erreur, comme essayer de créer une hache en acacia (impossible dans Minecraft), il renvoie la situation à GPT4 pour une action corrective. Cette capacité d'auto-correction est cruciale pour l'apprentissage et l'amélioration continue de l'IA.

💡Mémoire persistante

La mémoire persistante est la capacité de Voyager à stocker et à retenir les compétences qu'il a apprises, comme la fabrication d'une pioche en fer. Cette capacité est importante pour l'apprentissage de l'IA, car elle permet à l'agent de se souvenir des solutions efficaces et de les réutiliser dans le futur, illustrant l'aspect de 'lifelong learning' mentionné dans le script.

💡Robotique

La robotique est l'application de l'IA et des technologies de contrôle à la conception et à la construction de robots. Dans le script, il est question de l'IA Voyageur comme une étape vers l'apprentissage et le développement de robots capables d'effectuer des tâches complexes dans le monde réel, comme ouvrir une porte ou nager, montrant le potentiel de transfert des compétences d'apprentissage d'IA d'un environnement virtuel à un environnement physique.

💡Lifelong Learning (Apprentissage de la vie)

L'apprentissage de la vie est un concept où une IA continue d'apprendre et de s'améliorer au fil du temps, tout comme un être humain. Dans le script, il est utilisé pour décrire l'ambition de créer des modèles d'IA capables d'apprendre et de s'adapter à de nouvelles situations sans avoir besoin de réentraînement complet, montrant l'évolution des capacités d'apprentissage des IA au-delà des tâches spécifiques.

Highlights

Voyageur est un bot d'IA conçu par Nvidia, capable d'explorer Minecraft sans assistance humaine.

Voyageur peut effectuer des tâches complexes dans Minecraft plus rapidement qu'un humain.

L'utilisation de Minecraft dans l'entraînement d'IA est plus répandue qu'anticipé, avec des projets comme Malmo de Microsoft.

Voyageur est spécialisé dans l'exploration de Minecraft, découvrant des items uniques et apprenant de ses erreurs.

Le bot utilise une API JavaScript pour convertir la vision 3D de Minecraft en texte, étant donné qu'il n'a pas de vision.

GPT4 est utilisé pour analyser la situation de Voyageur et proposer des objectifs à atteindre dans Minecraft.

Voyageur possède un mécanisme d'autovérification pour apprendre de ses erreurs et itérer sur ses actions.

Le bot a un système de mémoire persistante pour stocker de nouvelles compétences découvertes, comme la fabrication d'une pioche en fer.

Voyageur a atteint le sommet de l'arbre technologique de Minecraft, en obtenant par exemple une épée en diamant.

Minecraft est utilisé pour tester et entraîner des IA en raison de son monde ouvert et de ses possibilités infinies.

Les chercheurs explorent comment l'IA peut casser les barrières de la créativité dans Minecraft, un environnement similaire au monde réel simplifié.

Le concept de lifelong learning (apprentissage de vie) est appliqué à Voyageur, montrant le potentiel des modèles de langage pour effectuer des actions utiles.

Des start-up comme Adept travaillent sur des modèles d'action pour automatiser des tâches, comme réserver un vol ou transformer un tableau.

Jim Fan, le chercheur derrière Voyageur, a une vision d'IA autonome capable d'apprendre et évoluer dans le monde réel, similaire à des agents dans Star Wars.

Le projet Metamorphe vise à contrôler des milliers de robots en utilisant des modèles de fondation pour simuler la physique humaine.

ISAAC, un autre projet, apprend à une structure humaine à maîtriser 10 ans d'arts martiaux en seulement 3 jours, améliorant la réalisme des personnages dans les jeux vidéo.

Le projet GROOT, dirigé par Jim Fan, vise à créer un modèle de fondation unique pour tous les robots, indépendamment de leur environnement ou de leur cas d'utilisation.

Les démonstrations d'IA dans Minecraft montrent les limites actuelles de la planification et de l'anticipation des actions par rapport à ce que peuvent faire les humains.

Transcripts

voyageer c'est le nom de ce bot de cette

IA conçu par un chercheur de Nvidia pour

explorer le monde de Minecraft

complètement tout seul sans assistance

humaine il parvient à effectuer des des

tâches qu'un humain ne connaissant pas

le jeu aurait du mal à comprendre aussi

vite que lui mais après tout on pourrait

se dire ça va rien nous apporter de

l'utiliser dans Minecraft mais en fait

le plus intéressant se cache dans les

détails pourquoi Minecraft est si

utilisé dans l'entraînement d'IA

jusqu'ici on avait plutôt l'habitude de

prendre un exemple le jeu de Go ou les

échecs et surtout pourquoi voyageer

pourrait avoir des conséquences bien

plus importantes que celles d'un simple

jeu comme Minecraft notamment en

robotique mais juste avant j'ai un

message pour les bidouilleurs de

l'audience qui ont un serveur Linux qui

doit tourner jour et nuit vous avez

sûrement regarder du côté des serveurs

privés virtuels plus performants que des

petits serveurs mutualisés à des prix

très abordables sans payer non plus trop

cher si c'est votre cas hostinger et

leur config très compétitive va vous

intéresser pour 649 par mois vous avez

un CPU à de 8 Go de RAM 100 Go d'espace

disque sur nvme et 8 t de bande passante

pour un WordPress un plex ou un serveur

Minecraft vous êtes large surtout que

vous aurez un réseau symétrique de 300 m

des sauvegardes hebdomadaires gratuites

ce qui est assez rare une protection

antid dos très solides et même une a

spécialisé sur la dog do Stinger si vous

êtes pas un expert Linux avec le code

underscore vous aurez encore 10 % de

réduction sur tous les plans de 12 mois

ou plus le lien est dans la description

et on reprend ça n'est pas la première

fois que Minecraft est utilisé pour

tester et entraîner des IA Microsoft a

qui à partir Minecraft le fait depuis

très longtemps avec son projet malemo

notamment qui est vraiment un projet de

2016 donc c'est un vieux projet pour des

chercheurs en nia notamment en

renforcement learning en en

apprentissage

réenforcé voilà Tiffanie l'a fait dans

notre émission est-ce que tu peux nous

raconter un peu ce que tu as fait

c'était au tout début de de GPT et du

coup ben en fait quand j'envoyais des

messages dans le dans le chat en bas ça

discutait directement avec gpt3 qui lui

ensuite interprétait ce que je disais

pour générer le code qui faisait

exécuter au bot une action donc Tiffany

a utilisé Minecraft comme comme support

pour ses recherches et pour ses

démonstration d'IA plus récemment open a

a utilisé Minecraft pour entraîner nia à

l'aide de vidéos donc apprendre de

gameplay humain voir un peu ce qui font

comme action et essayer de reproduire à

l'identique c'est c'est ce qu' s'appelle

la méthode vipit donc pour VI

prétraining lia qui nous intéresse

aujourd'hui elle s'appelle voyager et

elle est très spéciale ça n'est pas une

nouvelle méthode pour collecter un max

de données et se construire un un

immense datadet ou bien pour je sais pas

entraîner une nia à la reconnaissance

d'image pas du tout d'ailleurs voyager

ne possède pas de capacité de vision

voyager a pour unique but d'explorer au

maximum Minecraft en fait les chercheurs

vont observer combien d'items uniques

voyager est capable de découvrir et

surtout en combien d'itération pourquoi

ça c'est pour savoir si en gros elle

galère si elle a besoin de recommencer

beaucoup ou si plutôt elle est faste et

àelle prend très très vite en fait ils

utilisent une méthode qui s' appelle

coding as action et la première étape

c'est qu'ils utilisent une API en en

Javascript de Minecraft et en fait elle

a pour but de convertir le monde 3D que

nous on voit dans Minecraft en texte

parce que je le rappelle voyager pas de

vision donc c'est une première étape

importante grâce à ça en fait voyager va

envoyer à gpt4 à un instant T déjà un ce

qu'il y a dans son inventaire ce qu'il y

a autour de lui dans son environnement

et aussi un peu ses constantes de santé

c'est comment comment il va dans le jeu

c'est les trois choses qu'il envoie à

gpt4 et à partir de ces éléments vous

vous vous le voyez là à l'écran gpt4

analyse la situation et il va proposer

une tâche un objectif à atteindre pour

voyageur

je prends un exemple tu m'envoies que tu

as faim ta ta jauge de faim est très

très élevée ou ta santé est très basse

comme vous voulez tu as un cochon à côté

de toi tu m'as dit tente de tuer le

cochon c'est vraiment ça c'est c'est le

raisonnement de gpt4 donc la première

ligne c'est raisonnement et si si on

regarde la ligne suivante c'est tâche

tue le cochon et voyageer via la pay qui

est utilisé va effectuer la f on peut

imaginer que tu es le cochon en fait

c'est dirige-toi vers le cochon quand

Quand tu es dans laarè tape avec ton

épée tu voisouis complètement ça c'est

la base euh mais en fait il y a d'autres

agents autonomes dans Minecraft qui sont

capables euh de faire ça c'est pas la

spécificité de voyageer la deuxième

étape c'est l'étape d'autovérification

en fait voyager a un mécanisme de

vérification et d'itération c'est-à-dire

que voyager peut faire des erreurs il va

faire des choses qui ne marchent pas

mais il va apprendre de ces erreurs pour

plus les faire et en fait s'il y a des

erreurs il le renvoie à gpt4 dans une

boucle gpt4 lui dit H comment faire et

il va lui proposer une action corrective

les chercheurs ont explicité un exemple

de ça pour bien qu'on comprenne comment

il fait de la correction d'erreurs à un

moment gpt4 a proposé à voyageer de

créer une hache en

acacia sauf que ce n'est pas possible de

faire une hache en Acassia et c'est

plutôt logique et en fait c'est vrai oui

voyager s'est aperçu que ça fonctionnait

pas il avait toujours pas de H en acacia

dans son inventaire donc du coup il y a

une boucle d'autovérification et du coup

gpt4 lui a dit bon ben fait une hache en

bois ça ira très bien et en fait cette

étape qui pour nous humains nous paraît

tout à fait anodine en fait c'est l'une

des premières grandes intelligences au

sens informatique du terme très

importante dans le fait que voyager est

particulièrement capable d'avancer loin

dans le jeu la troisème étape et la

dernière étape c'est qu'une fois qu'il a

appris qu'il a découvert une nouvelle

compétence mature par exemple faire une

pioche en fer voyager il a un mécanisme

pour la stocker dans une bibliothèque

c'est-à-dire que il se construit une

mémoire persistante mais qui garde à

tout jamais tant qu'il il est encore en

vie et on va le voir ça marche super

bien regardez ce graphique c'est c'est

le graphique de l'arbre technologique de

Minecraft et c'est comment les

différents agents ont sont parvenus à à

parcourir l'arbre technologique de

Minecraft voyager est tout en haut et si

vous voyez bien voyager est d'après les

les chercheur le premier agent à avoir

atteint l'épée en diamant pour vous

donner une idée si vous n'avez jamais

jamais joué à Minecraft c'est que quand

même entre les petits exemples que là on

a donné en mode récolter de trucs en

bois et et créer une pioche en bois et

obtenir des outils en diamant il y a un

gap il y a besoin de fouiller de galérer

de quasiment de créativité en fait pour

débloquer des choses c'est super long et

ce qui est intéressant c'est celle qui

était juste en dessous donc on peut se

dire pas si loin en fait c'est toujours

voyageer bièque Labie donc vraiment en

fait les autres ils sont euh vachement

plus en dessous quoi ce qui est

incroyable c'est que voyager est trop

fort sans avoir failli tuner de modèle

on n pas pris un modèle et on l'a pas

façonné en disant tu vas être unea

spécialisée dans Minecraft on y

reviendra juste après mais c'est au

final ce qui est le plus intéressant euh

dans cette histoire mais alors pour

revenir à notre question pourquoi

utiliser Minecraft euh pour les

recherches on y a de partout depuis

plusieurs années parce queil y a il y a

encore quelques années dans les années

2010 2015 on avait plutôt l'habitude de

de voir des challenges sur les jeux de

jeu de Go notamment avec alpago qui a

battu un un professionnel du jeu en 2015

ou avec les échec notamment alpha Z0

stock fish qui est un un moteur Open

Source bref on a plutôt l'habitude de

jeu en d'apparence très logique c'est

d'abord une question que je voulais te

poser à toi la première concernée

Tiffanie pourquoi utiliser Minecraft

rien que le fait que ce soit un open

world donc un un monde complètement

ouvert avec des possibilités

complètement infinies sans scénario tout

ass ça fait que ben comme tu l'as dit

c'est un playground quoi l'intelligence

artificielle elle peut un peu faire ce

qu'elle veut et ce qui est très beau

avec Minecraft je trouve c'est que il y

a pas de limite dans ce que tu peux

créer quoi pour pour les ceux qui

connaissent pas ça peut aller vraiment

très très très loin avec des circuits et

des redstone et voilà je vais rentrer un

dans le technique mais en vrai tu peux

recréer de la logique tu des portes

logiques tu peux recréer un ordinateur

dans mineft tu peux recréer un

ordinateur tu peux recréer une

calculatrice en fait rien qu'avec tes

circuits de 0 et de 1 et donc c'est très

intéressant de voir comment une

intelligence artificielle peut arriver à

casser cette barrière de la créativité

pour arriver à ne serait-ce que

comprendre le jeu mais ensuite créer des

choses quoi Minecraft d'une certaine

manière c'est une approximation ultra

simplifiée du monde réel ouais et tout

ce qui ce qu'on voit dans ce genre de

papier on ne rêverait même pas et que

des robots en soit capable dans le vrai

monde là vous vous dites pas que demain

un robot de Boston Dynamics il peut

aller miner du charbon et forger et

forger une épée tu vois comme tu disais

c'est potentiellement la meilleure

approximation qu'on a qui est

suffisamment simple pour que des modèles

existants puissent faire joujou dedans

et là où vous voyez juste sur le côté

euh c'est une approximation un peu du du

monde réel et du monde physique c'est

que ce que fait voyager les chercheurs

ont décidé d'appeler ça le lifelong

learning donc un petit peu le

l'apprentissage de la vie euh avec un un

LLM alors avec son système de tâche et

et d'autovérification dont on a parlé ça

montre l'énorme potentiel que vont avoir

les modèles de langage pour effectuer

des actions utiles dans sur nos

ordinateurs on a déjà un peu parlé avec

au moment où on a parlé de rabbit donc

c'était cet assistant on a parlé de

modèle d'action et c'est également ce

que tente de faire une autre start-up

alors j'ai choisi de vous parler de

celle-là mais il y en a différentes qui

s'appelle adept c'est une start-up

cofondée par un ancien de Open et et de

Google comme souvent et en fait eux ils

mettent au point un modèle d'action qui

s'appelle Act one et c'est exactement

pour ça pour automatiser certaines

tâches alors pour l'instant il montre

des exemples pour réserver un vol ou

pour transformer un tableau là

actuellement on pas

ça va cher ma vie changer ma vie

actuellement mais mais honnêtement ça

pourrait avoir de de très gros impacts

sur nos nos façons de travailler si

évidemment ces modèles commencent à

prendre un peu forme mais moi ce que je

vous propose c'est de voir un peu plus

loin notamment du côté du chercheur de

Nvidia qui est avec son équipe à

l'origine de voyager il s'appelle Jim

fan en fait pour lui voyager c'est

qu'une étape dans l'évolution des des

agents autonomes d'intelligence

artificielle et en fait ce qui est très

intéressant c'est quand il dit agent il

pense évidemment au monde virtuel comme

on l'a vu dans Minecraft mais lui il

pense aussi comme ce que tu disais au

monde réel parce que à côté de mettre en

place une IA capable d'apprendre à

évoluer tout seul juste au contact de

son environnement il a mené d'autres

travaux notamment avec des robots il a

entraîné des bonels pour que des robots

puisse répéter 10000 fois le même geste

par exemple ouvrir une porte et 10000

fois avec des situation et des

comportements différents pourquoi il a

fait ça parce qu'il a envie que de sorte

que la 10000è et une fois le robot si il

connaît pas exactement la typologie de

porte qui soit dans des situations

différentes il soit quand même capable

de l'ouvrir et pour faire ça je peux pas

très brièvement parler de deux projets

le premier projet c'est métamorphe en

fait c'est un modèle de fondation pour

contrôler des milliers de robots et qui

sacheent par exemple monter dans des

escaliers traverser dans un champ et en

fait ça va simuler un peu la la physique

humaine des bras des jambes et cetera

pour l'appliquer à des robots il y a un

autre projet super intéressant où il il

apprend à une structure humaine en 3

jours à maîtriser 10 ans d'arts martiaux

c'est super impressionnant ça permet de

faire des des des personnages vachement

plus réalistes dans dans les jeux vidéos

concrètement ça donne lieu à des des

robots aussi fous que ce que vous allez

pouvoir voir à l'écran qui sont vraiment

capable de se déplacer quasiment comme

des humains alors là ils ont des roues

mais moi je trouve ça encore plus

impressionnant mais moi ce que je trouve

difficile ile c'est de savoir tu vois on

a vu du Boston Dynamics ou des choses

comme ça c'est de savoir quelle barrière

ont été franchies tu vois entre ça et

quelqu'un qui marche justement pourquoi

je vous parle de ça parce que ça paraît

très loin de Minecraft et de voyageur et

en fait Jim fan donc c'est un ponte de

Lia chez nvilia il a une vision celle un

jour d'avoir des IA aussi complètes que

ce que pourrait faire un un Wally ou un

il cite aussi les les robots de dans

dans Star Wars et en fait pour ça il a

rassemblé ses différentes briques donc

la prère que je vous ai présenté en long

aujourd'hui voyageer et puis deux autres

sur lesqueles je je me suis pas attardé

vous allez pouvoir le voir sur ce sur le

schéma donc voilà on voit métamorphe

dont je vous ai très très rapidement

parlé un autre qui s'appelle isacim qui

est très impressionnant aussi et et et

voyageur et donc il a son petit

graphique et son but c'est d'arriver à

un modèle de fondation pour les robots

et c'est le projet groot ça a été

annoncé dans la dernière conférence de

de Nvidia et en fait son projet c'est

que quelques soit le robot autonome quel

que soit l'environnement dans lequel il

évolu quel que soit le le cas d'usage

tous les robots utilisent le même modèle

fondamental le même modèle de fondation

et en fait à l'image d'un modèle de

langage le cas particul d'un robot soit

juste un prompte différent comme si nous

on utilise un modèle de langage parfois

on va lui demander une recette de

cuisine et parfois on va lui demander de

nous résumer un texte et ben là son

ambition c'est de faire la même chose de

prendre autant de hauteur de vue pour

faire un modèle de fond

avec tous les robots et en fait il

aimerait que ce qui est possible de

faire apprendre à voyageur virtuellement

dans Minecraft il puissent le faire dans

le monde réel non plus du coup avec des

instructions avec du code mais avec des

instructions qui agissent sur des

actionneurs sur des moteurs et donc qui

contrôl des robots et on se rappelle que

le responsable en chef de ce projet qui

s'appelle groot est à l'origine de

voyageurs oui c'est la m et donc moi ce

qui me tue c'est qu'en gros aujourd'hui

Minecraft sert entraîner des robots

humanoïdes pour plus tard il y a quand

même un problème dis-moi sans vouloir

plomber l'ambiance euh les

démonstrations magnifiques que vous avez

vu actuellement dans Minecraft ont quand

même une limite fondamentale c'est que

elle marche avec des LLM en réalité ce

que font ces modèles c'est adapter des

des plans et des objectifs qu'ils ont vu

dans leur dataset euh à une situation

donnée donc en fait ils ont pas de

réelle capacité à planifier ils ont

plutôt des des grandes capacités de

compression de la donnée qui leur permet

d'interpoler entre tous les objectifs et

entre toutes les planifications qui sont

déjà vues quelque chose qui colle à peu

près en fait ce qui serait intéressant

et ce que fait un humain c'est que on a

une vision plus large sur euh l'arbre de

technologie et donc se dire ok pour

pouvoir atteindre un objectif

potentiellement plus lointin pour

pouvoir anticiper une action j'ai besoin

de faire ça et donc c'est ça qui manque

et ça cette étape euh en effet euh c'est

un problème euh que voyager ne sait pas

résoudre et que plein d'autres choses ne

se pas résoudre sur lesquelles les

chercheurs travaillent d'HP en ce moment

et c'est un problème passionnant si vous

avez pas suivi l'histoire du visuus

challenge ou comment un papyus a été

décrypté par un étudiant en nia allez

voir cette vidéo c'était vraiment

passionnant