La trouvaille stupéfiante de chercheurs sur cette IA qui joue à Minecraft
Summary
TLDRLe script explore l'usage de Minecraft comme plateforme d'entraînement pour l'IA, mettant en avant le bot 'Voyageur' développé par Nvidia. Voyageur démontre une capacité d'exploration et d'apprentissage autonome sans assistance humaine, illustrant les progrès de l'apprentissage par renforcement et la créativité artificielle. La discussion couvre également les implications futures pour la robotique et l'apprentissage de vie, soulignant le potentiel de modèles de langage avancés pour améliorer les interactions avec les robots et les systèmes informatiques.
Takeaways
- 🧠 Le bot 'Voyageur' a été conçu par un chercheur de Nvidia pour explorer le monde de Minecraft sans assistance humaine.
- 🕵️♂️ Voyageur est capable d'effectuer des tâches complexes dans Minecraft qui pourraient être difficiles à comprendre même pour un humain non-expert du jeu.
- 🎮 Minecraft est utilisé pour entraîner l'IA car il offre un environnement ouvert avec des possibilités infinies, offrant un terrain de jeu idéal pour le développement d'IA.
- 🔧 Le concept de 'coding as action' est utilisé pour que Voyageur interprète le monde de Minecraft en texte, permettant à l'IA de prendre des décisions sans vision.
- 🤖 GPT4 est utilisé pour analyser la situation de Voyageur et proposer des objectifs à atteindre, basés sur l'inventaire et l'environnement de l'IA.
- 🔄 Voyageur dispose d'un mécanisme d'auto-vérification et d'itération pour apprendre de ses erreurs et améliorer ses actions.
- 📚 Lorsqu'une nouvelle compétence est découverte, Voyageur la stocke dans une 'bibliothèque', créant ainsi une mémoire persistante.
- 🏆 Voyageur a été le premier agent à atteindre l'épée en diamant dans Minecraft, démontrant son efficacité dans l'apprentissage et l'exploration du jeu.
- 🌐 L'IA est utilisée pour des applications bien au-delà de Minecraft, y compris dans le domaine de la robotique, où elle peut être utilisée pour apprendre à effectuer des tâches complexes.
- 🛠️ Les projets de Jim Fan, comme 'Métamorphe' et 'ISAAC', visent à développer des modèles de fondation pour contrôler et apprendre à partir de robots dans le monde réel.
- 🔮 Le projet 'Groot' a pour ambition de créer un modèle de fondation unique pour tous les robots, indépendamment de leur type ou de leur environnement.
Q & A
Qu'est-ce que le bot Voyager et à quoi est-il destiné?
-Voyager est un bot d'IA conçu par un chercheur de Nvidia pour explorer le monde de Minecraft entièrement seul, sans assistance humaine. Il est capable d'effectuer des tâches que même un humain ne pourrait comprendre aussi rapidement.
Pourquoi Minecraft est-il utilisé pour entraîner l'IA?
-Minecraft est utilisé car il s'agit d'un monde ouvert avec des possibilités infinies, offrant un environnement de jeu sans scénario fixe où l'IA peut s'autonomiser et développer des capacités de créativité et de résolution de problèmes.
Quel est le rôle de l'API JavaScript de Minecraft dans Voyager?
-L'API JavaScript de Minecraft permet de convertir le monde 3D en texte, ce qui est essentiel pour Voyager qui n'a pas de capacité de vision. Ainsi, il peut envoyer des informations sur son inventaire et son environnement à GPT4.
Comment Voyager interagit-il avec GPT4?
-Voyager envoie à GPT4 des informations sur son inventaire, son environnement et son état de santé dans le jeu. GPT4 analyse ces données et propose une tâche ou un objectif à atteindre, que Voyager doit essayer de réaliser.
Quelle est la méthode 'Coding as action' utilisée par Voyager?
-La méthode 'Coding as action' est utilisée pour que Voyager envoie des actions à GPT4, qui les interprète et propose des tâches en conséquence. Cette méthode permet à Voyager d'apprendre et de s'améliorer en fonction des actions qu'il effectue dans Minecraft.
Comment Voyager vérifie-t-il les erreurs et apprend-il de celles-ci?
-Voyager dispose d'un mécanisme d'autovérification et d'itération. Si des erreurs sont commises, il renvoie ces erreurs à GPT4, qui propose une action corrective. Cela permet à Voyager d'apprendre de ses erreurs et de s'améliorer.
Quel est l'objectif final de Voyager dans Minecraft?
-L'objectif final de Voyager est d'explorer le plus possible le monde de Minecraft, de découvrir de nouveaux items et de développer des compétences, tout en construisant une mémoire persistante pour stocker ces compétences.
Quelle est la différence entre Voyager et d'autres agents autonomes dans Minecraft?
-Voyager est capable d'apprendre et de s'améliorer sans avoir besoin d'être retuné ou spécialisé spécifiquement pour Minecraft. Il a atteint des niveaux de compétences élevés, comme la fabrication d'une épée en diamant, ce qui le place au-dessus d'autres agents autonomes.
Pourquoi les chercheurs sont-ils intéressés par le potentiel de Voyager au-delà de Minecraft?
-Les chercheurs voient dans Voyager un pas en avant vers l'apprentissage lifelong et l'application de modèles de langage pour effectuer des actions utiles dans le monde réel. Leur ambition est de transposer les capacités de Voyager dans des robots et des agents autonomes pour résoudre des tâches complexes.
Quels sont les projets connexes à Voyager menés par le chercheur Jim Fan et son équipe?
-Jim Fan et son équipe travaillent sur des projets comme Métamorphe, qui vise à contrôler des milliers de robots, et Groot, qui a pour objectif de créer un modèle de fondation unique pour tous les robots, indépendamment de leur environnement ou de leur usage.
Quels sont les défis et les limitations actuels de Voyager et des modèles de langage similaires?
-Les défis et les limitations comprennent l'incapacity à planifier de manière réelle et à anticiper des actions pour atteindre des objectifs lointains. Les modèles de langage, comme Voyager, sont principalement capables d'adapter des plans et des objectifs vus dans leurs ensembles de données à des situations données.
Outlines
🤖 L'IA Voyager et son entraînement dans Minecraft
Le paragraphe introduit Voyager, un bot IA développé par Nvidia, capable d'explorer Minecraft sans assistance humaine. Il effectue des tâches complexes que les humains ne pourraient comprendre aussi rapidement. L'IA est utilisée dans Minecraft pour ses propriétés d'open-world, offrant des possibilités infinies et un terrain de jeu pour le développement de l'IA. Le script mentionne également une offre de serveur de Minecraft par Hostinger, ainsi que des projets précédents de Microsoft utilisant Minecraft pour le renforcement de l'apprentissage. Voyager est spécialisé dans l'exploration de Minecraft, utilisant une méthode appelée 'coding as action' pour convertir le monde 3D en texte, ce qui lui permet d'envoyer des informations à GPT4, qui analyse la situation et propose des objectifs à atteindre.
🔨 La capacité d'auto-correction de Voyager et son apprentissage persistant
Ce paragraphe détaille comment Voyager est capable de corriger ses erreurs à l'aide d'une boucle d'autovérification. Si Voyager ne parvient pas à créer un outil, comme une hache en acacia qui n'est pas possible, il reçoit des instructions de GPT4 pour effectuer une action corrective. Voyager a également la capacité de stocker de nouvelles compétences dans une 'bibliothèque', créant ainsi une mémoire persistante. Le paragraphe mentionne également le succès de Voyager dans l'exploration de l'arbre technologique de Minecraft, atteignant des objectifs avancés comme la fabrication d'une épée en diamant.
🌐 Les implications du projet Voyager pour l'apprentissage de vie et l'IA
Le paragraphe discute des implications plus larges du projet Voyager, soulignant son rôle dans l'évolution des agents autonomes d'IA. Jim Fan, le chercheur à l'origine de Voyager, a une vision d'IA complète, capable d'apprendre et d'évoluer dans le monde réel, similaire à des personnages de science-fiction comme Wall-E ou les robots de Star Wars. Il mentionne d'autres projets comme Métamorphe et ISAACIM, qui cherchent à appliquer la même logique d'apprentissage de vie aux robots, en utilisant des modèles de fondation pour contrôler un large éventail d'actions et d'environnements.
🚀 Les défis et les perspectives d'avenir pour l'IA autonome
Ce dernier paragraphe aborde les défis actuels et les perspectives d'avenir pour l'IA autonome. Il souligne que les modèles actuels, bien que performants dans l'adaptation de plans et d'objectifs vus dans leurs ensembles de données, manquent de capacité à planifier de manière réelle et à anticiper des actions pour atteindre des objectifs lointains. Il mentionne le Visuus Challenge comme exemple d'un problème passionnant dans le domaine de l'IA, où un étudiant a réussi à déchiffrer un manuscrit ancien en utilisant l'IA.
Mindmap
Keywords
💡Voyageur
💡Minecraft
💡Intelligence Artificielle (IA)
💡Apprentissage par renforcement
💡Coding as Action
💡GPT4
💡Autovérification
💡Mémoire persistante
💡Robotique
💡Lifelong Learning (Apprentissage de la vie)
Highlights
Voyageur est un bot d'IA conçu par Nvidia, capable d'explorer Minecraft sans assistance humaine.
Voyageur peut effectuer des tâches complexes dans Minecraft plus rapidement qu'un humain.
L'utilisation de Minecraft dans l'entraînement d'IA est plus répandue qu'anticipé, avec des projets comme Malmo de Microsoft.
Voyageur est spécialisé dans l'exploration de Minecraft, découvrant des items uniques et apprenant de ses erreurs.
Le bot utilise une API JavaScript pour convertir la vision 3D de Minecraft en texte, étant donné qu'il n'a pas de vision.
GPT4 est utilisé pour analyser la situation de Voyageur et proposer des objectifs à atteindre dans Minecraft.
Voyageur possède un mécanisme d'autovérification pour apprendre de ses erreurs et itérer sur ses actions.
Le bot a un système de mémoire persistante pour stocker de nouvelles compétences découvertes, comme la fabrication d'une pioche en fer.
Voyageur a atteint le sommet de l'arbre technologique de Minecraft, en obtenant par exemple une épée en diamant.
Minecraft est utilisé pour tester et entraîner des IA en raison de son monde ouvert et de ses possibilités infinies.
Les chercheurs explorent comment l'IA peut casser les barrières de la créativité dans Minecraft, un environnement similaire au monde réel simplifié.
Le concept de lifelong learning (apprentissage de vie) est appliqué à Voyageur, montrant le potentiel des modèles de langage pour effectuer des actions utiles.
Des start-up comme Adept travaillent sur des modèles d'action pour automatiser des tâches, comme réserver un vol ou transformer un tableau.
Jim Fan, le chercheur derrière Voyageur, a une vision d'IA autonome capable d'apprendre et évoluer dans le monde réel, similaire à des agents dans Star Wars.
Le projet Metamorphe vise à contrôler des milliers de robots en utilisant des modèles de fondation pour simuler la physique humaine.
ISAAC, un autre projet, apprend à une structure humaine à maîtriser 10 ans d'arts martiaux en seulement 3 jours, améliorant la réalisme des personnages dans les jeux vidéo.
Le projet GROOT, dirigé par Jim Fan, vise à créer un modèle de fondation unique pour tous les robots, indépendamment de leur environnement ou de leur cas d'utilisation.
Les démonstrations d'IA dans Minecraft montrent les limites actuelles de la planification et de l'anticipation des actions par rapport à ce que peuvent faire les humains.
Transcripts
voyageer c'est le nom de ce bot de cette
IA conçu par un chercheur de Nvidia pour
explorer le monde de Minecraft
complètement tout seul sans assistance
humaine il parvient à effectuer des des
tâches qu'un humain ne connaissant pas
le jeu aurait du mal à comprendre aussi
vite que lui mais après tout on pourrait
se dire ça va rien nous apporter de
l'utiliser dans Minecraft mais en fait
le plus intéressant se cache dans les
détails pourquoi Minecraft est si
utilisé dans l'entraînement d'IA
jusqu'ici on avait plutôt l'habitude de
prendre un exemple le jeu de Go ou les
échecs et surtout pourquoi voyageer
pourrait avoir des conséquences bien
plus importantes que celles d'un simple
jeu comme Minecraft notamment en
robotique mais juste avant j'ai un
message pour les bidouilleurs de
l'audience qui ont un serveur Linux qui
doit tourner jour et nuit vous avez
sûrement regarder du côté des serveurs
privés virtuels plus performants que des
petits serveurs mutualisés à des prix
très abordables sans payer non plus trop
cher si c'est votre cas hostinger et
leur config très compétitive va vous
intéresser pour 649 par mois vous avez
un CPU à de 8 Go de RAM 100 Go d'espace
disque sur nvme et 8 t de bande passante
pour un WordPress un plex ou un serveur
Minecraft vous êtes large surtout que
vous aurez un réseau symétrique de 300 m
des sauvegardes hebdomadaires gratuites
ce qui est assez rare une protection
antid dos très solides et même une a
spécialisé sur la dog do Stinger si vous
êtes pas un expert Linux avec le code
underscore vous aurez encore 10 % de
réduction sur tous les plans de 12 mois
ou plus le lien est dans la description
et on reprend ça n'est pas la première
fois que Minecraft est utilisé pour
tester et entraîner des IA Microsoft a
qui à partir Minecraft le fait depuis
très longtemps avec son projet malemo
notamment qui est vraiment un projet de
2016 donc c'est un vieux projet pour des
chercheurs en nia notamment en
renforcement learning en en
apprentissage
réenforcé voilà Tiffanie l'a fait dans
notre émission est-ce que tu peux nous
raconter un peu ce que tu as fait
c'était au tout début de de GPT et du
coup ben en fait quand j'envoyais des
messages dans le dans le chat en bas ça
discutait directement avec gpt3 qui lui
ensuite interprétait ce que je disais
pour générer le code qui faisait
exécuter au bot une action donc Tiffany
a utilisé Minecraft comme comme support
pour ses recherches et pour ses
démonstration d'IA plus récemment open a
a utilisé Minecraft pour entraîner nia à
l'aide de vidéos donc apprendre de
gameplay humain voir un peu ce qui font
comme action et essayer de reproduire à
l'identique c'est c'est ce qu' s'appelle
la méthode vipit donc pour VI
prétraining lia qui nous intéresse
aujourd'hui elle s'appelle voyager et
elle est très spéciale ça n'est pas une
nouvelle méthode pour collecter un max
de données et se construire un un
immense datadet ou bien pour je sais pas
entraîner une nia à la reconnaissance
d'image pas du tout d'ailleurs voyager
ne possède pas de capacité de vision
voyager a pour unique but d'explorer au
maximum Minecraft en fait les chercheurs
vont observer combien d'items uniques
voyager est capable de découvrir et
surtout en combien d'itération pourquoi
ça c'est pour savoir si en gros elle
galère si elle a besoin de recommencer
beaucoup ou si plutôt elle est faste et
àelle prend très très vite en fait ils
utilisent une méthode qui s' appelle
coding as action et la première étape
c'est qu'ils utilisent une API en en
Javascript de Minecraft et en fait elle
a pour but de convertir le monde 3D que
nous on voit dans Minecraft en texte
parce que je le rappelle voyager pas de
vision donc c'est une première étape
importante grâce à ça en fait voyager va
envoyer à gpt4 à un instant T déjà un ce
qu'il y a dans son inventaire ce qu'il y
a autour de lui dans son environnement
et aussi un peu ses constantes de santé
c'est comment comment il va dans le jeu
c'est les trois choses qu'il envoie à
gpt4 et à partir de ces éléments vous
vous vous le voyez là à l'écran gpt4
analyse la situation et il va proposer
une tâche un objectif à atteindre pour
voyageur
je prends un exemple tu m'envoies que tu
as faim ta ta jauge de faim est très
très élevée ou ta santé est très basse
comme vous voulez tu as un cochon à côté
de toi tu m'as dit tente de tuer le
cochon c'est vraiment ça c'est c'est le
raisonnement de gpt4 donc la première
ligne c'est raisonnement et si si on
regarde la ligne suivante c'est tâche
tue le cochon et voyageer via la pay qui
est utilisé va effectuer la f on peut
imaginer que tu es le cochon en fait
c'est dirige-toi vers le cochon quand
Quand tu es dans laarè tape avec ton
épée tu voisouis complètement ça c'est
la base euh mais en fait il y a d'autres
agents autonomes dans Minecraft qui sont
capables euh de faire ça c'est pas la
spécificité de voyageer la deuxième
étape c'est l'étape d'autovérification
en fait voyager a un mécanisme de
vérification et d'itération c'est-à-dire
que voyager peut faire des erreurs il va
faire des choses qui ne marchent pas
mais il va apprendre de ces erreurs pour
plus les faire et en fait s'il y a des
erreurs il le renvoie à gpt4 dans une
boucle gpt4 lui dit H comment faire et
il va lui proposer une action corrective
les chercheurs ont explicité un exemple
de ça pour bien qu'on comprenne comment
il fait de la correction d'erreurs à un
moment gpt4 a proposé à voyageer de
créer une hache en
acacia sauf que ce n'est pas possible de
faire une hache en Acassia et c'est
plutôt logique et en fait c'est vrai oui
voyager s'est aperçu que ça fonctionnait
pas il avait toujours pas de H en acacia
dans son inventaire donc du coup il y a
une boucle d'autovérification et du coup
gpt4 lui a dit bon ben fait une hache en
bois ça ira très bien et en fait cette
étape qui pour nous humains nous paraît
tout à fait anodine en fait c'est l'une
des premières grandes intelligences au
sens informatique du terme très
importante dans le fait que voyager est
particulièrement capable d'avancer loin
dans le jeu la troisème étape et la
dernière étape c'est qu'une fois qu'il a
appris qu'il a découvert une nouvelle
compétence mature par exemple faire une
pioche en fer voyager il a un mécanisme
pour la stocker dans une bibliothèque
c'est-à-dire que il se construit une
mémoire persistante mais qui garde à
tout jamais tant qu'il il est encore en
vie et on va le voir ça marche super
bien regardez ce graphique c'est c'est
le graphique de l'arbre technologique de
Minecraft et c'est comment les
différents agents ont sont parvenus à à
parcourir l'arbre technologique de
Minecraft voyager est tout en haut et si
vous voyez bien voyager est d'après les
les chercheur le premier agent à avoir
atteint l'épée en diamant pour vous
donner une idée si vous n'avez jamais
jamais joué à Minecraft c'est que quand
même entre les petits exemples que là on
a donné en mode récolter de trucs en
bois et et créer une pioche en bois et
obtenir des outils en diamant il y a un
gap il y a besoin de fouiller de galérer
de quasiment de créativité en fait pour
débloquer des choses c'est super long et
ce qui est intéressant c'est celle qui
était juste en dessous donc on peut se
dire pas si loin en fait c'est toujours
voyageer bièque Labie donc vraiment en
fait les autres ils sont euh vachement
plus en dessous quoi ce qui est
incroyable c'est que voyager est trop
fort sans avoir failli tuner de modèle
on n pas pris un modèle et on l'a pas
façonné en disant tu vas être unea
spécialisée dans Minecraft on y
reviendra juste après mais c'est au
final ce qui est le plus intéressant euh
dans cette histoire mais alors pour
revenir à notre question pourquoi
utiliser Minecraft euh pour les
recherches on y a de partout depuis
plusieurs années parce queil y a il y a
encore quelques années dans les années
2010 2015 on avait plutôt l'habitude de
de voir des challenges sur les jeux de
jeu de Go notamment avec alpago qui a
battu un un professionnel du jeu en 2015
ou avec les échec notamment alpha Z0
stock fish qui est un un moteur Open
Source bref on a plutôt l'habitude de
jeu en d'apparence très logique c'est
d'abord une question que je voulais te
poser à toi la première concernée
Tiffanie pourquoi utiliser Minecraft
rien que le fait que ce soit un open
world donc un un monde complètement
ouvert avec des possibilités
complètement infinies sans scénario tout
ass ça fait que ben comme tu l'as dit
c'est un playground quoi l'intelligence
artificielle elle peut un peu faire ce
qu'elle veut et ce qui est très beau
avec Minecraft je trouve c'est que il y
a pas de limite dans ce que tu peux
créer quoi pour pour les ceux qui
connaissent pas ça peut aller vraiment
très très très loin avec des circuits et
des redstone et voilà je vais rentrer un
dans le technique mais en vrai tu peux
recréer de la logique tu des portes
logiques tu peux recréer un ordinateur
dans mineft tu peux recréer un
ordinateur tu peux recréer une
calculatrice en fait rien qu'avec tes
circuits de 0 et de 1 et donc c'est très
intéressant de voir comment une
intelligence artificielle peut arriver à
casser cette barrière de la créativité
pour arriver à ne serait-ce que
comprendre le jeu mais ensuite créer des
choses quoi Minecraft d'une certaine
manière c'est une approximation ultra
simplifiée du monde réel ouais et tout
ce qui ce qu'on voit dans ce genre de
papier on ne rêverait même pas et que
des robots en soit capable dans le vrai
monde là vous vous dites pas que demain
un robot de Boston Dynamics il peut
aller miner du charbon et forger et
forger une épée tu vois comme tu disais
c'est potentiellement la meilleure
approximation qu'on a qui est
suffisamment simple pour que des modèles
existants puissent faire joujou dedans
et là où vous voyez juste sur le côté
euh c'est une approximation un peu du du
monde réel et du monde physique c'est
que ce que fait voyager les chercheurs
ont décidé d'appeler ça le lifelong
learning donc un petit peu le
l'apprentissage de la vie euh avec un un
LLM alors avec son système de tâche et
et d'autovérification dont on a parlé ça
montre l'énorme potentiel que vont avoir
les modèles de langage pour effectuer
des actions utiles dans sur nos
ordinateurs on a déjà un peu parlé avec
au moment où on a parlé de rabbit donc
c'était cet assistant on a parlé de
modèle d'action et c'est également ce
que tente de faire une autre start-up
alors j'ai choisi de vous parler de
celle-là mais il y en a différentes qui
s'appelle adept c'est une start-up
cofondée par un ancien de Open et et de
Google comme souvent et en fait eux ils
mettent au point un modèle d'action qui
s'appelle Act one et c'est exactement
pour ça pour automatiser certaines
tâches alors pour l'instant il montre
des exemples pour réserver un vol ou
pour transformer un tableau là
actuellement on pas
ça va cher ma vie changer ma vie
actuellement mais mais honnêtement ça
pourrait avoir de de très gros impacts
sur nos nos façons de travailler si
évidemment ces modèles commencent à
prendre un peu forme mais moi ce que je
vous propose c'est de voir un peu plus
loin notamment du côté du chercheur de
Nvidia qui est avec son équipe à
l'origine de voyager il s'appelle Jim
fan en fait pour lui voyager c'est
qu'une étape dans l'évolution des des
agents autonomes d'intelligence
artificielle et en fait ce qui est très
intéressant c'est quand il dit agent il
pense évidemment au monde virtuel comme
on l'a vu dans Minecraft mais lui il
pense aussi comme ce que tu disais au
monde réel parce que à côté de mettre en
place une IA capable d'apprendre à
évoluer tout seul juste au contact de
son environnement il a mené d'autres
travaux notamment avec des robots il a
entraîné des bonels pour que des robots
puisse répéter 10000 fois le même geste
par exemple ouvrir une porte et 10000
fois avec des situation et des
comportements différents pourquoi il a
fait ça parce qu'il a envie que de sorte
que la 10000è et une fois le robot si il
connaît pas exactement la typologie de
porte qui soit dans des situations
différentes il soit quand même capable
de l'ouvrir et pour faire ça je peux pas
très brièvement parler de deux projets
le premier projet c'est métamorphe en
fait c'est un modèle de fondation pour
contrôler des milliers de robots et qui
sacheent par exemple monter dans des
escaliers traverser dans un champ et en
fait ça va simuler un peu la la physique
humaine des bras des jambes et cetera
pour l'appliquer à des robots il y a un
autre projet super intéressant où il il
apprend à une structure humaine en 3
jours à maîtriser 10 ans d'arts martiaux
c'est super impressionnant ça permet de
faire des des des personnages vachement
plus réalistes dans dans les jeux vidéos
concrètement ça donne lieu à des des
robots aussi fous que ce que vous allez
pouvoir voir à l'écran qui sont vraiment
capable de se déplacer quasiment comme
des humains alors là ils ont des roues
mais moi je trouve ça encore plus
impressionnant mais moi ce que je trouve
difficile ile c'est de savoir tu vois on
a vu du Boston Dynamics ou des choses
comme ça c'est de savoir quelle barrière
ont été franchies tu vois entre ça et
quelqu'un qui marche justement pourquoi
je vous parle de ça parce que ça paraît
très loin de Minecraft et de voyageur et
en fait Jim fan donc c'est un ponte de
Lia chez nvilia il a une vision celle un
jour d'avoir des IA aussi complètes que
ce que pourrait faire un un Wally ou un
il cite aussi les les robots de dans
dans Star Wars et en fait pour ça il a
rassemblé ses différentes briques donc
la prère que je vous ai présenté en long
aujourd'hui voyageer et puis deux autres
sur lesqueles je je me suis pas attardé
vous allez pouvoir le voir sur ce sur le
schéma donc voilà on voit métamorphe
dont je vous ai très très rapidement
parlé un autre qui s'appelle isacim qui
est très impressionnant aussi et et et
voyageur et donc il a son petit
graphique et son but c'est d'arriver à
un modèle de fondation pour les robots
et c'est le projet groot ça a été
annoncé dans la dernière conférence de
de Nvidia et en fait son projet c'est
que quelques soit le robot autonome quel
que soit l'environnement dans lequel il
évolu quel que soit le le cas d'usage
tous les robots utilisent le même modèle
fondamental le même modèle de fondation
et en fait à l'image d'un modèle de
langage le cas particul d'un robot soit
juste un prompte différent comme si nous
on utilise un modèle de langage parfois
on va lui demander une recette de
cuisine et parfois on va lui demander de
nous résumer un texte et ben là son
ambition c'est de faire la même chose de
prendre autant de hauteur de vue pour
faire un modèle de fond
avec tous les robots et en fait il
aimerait que ce qui est possible de
faire apprendre à voyageur virtuellement
dans Minecraft il puissent le faire dans
le monde réel non plus du coup avec des
instructions avec du code mais avec des
instructions qui agissent sur des
actionneurs sur des moteurs et donc qui
contrôl des robots et on se rappelle que
le responsable en chef de ce projet qui
s'appelle groot est à l'origine de
voyageurs oui c'est la m et donc moi ce
qui me tue c'est qu'en gros aujourd'hui
Minecraft sert entraîner des robots
humanoïdes pour plus tard il y a quand
même un problème dis-moi sans vouloir
plomber l'ambiance euh les
démonstrations magnifiques que vous avez
vu actuellement dans Minecraft ont quand
même une limite fondamentale c'est que
elle marche avec des LLM en réalité ce
que font ces modèles c'est adapter des
des plans et des objectifs qu'ils ont vu
dans leur dataset euh à une situation
donnée donc en fait ils ont pas de
réelle capacité à planifier ils ont
plutôt des des grandes capacités de
compression de la donnée qui leur permet
d'interpoler entre tous les objectifs et
entre toutes les planifications qui sont
déjà vues quelque chose qui colle à peu
près en fait ce qui serait intéressant
et ce que fait un humain c'est que on a
une vision plus large sur euh l'arbre de
technologie et donc se dire ok pour
pouvoir atteindre un objectif
potentiellement plus lointin pour
pouvoir anticiper une action j'ai besoin
de faire ça et donc c'est ça qui manque
et ça cette étape euh en effet euh c'est
un problème euh que voyager ne sait pas
résoudre et que plein d'autres choses ne
se pas résoudre sur lesquelles les
chercheurs travaillent d'HP en ce moment
et c'est un problème passionnant si vous
avez pas suivi l'histoire du visuus
challenge ou comment un papyus a été
décrypté par un étudiant en nia allez
voir cette vidéo c'était vraiment
passionnant
Browse More Related Video
Ce qui se cache derrière le fonctionnement de ChatGPT
Introduction à l’intelligence artificielle - 5 - Apprentissage Automatique
La Course à l’IA Accélère de Nouveau ! (Claude 3, Q*, Apple, OpenAI, Figure, EMO, Ideogram...)
CSUnplugged - L'intelligence artificielle 2
Perdons-nous le contrôle sur l’IA ? | 42 - La réponse à presque tout | ARTE
Je teste GPT-4o et les nouveautés ChatGPT (GÉNIAL !)
5.0 / 5 (0 votes)