Questo robot vede, sente e parla grazie a ChatGPT [Figure 01]
Summary
TLDRThe transcript discusses the recent developments in robotics, focusing on the Figure One robot, a collaboration between Figure and OpenAI. The robot is designed for general-purpose use, with a humanoid form for flexibility in performing human tasks. The video showcases the robot's ability to learn from mistakes in real-time, handle real-world tasks, and its integration with OpenAI's technology for speech and visual recognition. The discussion highlights the rapid advancements in the field and the strategic announcements by tech companies, emphasizing the impressive autonomy and learning capabilities of Figure One compared to other robots like Tesla's.
Takeaways
- 🤖 The discussion revolves around the newly announced humanoid robot, Figure 01, from the startup Figure, in collaboration with OpenAI.
- 🚀 Figure 01 is positioned as a 'first of its kind' general-purpose humanoid robot, distinguishing itself from other robotics companies like Tesla's approach.
- 📈 The robot is designed to perform general tasks, aiming to alleviate the labor shortage for heavy and dangerous jobs.
- 📊 Figure 01's specifications are detailed, including height, weight, carrying capacity, battery life, and its human-like movements and flexibility.
- 🎥 The demo video showcases the robot's ability to learn from mistakes in real-time, self-correct, and perform tasks like making coffee and handling objects.
- 🤹 The robot's agility is highlighted, with capabilities such as opening doors, climbing stairs, and lifting boxes, emphasizing its human-like design.
- 🌐 The announcement emphasizes that the robot operates in real-time without remote control or pre-programming, showcasing its autonomous decision-making.
- 🗣️ Figure 01 has integrated OpenAI's speech and vision capabilities, allowing it to understand and respond to voice commands and visual cues.
- 🔍 The robot demonstrates multitasking, such as sorting trash and explaining decisions, showcasing its advanced cognitive abilities.
- 📈 The rapid pace of advancements in robotics and AI is noted, with significant breakthroughs and announcements happening more frequently.
- 🤖 The collaboration between Figure and OpenAI suggests a strategic move to stay ahead in the competitive landscape of AI and robotics.
Q & A
What is the official name of the robot discussed in the transcript?
-The official name of the robot is Figure One, also referred to as Figure Z0 One or Number One.
How does Figure One differ from other humanoid robots mentioned in the transcript?
-Figure One is positioned as a general-purpose humanoid robot, aiming to perform a wide range of tasks and not just specialized ones like other robots from companies such as Tesla or Boston Dynamics.
What are some of the capabilities of Figure One?
-Figure One has human-like movements with arms and legs for mobility, can open doors, climb stairs, lift boxes, and has the flexibility to perform tasks similar to those done by humans.
What is the significance of the demo video shown in the transcript?
-The demo video showcases Figure One's ability to perform tasks in real-time without pre-programming, highlighting its self-correcting capabilities and its ability to understand and react to both visual and audio cues.
How does Figure One's development reflect the speed of advancements in the robotics field?
-Figure One's development illustrates the rapid pace of innovation in robotics, with significant advancements and new announcements happening frequently, indicating a fast-evolving sector.
What is the collaboration mentioned between Figure and OpenAI?
-Figure is collaborating with OpenAI to integrate speech and vision recognition technologies into their robot, enhancing its ability to understand and interact with the world in a more human-like manner.
What is the significance of OpenAI's technology in the context of Figure One?
-OpenAI's technology provides Figure One with multimodal capabilities, including the ability to recognize voices and interpret visual information, which is crucial for the robot's autonomous and context-aware operations.
How does the transcript highlight the importance of real-time learning in AI and robotics?
-The transcript emphasizes that Figure One can learn and correct mistakes in real-time, showcasing the importance of adaptive learning in AI systems for practical applications and problem-solving.
What is the main takeaway from the comparison between Figure One and Tesla's robot?
-While Tesla's robot may have more fluid and human-like movements, Figure One stands out for its ability to understand context, learn from situations, and perform tasks autonomously, indicating a higher level of autonomy and adaptability.
What is the role of speed in the advancement of robotics and AI as discussed in the transcript?
-The transcript suggests that the speed of advancements in robotics and AI is remarkable, with new developments and breakthroughs being announced at an increasingly rapid pace, indicating a fast-moving and dynamic field.
How does the transcript suggest the strategic use of announcements in the tech industry?
-The transcript implies that companies like OpenAI are strategically timing their announcements to coincide with or shortly follow major industry announcements, positioning themselves as leaders in the field and maintaining public interest and competitive edge.
Outlines
🤖 Introducing Figure 01: The Humanoid Robot
The script introduces Figure 01, a humanoid robot developed by the startup company Figure in collaboration with OpenAI. The robot is designed for general-purpose use, with the aim to assist in tasks such as heavy labor and dangerous jobs. The video showcases the robot's capabilities, including opening doors, climbing stairs, and lifting boxes. It emphasizes the robot's human-like form and movements, and the fact that it operates in real-time without pre-programming or remote control. The video also highlights the robot's ability to learn from its mistakes and adapt its actions accordingly.
🧠 Figure One's Self-Correcting Abilities
This paragraph discusses Figure One's ability to self-correct mistakes, drawing a parallel with AI tools like GPT. It describes a demonstration where the robot learns from its errors, such as correctly placing a coffee capsule after an initial mistake. The video also presents a 'Real World Task' demo, showing the robot performing tasks like moving containers, simulating airport luggage checks, and accurately grasping objects. The paragraph emphasizes the robot's autonomous capabilities, enhanced by OpenAI's speech and visual recognition technologies, and its potential to revolutionize the industry.
🤔 Reflections on the Rapid Advancements in AI and Robotics
The speaker reflects on the rapid pace of news and advancements in the AI and robotics sector. They note a shift from a significant announcement every month to multiple major announcements daily. The speaker also discusses Figure's impressive growth since its inception and compares it to other companies like Tesla and Boston Dynamics. The paragraph highlights the strategic announcements made by OpenAI, showcasing their progress in the field and the potential for Figure One to surpass Tesla's robot in terms of autonomy and real-time learning capabilities.
🚀 The Impact of Multimodal AI in Robotics
The final paragraph delves into the impact of OpenAI's multimodal AI, which integrates vision, speech, and language capabilities, on robotics. It describes a scenario where the robot interacts with a human, understanding context, speaking, and learning from the situation. The speaker expresses excitement over the robot's ability to see, speak, and learn from its environment, and compares it to the experience of using mobile GPT. The paragraph concludes with a discussion on the strategic positioning of OpenAI's announcements and the potential for Figure One to set new standards in the industry.
Mindmap
Keywords
💡Robot Figure Z0 One
💡AI and Robotics
💡General Purpose Humanoid
💡Real-Time Learning
💡OpenAI
💡Autonomy
💡Multimodal Learning
💡Collaboration
💡Speed of Innovation
💡Industry Competition
💡Public Perception
Highlights
The discussion revolves around the newly announced humanoid robot from Figure, a startup in collaboration with OpenAI.
Figure's robot is positioned as a general-purpose humanoid robot, different from other companies like Tesla.
The robot is designed to perform tasks such as opening doors, climbing stairs, and lifting boxes, mimicking human movements.
Figure One is the official name of the robot, which is designed to learn from its mistakes and self-correct in real-time.
The robot's demonstration video showcases its ability to understand and respond to voice commands and video inputs without being pre-programmed or remotely controlled.
Figure One has been integrated with OpenAI's technology, enabling it to recognize speech and visual inputs, and perform tasks autonomously.
The robot is capable of multitasking, such as sorting trash and explaining its choices, showcasing its advanced cognitive capabilities.
The speed at which Figure has developed its robot is impressive, highlighting the rapid advancements in the field of robotics and AI.
OpenAI's strategy of announcing significant updates shortly after competitors suggests a strategic approach to staying ahead in the market.
The robot's ability to understand context and learn from real-world tasks sets it apart from other robots like Tesla's, which was not shown to have the same level of autonomy.
The demonstration of Figure One includes a variety of real-world applications, such as preparing coffee and performing tasks at an airport.
The robot's design is human-like, allowing it to perform tasks that humans do, with the added benefit of reducing the need for humans to do dangerous or heavy work.
The robot's speed and agility in performing tasks are showcased, with a focus on its ability to learn quickly and adapt to new situations.
The collaboration with OpenAI has provided the robot with advanced capabilities in speech recognition and visual processing.
The robot's ability to handle objects with precision and perform tasks autonomously is a significant step forward in robotics.
The announcement of Figure One has generated a lot of buzz and excitement in the tech community, with comparisons to other notable robots like Tesla's.
The robot's demonstration includes a variety of tasks that highlight its versatility and potential for real-world applications.
The discussion touches on the rapid pace of news and advancements in AI and robotics, with Figure One being a prime example of this acceleration.
The robot's ability to understand and respond to complex commands and questions demonstrates the potential for AI to transform human-robot interaction.
Transcripts
e oggi parliamo del robot figure z0 One
oppure number one oppure 01 non so come
Qual è il nome
ufficiale Questa è una settimana folle
per le ai però ho pure la sensazione che
ormai tutte le settimane stanno
diventando delle settimane folli per per
le ha però questa news del robottone
fatto in collaborazione da questa
startup figure e openi non devo farla
passare inosservata Questa è una
Reaction Quindi adesso ci leggiamo
velocemente l'annuncio ci sono proprio
diciamo due informazioni poi ci
guardiamo il video che tanto è un minuto
e mezzo Facciamo una cosa veloce veloce
e poi volevo condividere due riflessioni
con con voi allora questo è il sito
ufficiale di figure che dice siamo the
First of kinds ai robotic Company Quindi
loro già cercano di posizionarsi molto
diverso per esempio rispetto a quello
che sta facendo Tesla con i robot
rispetto a quello che stanno facendo
altre aziende di robot che magari ce
l'avo da molto da molti più anni e e qua
dicono ovviamente noi stiamo cercando di
fare General purpose humanoid quindi un
robot umanoide però di utilizzo generale
E quindi si torna sempre a sta cazzo di
Agi vedete che torna pure con i con i
robot eh E tra l'altro vi ricordate che
c'era stato un tweet di di una persona
di Deep Mind che aveva detto questo sarà
un mese fondamentale nell'ambito delle a
e della robotica Ecco infatti c'abbiamo
un altro annuncio clamoroso Vabbè quindi
il robot lo state vedendo qua Dopo vi
faccio vedere pure il video di Demo
diciamo è non è bello come quello di
Tesla che invece è fatto veramente molto
bene molto figo sembra veramente uscito
da un film però come come demo È
impressionante Mo la vediamo tra un
attimo eh ta Vabbè qua fanno un po' di
casi d'uso no Quindi alcune situazioni
nei quali potrebbero essere utilizzati
questi robot Questo è il robot nella sua
interezza Eh qua C dice un po' di
informazioni possiamo utilizzarne nella
nostra forza lavoro eh così possiamo
fare di più diciamo possiamo risolvere
il problema che non ci sono persone che
vogliono fare lavori pesanti riduciamo
il numero di persone che devono fare dei
lavori pericolosi e così via E questo è
figure 0 One quindi la prima versione
diciamo commerciabile Qua ci sono un po'
di dati Direi pure Sti Cazzi non so se a
voi interessano però pesa Quanto è alto
Quanto pesa Quanto può portare quanto
durre la batteria e così via perché
l'abbiamo fatto di forma umana l'abbiamo
fatto di forma umana perché così può
fare le cose che facciamo noi quindi
aprire le porte ha le gambe e le braccia
per muoversi può salire le scale può
alzare dei box e così via quindi bisogna
dargli la flessibilità no proprio la i
movimenti tipici che ha anche l'essere
umano Vabbè qua sotto ci sono un po' di
un po' di news da leggere sti gran cazzi
direi di andare alla alla demo di
presentazione a i trained coffee demo
vediamo un pochino che succede e la
commentiamo insieme come
[Musica]
sempre can C of cfee Vabbè quindi il
nome ufficiale è figure One io lo
chiamavo figure Zero One oppure o One
Quindi qua gli ha messo diciamo la
classica macchinetta con le cialde
davanti gli ha detto Mi fai un caffè
[Musica]
c'è da dire una cosa molto importante
prima che andiamo avanti l'oro
nell'annuncio questi di figure hanno
detto eh È tutto succede tutto in tempo
reale Cioè non è né
telecomandato né precostruito no per
esempio alcuni video di bosson dynamics
che sono veramente Wow però sono
precostruiti cioè nel senso però è
risaputo no che sono quindi devono fare
una demo che ne so quella del parkour
famosa sono stati programmati per fare
esattamente quei passi in quella
sequenza con quelle tempistiche eccetera
loro hanno detto nell'annuncio qua non
c'è niente di telecomandato da remoto e
niente di
preprogrammato precostruito
semplicemente
interpreta diciamo la la parte video e
la parte audio e dopo vi dico pure come
e fa le azioni di
[Musica]
conseguenza non so perché siè messo così
movimento vabbè ha fatto partire la
macchinetta facendo il
caffè
than
[Musica]
Qua dice figure One has learn to Self
correct mistakes quindi ha imparato a
correggere i suoi errori Se ci pensate
esattamente quello che succede quando
utilizziamo cgpt o strumenti di questo
tipo no gli diciamo no guarda che sta
cosa che mi ha detta è una cazzata Sì
scusami volevo dire quest'altro vi dico
perché sto facendo questo
parallelismo vedete qua sulla sinistra
non riusci a Mettere la cialda la
capsula o la cialda non mi ricordo mai
qual è la capsula Qual è la cialda Beh
però siamo
capiti Vabbè e quindi riesce a chiuderlo
correttamente quindi che impara dai suoi
errori vi faccio vedere un'altra
demo
[Musica]
Questa seconda demo si chiama Real World
Task quindi diciamo attività No da fare
nel mondo reale Anche questo è un minuto
e 20 vediamo
[Musica]
fa Comunque le musiche in questi video
sono sempre tutte uguale cioè proprio
sempre vedete non ha la fluidità che ci
ha fatto vedere il robot di Tesla nella
diciamo nell'ultimo annuncio che hanno
fatto che invece si muoveva veramente
bene Qua Qua Il punto di forza è
un'altra cosa e ci arriviamo quando vi
faccio vedere il terzo
[Musica]
video
bello che c'ha sti movimenti
molto afferra
[Musica]
il vabbè quindi lo prende dalla lista no
di questi contenitori e Lo sposta di qua
Questo sarebbe diciamo sta simulando i
controlli all'aeroporto come tipologia
di
[Musica]
situazione
qua il dettaglio ovviamente è su diciamo
vedete qua il dettaglio è sulla capacità
che ha avuto di riuscire ad afferrare
precisamente le manie no Quindi Fly
autonomous tas in maniera completamente
autonoma pza
[Musica]
precis questa la
seconda Secondo me è quella veramente
[Musica]
allora perché dico la terza è quella
veramente perché quella che è stata
annunciata diciamo recentemente nel
momento in cui registro questo video
sono poche ore ed è il fatto che adesso
stanno collaborando con Open eii e se
vedete il Il titolo è speech to Speech
reasoning quindi ragionamento diciamo
voce a voce quindi dentro adesso c'è la
parte di Open ey proprio come modello
come tecnologia che gli è stata fornita
che lo aiuta in due cose importanti il
riconoscimento vocale il riconoscimento
visivo che sono due caratteristiche
tipiche dice GPT no che possiamo
parlargli e fa delle cose e possiamo
caricarli delle immagini e fa delle cose
Ora prendete questa roba mettete dentro
un robot e vedete l'effetto
finale Ah interessante ci dicono pure
film Speed One per quindi diciamo non è
stato velocizzato per renderlo più
realistico più più
figo
vedete Questa è proprio se avete mai
utilizzato C GPT da mobile Ci ho fatto
pure un video qua sopra andatevelo a
recuperare è proprio C CPT mobile con la
voce con la nuvoletta che sta
riconoscendo le
frasi quindi la scena l' riconosciuta
alla perfezione gli ha detto ASP che
metti i
sottotitoli gli ha detto vedo una una
mela rossa il piatto bla bla bla e ci
sei tu la viicino con una mano sul
tavolo lui gli chiede Posso avere
qualcosa da
mangiare Can
you Trash
lui gli chiede mi dai qualcosa da
mangiare Lui sceglie la mail e gliela dà
che è l'unica cosa edibile sul tavolo e
lui gli fa una domanda gli dice Adesso
Spiegami la scelta che hai appena fatto
che è una cosa che si fa pure con cgpt
No Spiegami perché mi hai risposto in
questo modo una delle tecniche che
diciamo che ho mostrato spesso pure io
mentre raccogli la spazzatura questo per
far vedere Diciamo che anche
multitasking no Quindi adesso farà più
cose in contemporanea parlerà
raccoglierà la spazzatura e spiegherà
anche la
scelta
e lui gli ha detto ti ho dato la Maila
perché era l'unica cosa mangiabile che
c'era sul Tavo il resto era il piatto il
tovagliolo il il bicchiere eccetera
eccetera nel frattempo ha messo la
spazzatura nel cestino e vedete poi c'è
questo Bot risposta Tutto con con la
voce e dicevo qua c'è la potenza di Open
ey infatti qualcuno Diciamo ha scherzato
su questa cosa ho letto un po' di tweet
che dicevano Alla fine l'hanno
annunciato c'ha GPT 5 e l'hanno
annunciato sotto forma di robot io mo
non so se questa roba c'ha gp5 però
diciamo vederlo poi dentro un
dispositivo fisico così che non è
piccolino No non è il rabbit R1 andatevi
a vedere il video che ne ho parlato qui
sopra ma vederlo dentro un robot fa una
certa
impressione
quindi gli ho
detto guardando la scena che hai davanti
dove vanno i piatti che ti trovi di
fronte l'ha capito ha detto il il piatto
e il bicchiere che sono di fronte a me
dovrebbero andare nell' asciuga piatti
come cazzo si chiama sta cosa non lo so
se c'ha un nome proprio nel cosino per
asciugare per sgocciolare i piatti
Fatemi sapere qua sotto se c'è un nome
per questo coso così So che avete visto
il video fino a qua e vedete questo è
esattamente quello che facciamo tutte le
volte che carichiamo un'immagine no
Avete visto le mie demo carichi
l'immagine e gli dici nel mio
frigorifero ci sono questi ingredienti
Cosa mi posso cucinare lui dice fatti
una zuppa Fatti una pasta fatti
quest'altro Quindi glieli metti dentro
le metti a
posto
certo
interessante vedere anche come usa le
due mani no Avete visto sia la Maila
l'ha presa e se l'è passata sulla destra
e anche il piatto il bicchiere l'ha
preso con una mano se l'è passato
sull'altra e l'ha girato Cioè nel senso
le azioni Come vengono fatte in maniera
[Musica]
precisa do you
qua gli chiede come come te la sei
cavata quindi domanda diciamo così
generica dopo il
Task I think Pretty Well Apple New owner
trash is G
ands ha detto pensa di essermi Camata
bene e gli ha fatto tre tre situazioni
ho dato la mail al suo nuovo
proprietario quindi all'umano che gli ha
chiesto quella cosa ho messo la
spazzatura a posto e poi ho messo ad
asciugare i piatti che andavano dentro
il il Ro come cazzo si
chiama Vabbè poi finisce dice Son
d'accordo Vabbè qua vedete F learned
Fast eccetera eccetera lo fa in tempo
reale Cioè impara dalla
situazione Vabbè qua rivediamo i momenti
salienti come dicevo voglio F due
riflessioni su questa cosa che abamo
appena visto Eh vabbè Innanzitutto
proprio c'è un grande tema della
velocità delle news Eh no in un altro
video ho fatto vedere quel famoso
grafico dell'impennata e di noi esseri
umani sotto a questa impennata Io ho
sempre di più questa sensazione Cioè se
è passato da c'era un annuncio figo al
mese a c'è un annuncio figo a settimana
mo ce ne sono due tre al giorno e
pensate che la roba che vi porto qua
sopra Forse è il 10% di quello che leggo
che a sua volta forse l' 1% di quello
che succede quindi capite che cazzo c'è
di velocità c'è in questo in questo
settore ma non c'è solo la velocità
delle news per me è interessante pure la
velocità dei risultati cioè la cosa
interessante è che figure questa azienda
è in aienda che è nata da da un annetto
non mi ricordo avevo letto la la data di
diciamo di quanto era stata fondata Eh e
vedete che cazzo ha messo in piedi e E
questa cosa è interessante No
soprattutto perché abbiamo visto ehm nel
video che ho fatto insieme a Marco
Montemagno abbiamo visto Magic la
startup che sta vuole spaccare tutto nel
mondo della programmazione abbiamo visto
quell'azienda cinese di cui adesso non
ricordo il nome Cioè in pochissimo tempo
riescono ad arrivare ad un livello super
interessante e questa non è una cosa da
da sottovalutare Eh perché Uno potrebbe
dire Vabbè però Microsoft Google openi
ci lavorano da anni stanno avanti in
questa corsa invece vedete come si
riesce anche in poco tempo ad ottenere
dei risultati incredibili e poi c'è una
una riflessione interessante sul fatto
che Open Ey si sta proprio conservando
degli annunci bomba Subito dopo gli
annunci dei proprio competer quindi se
prima questa cosa era un dubbio un
sospetto mio mo mi sembra proprio Palese
e quindi esce Gemini 1.5 loro dicono sì
ma noi abbiamo fatto Sora e tutti quanti
guardano a Sora poi esce Cloud 3 e loro
di sì ma noi abbiamo fatto questo robot
impressionante che capisce il contesto
impara parla vede e così via No è
proprio in maniera strategica pure
questa l'ho sottolineato in diversi
video ultimamente E si vede che è fatto
proprio con la cazzimma questa cosa di
far gli annunci in questo modo
ehm questo robot A me ha dato
l'impressione di essere avanti a quello
di Tesla quello di Tesla è sicuramente
molto più fluido nei movimenti molto più
convincente molto più umano passatemi
questo termine ehm Questo ovviamente è
Impressionante il fatto che vede che
parla e poi che impara in tempo reale al
momento dalla situazione quindi c'è un
grado di autonomia che quello di Tesla
almeno in quella demo diciamo non si è
visto non ha non ha mostrato andatevi a
vedere il video perché quello è pure una
bella demo Eh quella di di Tesla è qua
sul canale Pure secondo me vale la pena
vale la pena vederlo la sensazione un
po' che ha avuto è come quando è stato
annunciato Sora c'è Open Eye che dice
Allora il mercato si trova a questo
livello qua quindi i vari pica ranway e
tutti quanti pensano che questo sia il
meglio che si possa fare sapete che c'è
di nuovo Mo vi faccio vedere dove siamo
noi bam E si mette qua sopra Ecco Questo
l'ho pensato per i robot quindi tu dici
Ah guarda Tesla che sta a fa' Guarda
Boston dynamics che sta a fa' e poi dici
Ah sì però non c abbiamo uno che vede
parla e impara dal contesto Mind blowing
e è fuori di testa Vabbè di base qua
cosa gli hanno dato gli hanno dato
quindi l' llm multimodale quindi con la
con Vision con con speech eccetera
eccetera che legge le immagini quindi
legge in questo caso le immagini Sono il
contesto quello che sta succedendo
eh riconosce la voce può parlare
eccetera eccetera diciamo Sono cose che
noi abbiamo visto dentro CH GPT vederlo
dentro un robot ovviamente fa una
sensazione diversa poi c'era la
provocazione barra battuta che qualcuno
ha detto AB Beh Eccolo qua GPT 5 è
arrivato solo che è sotto forma di robot
e non di software non lo sappiamo se è
veramente così però diciamo questa roba
sicuramente fa un bel passettino in
avanti e di passettini in avanti in
questo mondo l'ha fatto Cloud con la
versione 3 se non avete visto
l'esperimento folle che ho fatto con
Cloud dove mi faccio un'ora di
chiacchierata filosofica cliccate
immediatamente il video che vi metto
adesso a schermo sono io che parlo con
Claude e parliamo di etica di valori di
futuro di collaborazione tra uomo e
macchina e anche del suo essere
cosciente e la risposta di Claude vi
sconvolgerà andatevi a vedere il video
Browse More Related Video
FIGURE 01 AI Robot Update w/ OpenAI + Microsoft Shocks Tech World (THEMIS HUMANOID DEMO)
China's Next-Generation Humanoid Robots at WRC 2024 SHOCKED The World
SHOCKING Robots EVOLVE in the SIMULATION plus OpenAI Leadership Just... LEAVES?
The Race For AI Robots Just Got Real (OpenAI, NVIDIA and more)
OpenAI's Newest AI Humanoid Robot - Figure 02 - Just Stunned the Robotics World!
The Rise of AI Robots (This is the Future)
5.0 / 5 (0 votes)