Copilot llega al PC: ¡GPT-4o + IA en local + NUEVO HARDWARE! 🤯 Microsoft BUILD

Summary

El evento Microsoft Build ha presentado innovaciones significativas en inteligencia artificial (IA) y hardware. Satya Nadella, CEO de Microsoft, destacó la importancia de la IA distribuida y la potencia de la nube para mejorar las experiencias. Se espera que la IA no solo entienda a los usuarios sino que también prediga sus necesidades. Se lanzó la aplicación CoPilot para Windows, similar a la de Mac, que facilita la interacción con el sistema operativo a través de una interfaz conversacional. La función 'Recall' utiliza IA para recordar actividades del usuario y facilitar la búsqueda de información. Además, se presentó una nueva familia de dispositivos, los CoPilot PCs, con una nueva unidad de procesamiento llamada NPU, desarrollada en colaboración con fabricantes de chips líderes como Qualcomm, AMD e Intel. Estas soluciones en la nube y en dispositivos locales demuestran el potencial de la IA para tareas complejas y proactivas, ofreciendo una visión del futuro cercano donde los dispositivos son capaces de realizar una amplia variedad de tareas útiles.

Takeaways

• 🌟 Microsoft celebró su evento anual Build, dirigido a desarrolladores, con la intención de apoyar su visión en Inteligencia Artificial (IA).
• 🤖 Se enfatizó el uso de IA en sistemas operativos y la implementación de pequeños modelos locales para tareas variadas, como recordar actividades en el PC o traducir audio.
• 🖼️ Microsoft presentó herramientas para la manipulación de imágenes y la creación de aplicaciones avanzadas, destacando la IA como una parte integral del hardware y software.
• 📲 Se mencionó la descentralización de la computación para ejecutar IA y la importancia de una IA distribuida que ofrezca experiencias ricas y privadas.
• 🛠️ Se lanzó la familia de dispositivos Co-Pilot Plus PC, con una nueva unidad de procesamiento llamada NPU, desarrollada en colaboración con fabricantes de chips como Qualcomm, AMD y Intel.
• 🔍 La aplicación Co-Pilot para Windows se presentó con capacidades similares a la aplicación de chat GPT para Mac, permitiendo una integración fluida de información del sistema operativo.
• 🗃️ 'Recall' es una nueva solución que permite a la IA recordar la actividad del usuario y facilitar la búsqueda de información de manera sencilla.
• 🎨 Se proyectó una visión de una aplicación de fotos impulsada por IA que ofrece controles inteligentes y generación de contenido de alta calidad en función de las necesidades del usuario.
• 🌐 Se destacó la capacidad de los nuevos dispositivos para ejecutar múltiples modelos de IA de manera local, sin necesidad de conexión a Internet.
• 🎥 Se mostró una demostración de cómo la IA puede guiar a los usuarios en juegos como Minecraft, mostrando la capacidad de adaptación y proactividad del modelo GPT 4 OVNI.
• 🔮 La presentación de Microsoft resalta el potencial de la IA en el futuro cercano, con dispositivos capaces de realizar tareas útiles y específicas de manera autónoma y en la nube.

Q & A

¿Qué evento celebra Microsoft y qué es su propósito principal?

Microsoft celebra su evento anual llamado 'Microsoft Build', cuyo propósito principal es reunir a desarrolladores y presentarles nuevas herramientas y tecnologías.

¿Qué tecnologías están en el centro de la estrategia de Microsoft para el evento Build?

La inteligencia artificial, incluyendo grandes modelos como GPT-4 y pequeños modelos que se ejecutan localmente, están en el centro de la estrategia de Microsoft para el evento Build.

¿Cómo planea Microsoft integrar la inteligencia artificial en su sistema operativo?

Microsoft planea integrar la inteligencia artificial en su sistema operativo a través de la utilización de GPT-4 y más de 40 pequeños modelos locales para mejorar tareas como la recuperación de información y la traducción de audio.

¿Qué es 'Windows Copilot' y cómo funciona?

Windows Copilot es una aplicación que se asemeja a la aplicación de chat GPT para Mac, con capacidades de 'look and fill', permitiendo transferir información del sistema operativo a la interfaz conversacional de manera ágil.

¿Qué es 'Recall' y cómo ayuda a los usuarios a encontrar información?

Recall es una solución de inteligencia artificial que recuerda toda la actividad del usuario, permitiendo buscar información de manera más sencilla, basándose en relaciones que a veces no son obvias, como si estuvieran archivando en la mente.

¿Qué función nueva se presentó relacionada con la manipulación de imágenes y cómo funciona?

Se presentó una función que permite la generación de controles inteligentes y la modificación de imágenes de manera interactiva, donde el usuario puede ajustar el nivel de creatividad de la IA para iterar en la imagen generada.

¿Cómo planea Microsoft ejecutar estas funciones avanzadas de inteligencia artificial sin conexión a Internet?

Microsoft propone una inteligencia artificial propia capaz de asistir en cualquier momento y presenta una familia de dispositivos llamados 'Copilot Plus PC' con una nueva unidad de procesamiento llamada NPU para ejecutar modelos de IA de manera eficiente en local.

¿Qué es la NPU y qué rol desempeña en los nuevos dispositivos de Microsoft?

La NPU (unidad de procesamiento neuronal) es una nueva arquitectura de hardware dentro de los dispositivos 'Copilot Plus PC' que permite ejecutar modelos de inteligencia artificial de manera eficiente y en local.

¿Cómo se relaciona la presentación de Microsoft en el evento Build con el futuro de la inteligencia artificial?

La presentación de Microsoft en el evento Build muestra el futuro de la inteligencia artificial al enfocarse en la descentralización de la computación, la ejecución de modelos en dispositivos locales y la creación de nuevas experiencias interactivas y proactivas.

¿Qué demostración se realizó con GPT-4 OVNI y qué implicancias tiene para el futuro?

Se realizó una demostración donde GPT-4 OVNI guiaba a un usuario de Minecraft, mostrando cómo el modelo de IA puede adaptarse y asistir en tareas no previstas, lo que implica un futuro donde los dispositivos serán capaces de realizar tareas útiles de manera más interactiva y proactiva.

Outlines

00:00

😲 Presentación de Microsoft Build y AI local

El evento Microsoft Build, dirigido a desarrolladores, se inauguró con la intención de integrar Inteligencia Artificial (IA) en sus sistemas operativos y herramientas, destacando el uso de GPT 4 y otros modelos locales para mejorar tareas como la traducción de audio y manipulación de imágenes. Se enfatizó en la descentralización de la computación para ejecutar IA de manera más privada y segura, con la presentación de nuevas soluciones y la idea de una IA que anticipe las necesidades del usuario sin conexión a Internet.

05:02

🤖 Introducción de Windows Copilot y funciones locales

Microsoft presentó Windows Copilot, una aplicación con capacidades de 'look and fill' similares a la aplicación de chat GPT para Mac. Se destacó la capacidad de Copilot para recordar actividades del usuario y facilitar la recuperación de información, así como la inclusión de más de 40 modelos de IA que se ejecutan localmente para proteger la privacidad. También se mencionó la posibilidad de utilizar IA para mejorar aplicaciones de edición de fotos y generar contenido de manera segura y local.

10:18

💡 Nuevas funcionalidades y la unidad de procesamiento NPU

Se introdujo la función 'Recall', que permite a la IA recordar actividades del usuario y facilitar la búsqueda de información de manera más sencilla y segura, sin la necesidad de buscar en una base de datos. Además, se reveló la nueva familia de dispositivos 'Copilot Plus PC' con una nueva unidad de procesamiento llamada NPU, desarrollada en colaboración con fabricantes de chips como Qualcomm, AMD y Intel. Esta tecnología permitirá ejecutar modelos de IA de manera eficiente y optimizar aplicaciones como la corrección de color en videos.

15:19

🚀 Demostración de GPT 4 y visión del futuro de la IA

En la presentación, se mostró una demostración de GPT 4 en el juego Minecraft, donde el asistente basado en este modelo guiaba al usuario para lograr objetivos y reaccionaba de manera proactiva ante situaciones inesperadas. Esta demostración destaca el potencial de la IA para realizar tareas útiles específicas y la interacción con modelos de lenguaje en la nube para tareas más complejas, dando una visión del futuro de la IA según Microsoft.

Keywords

💡Inteligencia artificial

La inteligencia artificial (IA) es una rama de la informática que se centra en la creación de sistemas capaces de realizar tareas que normalmente requieren inteligencia humana, como la percepción, el aprendizaje, la toma de decisiones y la comunicación. En el video, la IA es el tema central, ya que Microsoft presenta una serie de soluciones y herramientas basadas en IA para mejorar la experiencia del usuario y la eficiencia en diversos dispositivos y sistemas operativos.

💡Microsoft Build

Microsoft Build es un evento anual organizado por Microsoft con el objetivo de reunir a desarrolladores de todo el mundo y presentarles las últimas innovaciones y herramientas de desarrollo. En el script, se menciona que Microsoft comenzó este evento con una declaración de intenciones sobre su enfoque en la IA, destacando su importancia en el futuro de la tecnología.

💡GPT-4

GPT-4 hace referencia a una generación futura de modelos de lenguaje basados en inteligencia artificial, que se menciona en el contexto de su potencial uso en el sistema operativo de Microsoft y en la ejecución de tareas en local. Aunque no se detalla específicamente en el script, se sugiere que GPT-4 será una evolución significativa en la capacidad de procesamiento y comprensión del lenguaje natural.

💡Sistema operativo

El sistema operativo es el software básico que permite la ejecución de otros programas y la gestión de los recursos del hardware. En el video, se sugiere que Microsoft está integrando la IA, específicamente GPT-4, en su sistema operativo para mejorar la experiencia del usuario y ofrecer funcionalidades avanzadas.

💡Modelos locales

Los modelos locales se refieren a las aplicaciones o procesos que se ejecutan directamente en el dispositivo del usuario, sin depender de una conexión a internet. El script menciona que Microsoft planea utilizar 'cantidades ingentes de pequeños modelos que se van a ejecutar en local' para ayudar en tareas variadas, lo que implica un enfoque en la IA descentralizada y privacidad mejorada.

💡Traducción de audio

La traducción de audio es una función que permite convertir un discurso en tiempo real a otro idioma. En el video, se presenta cómo la IA puede ser utilizada para 'traducir cualquier tipo de audio a nuestro idioma con comodidad', lo que demuestra la integración de servicios de IA para mejorar la accesibilidad y la comunicación entre idiomas.

💡Manipulación de imagen

La manipulación de imagen se refiere a la capacidad de modificar o crear imágenes digitales. Microsoft presentó herramientas de IA para la manipulación de imagen, lo que indica un avance en la capacidad de procesar y transformar visualmente el contenido gráfico, probablemente para mejorar la experiencia del usuario y la productividad.

💡Recall

Recall es una función presentada en el video que permite a la IA recordar toda la actividad del usuario, permitiendo búsquedas más sencillas y precisas basadas en la memoria de la IA. Se menciona que 'Recall se apoyará en el Windows copilot runtime', lo que sugiere que es una parte integral de la plataforma de IA de Microsoft para mejorar la experiencia del usuario.

💡Windows copilot runtime

Windows copilot runtime es mencionado como un conjunto de más de 40 modelos de IA que se ejecutan completamente en local y que permiten experiencias ricas como Recall. Este runtime es parte de la infraestructura de Microsoft para mantener y actualizar la calidad de los modelos de IA en el dispositivo.

💡NPU

NPU hace referencia a una Unidad de Procesamiento de Neurona, un tipo de hardware diseñado específicamente para realizar cálculos de IA eficientemente. En el script, se habla de la introducción de una 'nueva unidad de procesamiento dentro de estos dispositivos llamada NPU', lo que indica que Microsoft está integrando hardware especializado en sus dispositivos para mejorar el rendimiento de la IA.

💡Co-creación

La co-creación es el proceso en el que la IA colabora con el usuario para crear contenido. En el video, se muestra cómo la IA puede 'inteligentemente generar controles para usted en el vuelo, trayendo su visión a la vida', lo que ilustra cómo la IA puede interactuar de manera creativa y dinámica con el usuario para producir contenido original.

Highlights

Microsoft celebra su evento anual para desarrolladores llamado Microsoft Build.

Satya Nadella, CEO de Microsoft, presenta su declaración de intenciones.

Microsoft se apoya en Inteligencia Artificial para el evento, destacando el uso de GPT 4.0 de OpenAI.

Se planea integrar múltiples modelos locales para mejorar tareas variadas, como recordar acciones en el PC y traducir audio.

Se presentaron herramientas para la manipulación de imágenes en el evento.

La presentación de Microsoft incluyó hardware para descentralizar la computación y potenciar la IA.

Se enfatizó la importancia de la IA distribuida y la experiencia enriquecida por la nube.

Se mostró cómo la IA puede anticipar las necesidades de los usuarios.

Se presentó la aplicación de copilot con capacidades de 'look and fill' similares a la aplicación de chat GPT para Mac.

Windows CoPilot permite arrastrar y soltar ventanas y cambiar entre luces.

Recall es una nueva solución de IA que recuerda la actividad del usuario para facilitar la búsqueda de información.

Windows CoPilot Runtime incluye más de 40 modelos de IA que se ejecutan localmente.

La IA puede ayudar en la creación de aplicaciones de fotografía con características avanzadas.

Se mostró cómo la IA puede modificar imágenes de manera creativa y personalizable.

Microsoft presentó CoPilot Plus PC con una nueva unidad de procesamiento llamada NPU.

La NPU fue desarrollada en colaboración con fabricantes de chips como Qualcomm, AMD y Intel.

Se mostró cómo la NPU puede realizar correcciones de color en vídeo de manera eficiente.

Se destacó la capacidad de ejecutar modelos de IA en la nube, como se vio en una demostración con GPT 4.

La demostración con GPT 4 mostró cómo el asistente puede adaptarse a situaciones imprevistas y ayudar en tareas no solicitadas.

La presentación de Microsoft destaca el avance del futuro de la IA, tanto en software como en hardware.

Transcripts

Microsoft celebra su evento Microsoft

build su evento anual para

desarrolladores y arrancado con toda una

declaración de intenciones de satia

nadela Us

Us y para ello van a apoyarse en

cantidades ingentes de Inteligencia

artificial Empezando por gpt 4o de Open

que ya han demostrado Cómo podría

utilizarse dentro de su sistema

operativo pero también en cantidades

ingentes de Pequeños modelos que se van

a ejecutar en local más de 40 para que

nos ayuden en las más diversas tareas

tareas como recordar todo lo que hemos

hecho en nuestro PC para que nosotros

podamos consultarle y recuperar

cualquier tipo de información o por

ejemplo Traducir cualquier tipo de audio

a nuestro idioma con comodidad

fácilmente y en local además de

múltiples herramientas para la

manipulación de imagen lo que ha

presentado hoy Microsoft en esta primera

sesión del Microsoft build Es realmente

alucinante y en el vídeo de hoy te lo

cuento todo dentro

vídeo este año la presentación de

Microsoft ha sido especialmente

interesante sobre todo porque no se ha

centrado solo en presentar nuevas

soluciones basadas en software o basadas

en Inteligencia artificial sino que ha

puesto el acento de un modo muy intenso

también en el Hardware por qué porque

quieren descentralizar la computación

para ejecutar Inteligencia artificial

constra of space reducing

latc

privacy We believe Ai will be

distributed the Rich a experiences will

harn the power of the Cloud Ed working

En otras palabras potenciarán el diseño

de nuevos dispositivos donde poder

ejecutar aplicaciones realmente útiles

de Inteligencia artificial y es que en

esta presentación vamos a ver cómo se

van a apoyar en gpt 4 o en la para

ofrecer soluciones más avanzadas pero

quizá lo más sorprendente es todo lo que

podremos hacer sin tan siquiera estar

conectados a internet con Inteligencia

artificial y es que Microsoft propone

una Inteligencia artificial propia que

sea capaz de asistirnos en cualquier

momento del modo más

completo

Us surroundings we're entering this New

Era Where computers not only understand

Us but can actually anticipate What We

want and Our int y para transmitir y

concretar esta idea presentaron

diferentes soluciones basadas en

Inteligencia artificial que se apoyaban

tanto en la nube como en los propios

modelos que correrían dentro del sistema

y que nos permitirían hacer una idea de

cómo sería interactuar con la

Inteligencia artificial en su nuevo

sistema operativo por ejemplo la primera

de ellos de ellas era la propia

aplicación de copilot que como era de

esper tenía unas capacidades de un look

and fill muy similar a al de la

aplicación de chat gpt para Mac que os

presenté en un vídeo que os dejo aquí

arriba y que por lo tanto despeja un

poco las dudas de por qué esa aplicación

de chat gpt ha aterrizado primero en Mac

que en Windows vamos a ver un poco lo

que presentaron de esta aplicación de

copilot

Windows and can ler Dr and Drop One

window to the other in Case Lights and

it como os decía un planteamiento muy

parecido a la aplicación para Mac de

chat gpt que sobre todo lo que prioriza

es poder trasladar información del

sistema operativo a la interface

conversacional del modo más fácil y ágil

posible pero esta no fue la única

novedad que presentó Microsoft presentó

otra novedad muy interesante que era el

recall que es un concepto donde lo que

hace la Inteligencia artificial es

recordar toda nuestra actividad por

ejemplo dentro de navegador de Windows

pero también en otras aplicaciones para

que nosotros podamos preguntarle y que

nos permita obtener información o

encontrar una información de un modo más

sencillo es decir lo que pretende esta

nueva solución de Microsoft es que no

tengamos que buscar en una base de datos

sino que podamos Buscar de un modo más

sencillo a como nosotros archivamos en

nuestra mente la información a partir de

relaciones que a veces no son del todo

obvias y este ejemplo que mostrar en la

presentación creo que es especialmente

ilustrativo Cómo encontrar una

presentación Powerpoint no a partir de

Su contenido sino a partir de detalles

de su diseño theck was created by my

partners in the marketing Team and When

Finally add cont could figure Where the

I tried to remember was a di shared in

the Call Maybe I Had seen it in an email

or Maybe I could Go and find it in my

recent files in

Powerpoint I don't really have time to

spend clicking around but with recall I

no longer have to go on a searching

Expedition I remembered in the outline

we Had added a Purple Chart with writing

a Purple um a Chart with Purple writing

Uh and to find the Powerpoint all I Had

to do was simply use my voice to search

for that clue That I

esencialmente lo que nos prometen es

poder tener un asistente que tenga

memoria fotográfica por nosotros y

además con un detalle muy importante

completamente seguro respecto a nuestros

datos Mostrar el recall se apoyará en el

Windows copilot runtime un conjunto de

más de 40 modelos que se Ejecutan

completamente en local the Windows cil

runtime includes More Than 40 Ai models

and it Powers Rich experiences like

recall it also provides the

infrastructure That allows Us to

continuously update and maintain the

Quality of on device models for example

When Our photos Team Saw the new Ai

capabilities in Windows it sparks their

imagination they have a Vision for an Ai

First Photo Z app powered by the npu Ai

That's Always working copilot can

understand your image help you Focus on

What matters add Energy and excitement

or Give You ideas for creative

composition in fact it can intelligently

generate Controls for you on the Fly

bringing your Vision to Life soon with

the cop Plus PC you'll be able to use

super resolution to instantly restore

all photos or use Ai narrator to Story

Tell lo sorprendente es que todas estas

funciones se ejecutarán en local todas

estas y otras funciones como por ejemplo

el cator in this Case use mountainous

Valley of

wildflowers Now the magical Thing about

This experience is that the generated

output is not only taking guidance for

my text prompt but also my inked

Strokes so notice How these two Blue

blobs have suddenly become a more

refined Valley Just like that

so there are Five different Machine

learning models running locally in

tandem on the npu to optimize for

highest Quality output over minimum

number minimum number of inference steps

making this experience feel truly

co-crea the generated output responding

to Every single

stroke now I actually really like what I

have going on here but I can also play

with How much I want to Let Ai modify my

image you'll notice there's this

creativity slider below the text prompt

here the farther I slide to the left the

closer we resemble my original

drawing sliding it farther to the right

allows the Ai to play with a little more

creativity or

freedom Now once I Found the perfect

balance here I can actually Take this a

Step further and continue iterating on

top of my generated

image so I think a

monarch would be the perfect

and lo que acabáis de ver puede parecer

no muy sorprendente porque ya hay

aplicaciones online Como crea que

permiten hacerlo pero recordad aquí la

gracia es que todo sucede en local y no

solo nos permitirá crear de un modo más

creativo sino que también nos permitirá

accer

de un modo más fácil a contenidos por

ejemplo en diferentes idiomas porque

habilitará el subtitulado automático

dentro de nuestros propios dispositivos

a cualquier idioma de cualquier audio

que se reproduzca en nuestro dispositivo

PC informarles que el proyecto ha sido

aprobado y ahora podemos comenzar con la

fase de exploración de materiales

colores y diseño en general Harry estado

trabajando en varias ideas y nos va a

presentar algunas propuestas hoy Harry

Ire As you Saw the cap switched autom

andant across

pero todo lo que nos ha Mostrar hasta

ahora sugiere una gran pregunta cómo

podemos ejecutar toda esta cantidad de

modelos de Inteligencia artificial en

nuestros dispositivos Pues bien Esto se

resuelve en el segundo gran bloque de su

presentación donde introdujeron su nueva

familia de dispositivos los copilot Plus

PC donde además presentaron una nueva

unidad de procesamiento dentro de estos

dispositivos llamada npu

in sy

arit CP GP all

npu y para desarrollar esta tecnología

han trabajado de la mano de los

principales desarrolladores de chips es

decir qualcom amd

Intel me Times

con los chicos de qualcom precisamente

hablamos en el último Mobile World

Congress y allí en febrero nos

explicaron En qué consistían las npu

all

sension y de estas mejoras no solo se

van a aprovechar el nuevo software de

Microsoft sino que se puede aprovechar

cualquier otra aplicación que esté

optimizada Para aprovechar este tipo de

arit ura por ejemplo hicer una

demostración con el software de D Vinci

para corrección de

vídeo comp color corrections to Any

object in a single frame and render that

Across the whole clip so It's Easy as

this I'll Select a

keyframe and with just a single swipe

I'm able to detect and mas that Jelly

Fish there and If I play this Forward

Magic Mask is going to Track the Jelly

Fish through the whole clip So let's

take a Look at the test manager here

[Música]

y hasta aquí hemos visto todo lo que han

presentado en cuanto a ejecutar

Inteligencia artificial en nuestros

dispositivos bien sean estos 40 modelos

optimizados para ejecutarse en local

bien sea esta nueva arquitectura de

Hardware que permite ejecutarlos De modo

eficiente pero también Hicieron mención

a de ejecutar modelos en la nube y

obviamente no dejaron escapar la

oportunidad de hacer una demostración

con gpt 4 ovni una demostración muy

interesante donde se veía como el

asistente basado en este modelo era

capaz de guiar a un usuario de Minecraft

para conseguir sus objetivos

yeah do I I need

[Música]

de esta demostración cuando gpt 4 ovni

cambia por completo su comportamiento al

detectar un elemento extraño imprevisto

en pantalla el ataque de un zombie de

modo que empieza a asistir al usuario en

una tarea que él no le había pedido

realmente muy sorprendente y muy

interesante

y creo que esta demostración que

hicieron con gpt 4 ovni es el colofón

ideal para darnos cuenta de todo el

potencial que podremos llegar a tener

entre manos en un futuro muy próximo

dispositivo que podrán ser

suficientemente capaces para cumplir una

gran cantidad de tareas tareas realmente

útiles quizá más específicas de las que

es capaz de responder un gran modelo de

lenguaje especialmente un modelo de

lenguaje como gpt 4 ovni pero con el que

siempre tendremos acceso a estos modelos

en la nube para que nos asistan en

tareas más complejas y de un modo Pues

más interactivo o más proactivo En

definitiva Microsoft hizo una

presentación muy a tener en cuenta ya

que si bien no se centró tanto en el

software como en el Hardware nos ayuda a

entender bien Hacia dónde avanza el

futuro de la Inteligencia artificial