Meta Connect 2024: Quest 3, Orion Glasses & AI Updates

Summary

Die neue Meta Quest 3 bietet eine hochwertige Mischrealität für nur 2,99 Dollar. Sie verfügt über hohe Auflösung, Farbmischung und wird vom gleichen Prozessor wie die Quest 3 angetrieben, unterstützt Handtracking und Controller für präzise Interaktionen. Die Quest 3-Serie ist nicht nur der beste Wert, sondern auch das beste Produkt im Markt. Neue Features wie die verbesserte Social-App-Mischung, Zusammenarbeit mit Microsoft für Remote Desktop, und die Einführung von hyperspeziellen Räumen, die mit dem Handy scannen und teilen können, runden das Angebot ab. Zusätzlich werden Meta AI durch neue, multimodale llama 3.2-Modelle intelligenter gemacht, was es ermöglicht, Bilder und Text zu verstehen und kreative Werkzeuge wie 'Imagine Edit' zu entwickeln. Die Live-Demos zeigen die Möglichkeiten der Quest 3-Serie und die Integration in soziale Plattformen.

Takeaways

• 💡 Die neuesten Meta Quest 3 und Quest 3s bieten hochwertige Mischrealität für 2,99 Dollar.
• 🎮 Quest 3 ist das beste Mischrealitätsgerät, das man heute kaufen kann, und beinhaltet viele Features wie Vivid Passthrough, Handtracking und Touch-Controller.
• 📱 Quest 3 ermöglicht es, von 2D-Mobile-Apps bis hin zu vollständigen immersiven Erfahrungen alles auf einem Gerät zu nutzen.
• 👥 Die sozialen Apps von Meta wurden für Mischrealität 2 neu entwickelt, mit neuen Instagram- und Facebook-Erlebnissen.
• 💻 Zusammenarbeit mit Microsoft bringt Remote Desktop-Verbesserungen, sodass man problemlos eine Verbindung zu jedem Windows 11 PC herstellen kann.
• 🌐 Hyperscape bringt photorealistische Räume ins Metaverse, indem man einen Raum scannen und teilen kann.
• 🎮 Spiele wie Batman Arkham Shadow zeigen, was die Quest 3 Familie kann und sind exklusiv für Quest 3 und 3s verfügbar.
• 🤖 Meta AI wird durch neue open-source Llama 3.2 Modelle intelligenter, mit Fähigkeiten zur nativen Verarbeitung von Bildern und Text.
• 🗣️ Neue kreative Werkzeuge wie Imagine Edit ermöglichen es, Fotos mit natürlicher Sprache und KI zu bearbeiten.
• 🌐 Meta experimentiert mit automatischer Video-Synchronisation für Reals, beginnend mit Englisch und Spanisch, um Content unabhängig von der Sprache zugänglich zu machen.
• 👓 Die neuen Prototypen von Brillen sind die fortschrittlichsten, die die Welt je gesehen hat, mit holographischen Displays und einer Basis auf dem Arm zur Energieversorgung.

Q & A

Was ist das Hauptmerkmal des neuen Meta Quest 3?

Das Hauptmerkmal des neuen Meta Quest 3 ist die hochauflösende Mischrealität, bei der man die Umgebung sehen und digitale Objekte berühren kann, als ob sie da wären.

Wie viel kostet das Basismodell des Meta Quest 3?

Das Basismodell des Meta Quest 3 kostet 299 Dollar.

Welche zusätzlichen Funktionen bietet das Quest 3 mit 512 GB und 4K-Bildschirm?

Das Quest 3 mit 512 GB und 4K-Bildschirm bietet eine höhere Kapazität und Auflösung, was für eine noch intensivere Mischrealitätserfahrung sorgt.

Welche Art von Inhalten kann man mit dem Quest 3 laufen lassen?

Mit dem Quest 3 kann man von 2D-Mobile-Apps über Remote Desktop für PC bis hin zu vollständig immersiven Erfahrungen laufen lassen.

Wie hat Meta die sozialen Apps für Mischrealität 2 neu gestaltet?

Meta hat alle sozialen Apps für Mischrealität 2 neu gestaltet, um Instagram und Facebook-Erlebnisse zu bieten, die Feeds und Reels in die Mischrealität mit einem ansprechenden Interface bringen.

Welche Partnerschaft hat Meta eingegangen, um Remote Desktop zu verbessern?

Meta hat mit Microsoft zusammengearbeitet, um Remote Desktop zu verbessern, sodass man bald einfach auf jeden Windows 11 PC zugreifen kann.

Was ist 'Hyperscape' und wie funktioniert es?

Hyperscape ist eine Meta-Technologie, die es ermöglicht, einen Raum mit dem Handy zu scannen und dann neu zu erstellen oder in einen von jemand anderem gescannten und geteilten Raum zu gehen.

Welche Spiele werden für das Quest 3-Familie angekündigt?

Eines der angekündigten Spiele ist 'Batman Arkham Shadow', das exklusiv für die Quest 3-Familie verfügbar ist und bei jeder Quest 3- oder 3s-Kauf im Herbst enthalten ist.

Was ist die Hauptfunktion von 'Llama 3.2', der neuen Open-Source-Modelle von Meta AI?

Llama 3.2 ist ein neues Open-Source-Modell von Meta AI, das multimodal ist und sowohl Bilder als auch Text verstehen kann, was es Meta AI ermöglicht, kreative Werkzeuge wie 'Imagine Edit' zu entwickeln.

Wie wird Meta die Interaktion mit KI in den zukünftigen Apps verbessern?

Meta plant, die Interaktion mit KI durch natürliche Sprachgespräche zu verbessern, da sie glauben, dass Sprache eine natürlichere und möglicherweise häufigste Art der Interaktion mit KI sein könnte.

Was ist das Hauptziel von Meta, wenn es um die Verbesserung der automatischen Video-Synchronisation geht?

Das Hauptziel von Meta bei der Verbesserung der automatischen Video-Synchronisation ist es, mehr Inhalte in verschiedenen Sprachen zugänglich zu machen und damit Creator*innen eine größere Zielgruppe zu erreichen.

Wie sieht die neuesten Brillen von Meta aus und was sind ihre Hauptmerkmale?

Die neuesten Brillen von Meta sind durchsichtig und zeigen die Technologie, die darin verborgen ist. Sie haben eine holographische Anzeige, die scharf genug ist, um Details in verschiedenen Beleuchtungsbedingungen zu erkennen und groß genug, um einen Kinobildschirm oder mehrere Monitore für das Arbeiten überall hin zu zeigen.

Was ist der Plan von Meta für die Brillen, nachdem sie als Entwickler-Kit 'Orion' bezeichnet wurden?

Meta plant, die Brillen als Entwickler-Kit 'Orion' hauptsächlich intern zu verwenden, um die Software aufzubauen, die sie benötigen, und auch mit einer Handvoll externer Partner*innen zusammenzuarbeiten, um eine Vielfalt von Inhalten zu gewährleisten und die Software und das Erlebnis zu optimieren.

Outlines

00:00

😎 Quest 3 - Neues Meta-Quest-Gerät mit Mixed Reality

Der Text beschreibt die Einführung des neuen Meta Quest 3, ein Gerät mit hochwertiger Mixed-Reality-Technologie, das für 2,99 Dollar erhältlich ist. Es bietet eine Realitätserfahrung, bei der man die physikalische Welt um sich herum sehen und digitale Objekte berühren kann, als ob sie tatsächlich vorhanden wären. Das Quest 3 ist das beste Mixed-Reality-Gerät, das man heute kaufen kann, und es ist stolz darauf. Es besitzt die gleichen charakteristischen Merkmale wie das Quest 3, wie hochauflösende Farb-Mixed-Reality, die von demselben Prozessor angetrieben wird, Vivid Pass-Through, Handtracking, natürliche Touch-Steuerung und Controller für präzise Interaktionen. Es deckt eine Bandbreite von Erfahrungen ab, von Spielen über soziale Interaktionen, Fitness, Videowiedergabe, Produktivität und mehr. Es wird auch erwähnt, dass die Inhalte, die auf der Bühne gezeigt werden, live von dem Headset übertragen werden.

05:01

📱 Erweiterte Inhalte und soziale Anwendungen für Mixed Reality

Der zweite Absatz konzentriert sich auf die Verbesserung der Inhalte und sozialen Anwendungen im Zusammenhang mit Mixed Reality. Es wird erwähnt, dass die Qualität und der Umfang des Inhalts massiv erweitert wurden, sodass man von 2D-Mobile-Anwendungen bis hin zu einem vollständig immersiven Erlebnis alles auf einem Gerät ausführen kann. Es gibt auch eine Neugestaltung sozialer Apps für Mixed Reality 2, mit neuen Instagram- und Facebook-Erlebnissen, die Feeds und Reels in die Mixed-Reality-Umgebung bringen. Es wird auch über die Zusammenarbeit mit Microsoft gesprochen, um den Remote Desktop zu verbessern, sodass man leicht mit jedem Windows 11 PC verbinden kann. Außerdem wird auf die Einführung von photorealistischen Räumen im Metaversum, sogenannte Hyperscapes, eingegangen, die es ermöglichen, Räume mit dem Handy zu scannen und neu zu erstellen oder in von anderen geteilte Räume einzutreten. Es wird auch auf die Spiele erwähnt, die zeigen, was die Quest 3-Familie kann, einschließlich des exklusiven Batman Arkham Shadow, das in den Kaufpreis für das Quest 3 oder 3s im Herbst enthalten ist. Schließlich wird die künstliche Intelligenz von Meta durch neue open-source Llama 3.2-Modelle intelligenter gemacht, die multimodal sind und sowohl Bilder als auch Text verstehen können. Es wird auch über neue kreative Werkzeuge gesprochen, die in Imagine Edit integriert sind, die es ermöglichen, Fotos mit natürlicher Sprache zu bearbeiten, und die Fähigkeit, mit AI durch Stimme zu kommunizieren, die als natürlichere Interaktion als Text angesehen wird.

10:03

🕶️ Orion - Die ersten vollständig funktionierenden holographischen AR-Brillen

Der dritte Absatz beschreibt die Entwicklung der ersten vollständig funktionierenden holographischen Augmented-Reality-Brillen namens Orion. Diese Brillen sind mit einer Reihe von Technologien ausgestattet, einschließlich Voice- und AI-Steuerung, Hand- und Blickfolge, die es ermöglichen, UI-Elemente durch Blicken auszuwählen. Es wird auch über die Entwicklung einer Armband-basierten neuronalen Schnittstelle gesprochen, die es ermöglicht, Signale direkt vom Gehirn zum Gerät zu senden. Der Text betont die Herausforderungen, die noch überwunden werden müssen, bevor das Produkt für den Verbrauchermarkt bereit ist, einschließlich der Verbesserung der Anzeigeschärfe, der Designoptimierung, der Kostensenkung und der Verbesserung der Software. Orion wird als Entwicklerkit verwendet, um interne Software zu erstellen und mit einigen externen Partnern zusammenzuarbeiten, um eine Vielfalt von Inhalten zu gewährleisten und die Software und das Erlebnis zu optimieren, bevor die nächste Hardwareversion als erstes holographisches AR-Glas für Verbraucher bereit ist.

Keywords

💡Meta Quest 3

Meta Quest 3 ist eine hochwertige Mixed-Reality-Brillen von Meta, die in dem Video vorgestellt werden. Es handelt sich um ein Gerät, das die physische Welt mit digitalen Elementen verbindet, um Benutzern eine immersive Erfahrung zu bieten. Im Video wird betont, dass es die Möglichkeit bietet, die Welt um einen herum zu sehen und digitale Dinge zu berühren, als ob sie tatsächlich vorhanden wären.

💡Mixed Reality

Mixed Reality (MR) ist ein Begriff, der eine Kombination aus physischer und digitaler Realität beschreibt. Im Kontext des Videos bezieht es sich auf die Fähigkeit des Meta Quest 3, die reale Welt mit digitalen Objekten zu überlagern, um eine neue Art der Interaktion zu ermöglichen. Dies wird als zentrales Merkmal des Geräts dargestellt.

💡Vivid Pass Through

Vivid Pass Through ist eine Technologie, die es Benutzern ermöglicht, die reale Welt durch die Brille zu sehen, während sie digitalen Inhalte interagieren. Im Video wird dies als ein Defining Feature des Meta Quest 3 hervorgehoben, das die Realität um den Benutzer herum auf natürliche Weise integriert.

💡Hand Tracking

Hand Tracking ist eine Funktion, die es Benutzern ermöglicht, ihre Hände zur Interaktion mit digitalen Objekten zu verwenden, ohne dass zusätzliche Controller erforderlich sind. Im Video wird dies als ein natürliches und präzises Steuerungssystem beschrieben, das zur Benutzerfreundlichkeit beiträgt.

💡Horizon OS

Horizon OS ist ein Betriebssystem, das für die Meta Quest 3 entwickelt wurde und auf dem die verschiedenen Anwendungen und Erfahrungen basieren. Im Video wird erwähnt, dass es eine Vielzahl von Erfahrungen wie Spiele, Soziales, Fitness, Videos und Produktivität ermöglicht.

💡Meta AI

Meta AI bezieht sich auf die künstliche Intelligenz, die von Meta entwickelt wird und im Video als eine Technologie vorgestellt wird, die durch die Einführung von multimodalen Fähigkeiten verbessert wird. Sie ermöglicht es dem AI-System, sowohl Bilder als auch Text zu verstehen und wird zur Verbesserung der Interaktion mit den Anwendungen verwendet.

💡Llama 3.2

Llama 3.2 ist eine Open-Source-Modell von Meta AI, das im Video als ein Schlüsselelement der künstlichen Intelligenz von Meta erwähnt wird. Es ermöglicht dem AI-System, mehr Modi zu verstehen, was die Interaktion mit Benutzern verbessert und neue Funktionen wie das Bearbeiten von Fotos ermöglicht.

💡Hyperscape

Hyperscape ist ein Begriff, der in dem Video verwendet wird, um einen photorealistischen Raum im Metaversum zu beschreiben. Es ermöglicht es Benutzern, einen Raum zu scannen und neu zu erstellen oder in einen von jemand anderem geteilten Raum zu gehen. Dies ist ein Beispiel für die Art und Weise, wie die physische Welt mit der digitalen Realität verbunden wird.

💡Neural Interface

Ein neuraler Interface ist eine Technologie, die es ermöglicht, direkt aus dem Gehirn Signale an ein Gerät zu senden. Im Video wird dies als eine zukünftige Funktion der Meta Quest 3 dargestellt, die es Benutzern ermöglicht, eine noch natürlichere Interaktion mit dem Gerät zu haben, ohne dass Hand- oder Sprachbefehle erforderlich sind.

💡Orion

Orion wird im Video als ein Entwicklungskit für die Meta Quest 3 beschrieben, das sowohl intern von Meta verwendet wird, um Software zu entwickeln, als auch mit externen Partnern, um eine Vielfalt an Inhalten und Erfahrungen zu gewährleisten. Es ist ein Schlüsselinstrument für die Vorbereitung auf die Einführung des Endprodukts für Verbraucher.

Highlights

Introduction of the new Meta Quest 3S with high-quality mixed reality at an affordable price of $2.99

Quest 3 offers a mainstream mixed reality experience with high resolution and color mixed reality

Features of Quest 3 include Vivid pass through, hand tracking, and Touch plus controllers for precision

Quest 3 is the best mixed reality device available today

The Quest 3 family offers the best value and product in the market

Live demo of the headset streaming everything seen by the user

Expansion of content quality and volume, including 2D mobile apps and remote desktop for PC

Rebuilt social apps for mixed reality 2, including new Instagram and Facebook experiences

Ability to run multiple applications simultaneously in mixed reality

Collaboration with Microsoft to upgrade remote desktop for easy connection to Windows 11 PCs

Introduction of hyperscape, allowing users to scan and recreate rooms in the metaverse

Gaming experiences on Quest 3, including Batman Arkham Shadow exclusive to the Quest 3 family

Meta AI is becoming smarter with the new open-source llama 3.2 models

Llama 3.2 models enable multimodal understanding of images and text

New creative tools in imagine edit allow precise photo editing with natural language

Natural voice conversations with Meta AI across major apps like Instagram, WhatsApp, and Facebook

Live demo of automatic video dubbing on reals, starting with English and Spanish

Introduction of limited-edition clear transparent frames that celebrate the technology within

Presentation of the first fully functioning prototype of advanced glasses with holographic displays

Details of the glasses' technology, including tiny projectors, wave guides, and custom silicon

The glasses will feature voice, AI, hand tracking, and eye tracking

Introduction of a wrist-based neural interface for the glasses

Plans for the Orion dev kit and collaboration with external partners for diverse content

Aim to improve the display system, design, and affordability before shipping as a consumer product

Transcripts

this is the new meta quest Quest

3s high quality mixed reality for

$2.99 hell

yeah I've been waiting for this one for

a long time um you know when when we

built Quest 3 we delivered the first

highquality mainstream mixed reality EXP

experience where you can see the world

around you you can reach out and touch

digital things as if they're right there

um Quest 3 is the best mixed reality

device that you can buy today and and I

really proud of it Quest 3s has the same

defining features as Quest 3 high

resolution color mixed reality powered

by the same processor Vivid pass through

hand tracking feels Natural Touch plus

controllers for precision you get the

full range of experiences from Horizon

an OS gaming Social Fitness watching

videos productivity and more so whether

you're looking to get started with the

base Quest 3s or if you want the

top-of-the-line Quest 3 with 512 GB and

4K displays which is now just

$4.99 the quest 3 family it's not just

the best value it is the best product

available everything you're going to see

up here is streamed from his headset

live this is what he is

seeing yeah it's

sharp all right Kenny what do we got got

all right now the first thing that you

can see is that we have

expanded the quality the the volume of

content

massively yeah sorry to the dude next to

him live demo artifact all right um You

can now run everything from 2D mobile

apps to remote desktop for PC uh to

fully immersive experiences all on one

device you can open scen

you can put them anywhere around you you

can have pretty much as many of them

running as you want and we have also

rebuilt all of our social apps for mixed

reality 2 we've got all new Instagram

and Facebook experiences to bring your

feeds and your reels uh with you into

mixed reality a really nice interface uh

so you can lean back enjoy your content

on nice big

screens um so and there's there's a

bunch more too all we've been working

with

Microsoft uh to upgrade remote desktop

soon so now you're soon you're going to

be able to easily connect to any Windows

11 PC you just look at the

keyboard and um and you and it'll start

pairing so if you want to work on a

giant virtual display or a bunch of

virtual displays or you know if you want

to work on your projects without

distractions or with other people you

know this is Quest is going to be able

to be a natural extension of your PC

we're also bringing photorealistic

spaces to the

metaverse and we call this

hyperscape and the way this works is you

can use your phone to scan a room and

then recreate it or you can step into a

room that someone else has scanned and

shared now of course there's gaming um

so we got some really good ones coming

showing off what the quest 3 family can

do Batman Arkham Shadow up here um

exclusively on the quest 3 family it's

going to be included in any purchase of

a quest 3 or 3s uh that you buy this

fall lots of great experiences a lot

more coming soon today we are making

meta AI even smarter uh with our new

open-source llama 3.2 models and I'm

going to get into more details about

llama 3.2 in just a minute but one of

the headlines is that they're multimodal

um so now meta AI can natively

understand images as well as text

now we're using this new capability to

build some features that that I I

haven't seen anyone else build I mean

this is this is pretty interesting and

novel stuff creative tools that we're

adding to imagine edit it lets you

upload any photo and edit it

precisely um with natural language in

meta AI across the apps I think that

voice is going to be a way more natural

way of interacting with AI than text and

probably I think it has the potential to

be one of if not the most frequent ways

that we all interact with AI um it is

just a lot better so now you're going to

be able to have natural voice

conversations with medai across all the

major apps you got you know Instagram

WhatsApp messenger

Facebook Hey are live demos

risky live demos can be risky yes they

can be unpredictable prone to technical

issues and potentially embarrassing

however they can also be engaging

memorable I'm going to do it

anyway go for it just be prepared for

anything to happen so you were one of

the first creators to build one of these

Creator AIS with the text only platform

um you know can can you tell us what

what it does and and your experience

with it yeah so like for me I've been

treating my Creator AI kind of like like

my digital assistant so you know I've

trained it on how I respond and how to

engage with my audience and then yeah

can like send DMS can share links to

relevant resources and then uh what else

am I having to do oh yeah it can just it

guides people through conversation it's

great congrats on the new book that you

just released you know what's the main

thing that you're hoping that people

take away from

it thank you so much yeah the main thing

I want people to take away from my book

is the idea that you have the power to

create your own opportunities by

combining curiosity adaptability and

resilience in a rapidly evolving digital

world we are experimenting with

automatic video dubbing on reals

uh starting with English and Spanish um

so this is going to be a way that you

can see more of the content that's out

there no matter what language you speak

and as a Creator this is going to let

you reach a lot more people around the

world no matter what language you speak

so now you're going to be able to take

your content and it's going to be in

your authentic voice um speaking other

languages if you want and we're also

doing automatic lip syncing um so that

we actually looks like you were speaking

the other language so let's check this

one out

my native language is Spanish but check

it out now I can also speak English

through AI automatic dubbing so glasses

are they're kind of the perfect form

factor for AI right for letting an AI

assistant see what you see hear what you

hear be able to communicate you with you

privately um so it can help you out with

whatever you're doing throughout the day

I am about to have a conversation with

Brandon Mareno former UFC flyweight

champion of the world where he is

speaking Spanish and I am speaking

English all right Brandon you want to

come out here and show us

this starting live translation from

Spanish to

English

hey hey how are you how is your knee

back

training doing well KN is is doing well

it feels strong I'm ramping up training

um how are you doing are you getting

ready for your next

fight so today we are dropping a limited

edition of clear transparent

frames um you know I think this is neat

because it's it's it's a neat Vibe right

you can see the

technology in them you know for the

first few versions We spent so much

energy designing the glasses to

basically hide the technology um to make

them look like normal stylish glasses

but now I think people are starting to

appreciate what makes them special and I

think having a design that celebrates

that um is pretty awesome this is

a our first fully functioning

prototype and if I do say so the most

advanced glasses the world has ever seen

you know not a headset no WI

less than 100

G uh they need wide field of view

holographic

displays sharp enough to pick up

details bright enough to see in

different lighting

conditions large enough to display a

cinema screen or multiple monitors for

working wherever you go whether you're

you in a coffee shop or on a plane or

wherever you are

and you need to be able to see through

them and people need to be able to see

them through them too and make eye

contact with you right this isn't pass

through this is the physical world with

holograms overlaid on it it is a

completely new kind of display

architecture with these tiny projectors

and the arms of the glasses that shoot

light into wave guides that have you

know nanoscale 3D structures etched into

the lenses so they can defract light and

put Holograms at different uh depths and

sizes into the world in front of you and

all of that is directed by custom

silicon and sensors that we designed and

powered by a battery that fits in the

arm of the

glasses it is a absolutely incredible

amount of

technology to be able to miniaturize and

fit into a pair of glass and a small

Puck that goes with it to help power the

whole thing they're going to do voice

and

AI they're going to do hand tracking and

eye tracking so that way you can select

UI Elements by looking at them voice is

great but the thing is sometimes you're

in public and you don't want to say what

you're trying to do with your computer

out loud hand tracking is neat for

controlling different interfaces but you

don't want to like walk down the street

like this right

so I think that you need a device

that allows you to you just send a

signal from your brain to the

device so this isn't just the First full

screen like you know

full wide field view holographic AR

glasses this is also the first device

that is powered by our wrist-based

neural interface we do still have a few

things that I want us to keep pushing on

before we ship this as a consumer

product um we're going to keep tuning

the display system to make it sharper I

want to keep working on the design to

make it smaller and a bit more

fashionable um and we are going to keep

making we need to keep working on the

the um manufacturing to make it a lot

more affordable

too but we have line of sight to all of

those things so we are going to use

Orion as a dev kit um we are going to

use it mostly internally to build out

the software that we that we need to but

we're also going to work with a handful

of Partners external to make sure that

we get a diversity of content and and um

you know just that we can really dial in

the software and the experience so that

way when we have the next version of

this Hardware it is going to be ready to

be our first consumer full holographic

AR glasses