WWDC 2024 Recap: Is Apple Intelligence Legit?

Summary

Das Apple WWDC Keynote 2024 präsentierte eine Vielzahl von Updates, darunter die neue Vision OS 2.0, iOS 18 mit individueller Home-Screen-Anpassung, AirPods-Verbesserungen und iPad OS 18 mit einem innovativen Taschenrechner. Ein besonderes Highlight war die Einführung von 'Apple Intelligence', einer Sammlung von generativen Modellen, die die Interaktion mit Apple-Geräten revolutionieren. Die meisten Funktionen sind lokal auf den neuesten Geräten verfügbar, mit einigen Cloud-Optionen für komplexe Anfragen, die Open AI nutzen kann, ohne persönliche Daten zu speichern.

Takeaways

• 🎉 WWDC 2024 hat viele wichtige Ankündigungen gebracht, mit einem Schwerpunkt auf künstlicher Intelligenz (KI).
• 🤖 Apple präsentierte KI als 'Apple Intelligence' und legte damit den Fokus auf ihre eigenen KI-Modelle und -Innovationen.
• 📱 iOS 18 bietet erstmals die Möglichkeit, App-Symbole frei auf dem Startbildschirm zu platzieren und bietet eine neue Farbschema-Engine für einheitliche Farbgebung.
• 🛠️ macOS 'Sequoia' bringt neue Funktionen wie automatisches Fenster-Einrasten und einen integrierten Hintergrund für Webcam-Apps.
• 📊 Apple Watch Vision OS 2.0 erhält Updates wie eine Handbewegung zum schnellen Anzeigen der Uhrzeit und Batterie sowie neue Medienfunktionen.
• 🖼️ iPadOS 18 bietet vollständige Anpassung des Startbildschirms und des Bedienfelds, sowie die neue 'Math Notes' Funktion, die Handschrift in Gleichungen umwandelt.
• 🎧 AirPods erhalten Updates wie räumlicher Audio während von Anrufen und Spiele sowie die Möglichkeit, durch Nicken oder Kopfschütteln zu antworten.
• 📺 Apple TV fügt eine neue Funktion hinzu, die Schauspieler und Lieder in Echtzeit während einer Sendung anzeigt.
• 🏋️ watchOS erhält ein Trainingsmodul, das den Trainingsverlauf über Zeit ausgleicht und bewertet.
• 🔍 Apple's 'Apple Intelligence'-Tools sind nur auf den neuesten Geräten mit Apple-Silicon verfügbar, was die Leistung und Verwendung von KI-Funktionen betrifft.
• 🌐 Fast alle KI-Funktionen von Apple sind auf dem Gerät und nutzen Apples eigene Modelle, mit Ausnahmen, die möglicherweise Cloud-Ressourcen benötigen.

Q & A

Was war das Hauptthema des Apple WWDC Keynotes 2024?

Das Hauptthema des Keynotes 2024 war die künstliche Intelligenz (AI), die Apple als 'Apple Intelligence' präsentierte und in den hinteren Teil des Keynotes verschoben wurde.

Was wurde in Vision OS 2.0 vorgestellt?

Vision OS 2.0 wurde vorgestellt mit neuen Funktionen wie dem Wrist Turn Gesture zur schnellen Anzeige der Uhrzeit und Batteriekapazität, sowie immersiven Medienfunktionen zur Erstellung von räumlichen Fotos und Videos.

Wie wurde die Benutzeroberfläche der Vision Pro durch die neuen Updates verändert?

Die Benutzeroberfläche der Vision Pro wurde durch die Möglichkeit verändert, die Startseite neu anzuordnen und mit neuen Umgebungen zu gestalten.

Was war die bedeutendste Neuerung in iOS 18?

Die bedeutendste Neuerung in iOS 18 war die Möglichkeit, Symbole auf dem Startbildschirm frei platzieren zu können und eine neue Theme-Engine, die es erlaubt, die Farbe aller Symbole und Widgets anzupassen.

Welche neuen Funktionen wurden der Kontrollzentrale in iOS hinzugefügt?

Die Kontrollzentrale wurde vollständig anpassbar, mit mehreren Seiten und mehr individuellen Shortcuts, einschließlich der Möglichkeit, die Taschenlampe und Kamera ohne Jailbreak zu ersetzen.

Was wurde bei den AirPods aktualisiert?

Die AirPods erhielten Updates wie Voice Isolation während Telefonaten, räumlicher Audio während Spielen und die Fähigkeit, mit Nicken oder Kopfschütteln auf Eingabeaufforderungen zu reagieren.

Was ist das neue Feature auf dem Apple TV, das während des Shows die Schauspieler und Charakternamen anzeigt?

Das neue Feature auf dem Apple TV ermöglicht es, während des Shows mit einem wischenden Bewegung auf der Fernbedienung die Schauspieler und Charakternamen sowie das aktuelle Lied in Echtzeit anzuzeigen.

Was wurde bei watchOS vorgestellt?

watchOS erhielten ein Trainingsmodul, das die Trends in deinem Training über die Zeit ausgleicht und bewertet, wie schwierig ein Workout war im Vergleich zu möglichen Schwierigkeitsgraden.

Was war die beeindruckendste Neuerung in iPadOS 18?

Die beeindruckendste Neuerung in iPadOS 18 war die Einführung der Calculator-App, die Handschrift anerkennt und Mathenotizen verarbeitet, sowie Variablen unterstützt und Echtzeitanpassungen von Gleichungen und Graphen ermöglicht.

Was ist das neue macOS Sequoia und welche neuen Funktionen bietet es?

macOS Sequoia bietet neue Funktionen wie automatisches Fenstereinrasten, integrierte Hintergründe für Webcam-Feeds und eine neue Passwort-App, die aus den vorher versteckten Einstellungen gemacht wurde.

Wie wird die neue Apple Intelligence definiert und welche Rolle spielt sie in den neuen Betriebssystemen?

Die neue Apple Intelligence ist eine Sammlung neuer generativer Modelle und grober Sprachmodelle, die von Apple erstellt wurden und neue Funktionen auf den unterstützten Geräten bieten, einschließlich Schreibwerkzeugen, einem Aufräum-Tool in der Fotos-App, generativen Emojis und Verbesserungen von Siri.

Welche AI-Funktionen von Apple laufen lokal auf dem Gerät und welche benötigen Cloud-Computing?

Fast alle AI-Funktionen von Apple laufen lokal auf dem Gerät mit den integrierten Apple-Modellen. Komplexere Anfragen, die die Fähigkeiten dieser Modelle überschreiten, können entweder auf Servern mit Apple Silicon laufen oder, wenn es um spezifische Anfragen geht, die Open AI besser bearbeiten könnte, wird die Erlaubnis des Benutzers eingeholt.

Outlines

00:00

📱 Apple WWDC Keynote und AI-Integration

Die Apple WWDC Keynote hat viele Erwartungen erfüllt, insbesondere im Bereich der KI. Zunächst wurden in der ersten Hälfte der Keynote keine KI-Themen angesprochen, sondern in der zweiten Stunde wurden zahlreiche AI-Features vorgestellt, unter dem Begriff 'Apple Intelligence'. Dazu gehören neue Funktionen für das Vision OS, wie zum Beispiel die Wrist-Turn-Geste, um die Uhrzeit und Batterieladung schnell einzusehen und direkt in das Control Center zu springen. Darüber hinaus wurden immersive Medienfunktionen wie die Erstellung von räumlichen Fotos und Videos mithilfe von KI vorgestellt. Auch die Verbesserung der Mac-Spiegelung und die Möglichkeit, die Benutzeroberfläche neu anzuordnen, gehören zu den Neuerungen.

05:01

🌐 iOS 18: Neue Freiheiten für den Home-Bildschirm

Mit iOS 18 wurde die Benutzeroberfläche des iPhone erheblich erweitert. Benutzer können nun Icons frei auf dem Bildschirm platzieren, was bislang nicht möglich war. Zusätzlich wurden viele Anpassungsmöglichkeiten hinzugefügt, wie z.B. das Ändern der Farbe aller Icons und Widgets, um eine einheitliche Farbpalette zu erzielen. Auch die Kontrolle des Control Centers wurde erweitert, sodass es nun mehrere Seiten und mehr individuelle Shortcuts bietet. Darüber hinaus wurden neue Funktionen wie versteckte Apps, geplante Textnachrichten und RCS-Unterstützung für iMessage hinzugefügt.

10:04

🎧 AirPods & Apple TV erhalten Updates

AirPods wurden mit einigen geringen, aber nützlichen Updates ausgestattet, darunter die Stimme-Isolierung während Telefonaten, räumlicher Audio während von Spielen und die Möglichkeit, durch Nicken oder Schütteln des Kopfes auf Befehle zu reagieren. Apple TV erhielt eine neue Funktion, die es ermöglicht, während einer Sendung alle Schauspieler und Charakternamen sowie das aktuelle Lied in Echtzeit anzuzeigen. Auch eine Funktion zur Erhöhung der Stimmlautstärke, um sie über die Musik hörbar zu halten, wurde hinzugefügt.

15:04

📊 Workout-Analyse und iPad-OS-Neuerungen

Die watchOS hat eine neue Trainingsmodus-Funktion erhalten, die den Trend der Trainings über die Zeit ausgleicht und bewertet, wie schwierig ein Workout war. iPadOS 18 bietet viele der neuen Funktionen von iOS 18, darunter die volle Anpassung des Home-Bildschirms und des Control Centers. Ein bemerkenswertes Feature ist die neue Rechner-App, die Handschrift-Erkennung und Variablen unterstützt, um Gleichungen in Echtzeit zu bearbeiten und zu visualisieren. Auch die SharePlay-Funktion, die es erlaubt, andere iPads fernzu-steuern, ist ein wichtiger Schritt für familiäre Tech-Unterstützung.

🌲 macOS Sequoia: Neue Features und Continuity

Die neueste Version von macOS, Sequoia, bietet eine Reihe neuer Funktionen, darunter automatisches Fenster-Snappen, integrierte Hintergründe für Webcam-Feeds und eine neue Passwort-App. Ein besonderes Augenmerk fällt auf die iPhone-Spiegelung, die es ermöglicht, den iPhone überall auf dem Mac anzuzeigen und die Benachrichtigungen und Audiodateien mit dem Mac zu verbinden, sowie das Drag-and-Drop von Inhalten zwischen Geräten.

🤖 Apple Intelligence: Neue KI-Funktionalitäten

Apple hat seine KI-Funktionalitäten unter dem Begriff 'Apple Intelligence' neu definiert. Es handelt sich um eine Sammlung neuer generativer Modelle und großer Sprachmodelle, die auf den neuesten Apple-Geräten mit Apple-Silicon laufen. Dazu gehören Schreibwerkzeuge, die das Schreiben in verschiedenen Anwendungen verbessern, ein Cleanup-Tool für Fotos, generative Emojis und ein Image-Playground für die Erstellung von Bildern. Siri wird ebenfalls durch die Verwendung großer Sprachmodelle verbessert, und später im Jahr wird sie in der Lage sein, Informationen aus Apps abzurufen und Aktionen innerhalb von Apps durchzuführen.

🔒 Datenschutz und Cloud-Verarbeitung von AI

Apple hat betont, dass fast alle AI-Funktionen lokal auf dem Gerät stattfinden und von Apple erstellt wurden, um die schnellste Verarbeitung zu gewährleisten. In Fällen, in denen die Anfrage zu komplex ist, kann die Verarbeitung auf Server-basierte Modelle von Apple weitergeleitet werden, ohne dass Daten gespeichert oder an Apple gesendet werden. Außerdem wird OpenAI für bestimmte Anfragen genutzt, bei denen die Benutzer zustimmen müssen, um auf die Funktion zuzugreifen. Apple hat Maßnahmen getroffen, um diese Interaktion so sicher und privat wie möglich zu halten, einschließlich der Verwendung von Private Cloud Compute und dem Verstecken der IP-Adressen der Benutzer.

🚀 Neue Ära bei Apple: AI im Fokus

Die WWDC-Verkündungen und die Einführung von Apple Intelligence markieren den Beginn einer neuen Ära für Apple, in der die KI-Funktionalitäten im Mittelpunkt stehen und viele der bisherigen Features wie das Verschieben von Apps auf dem Home-Bildschirm in den Hintergrund rücken. Die Fähigkeit der intelligenten Systeme, den Benutzern persönlich anzupassen und neue Funktionen zu bieten, ist das Hauptaugenmerk der neuen Entwicklungen. Die bevorstehenden Videos werden sich mit diesen Themen ausführlicher befassen und die Möglichkeiten der neuen KI-Technologien von Apple erkunden.

Keywords

💡Apple WWDC Keynote

Die Apple WWDC Keynote ist eine jährliche Veranstaltung, bei der Apple neue Produkte und Technologien vorstellt. Im Video wird diese Keynote als eine der bedeutendsten aller Zeiten dargestellt, insbesondere wegen der hohen Erwartungen an künstliche Intelligenz (KI) in der Tech-Branche 2024. Das Skript erwähnt, dass Apple KI in der zweiten Hälfte der Präsentation thematisiert hat, was für das Video ein zentrales Thema ist.

💡Apple Intelligence

Apple Intelligence ist die neue Bezeichnung für die künstliche Intelligenz von Apple, die in verschiedenen Apple-Produkten integriert ist. Im Video wird Apple Intelligence als eine Sammlung neuer generativer Modelle und Funktionen beschrieben, die in den neuesten Betriebssystemen von Apple-Geräten eingesetzt werden, um die Benutzererfahrung zu verbessern.

💡Vision OS 2.0

Vision OS 2.0 ist eine Aktualisierung des Betriebssystems für das Apple Vision Pro. Im Video wird es als eine eher kleinere Aktualisierung (1.2 Update) als opposed zu einer vollständigen neuen Version (2.0) beschrieben. Neue Funktionen wie der Wrist-Turn-Gesture zum Anzeigen der Uhrzeit und Batterieladung werden im Skript erwähnt.

💡iOS 18

iOS 18 ist die neueste Version des Betriebssystems für iPhones, das im Video vorgestellt wird. Es bringt viele neue Funktionen, darunter die Möglichkeit, Symbole frei auf dem Startbildschirm zu positionieren, und eine neue Theme-Engine, die es Benutzern ermöglicht, die Farbe aller Symbole und Widgets anzupassen. Diese Funktionen sind im Skript als wichtige Updates für die Benutzerfreundlichkeit und Anpassbarkeit des Systems beschrieben.

💡iPad OS 18

iPad OS 18 ist die neue Version des Betriebssystems für iPads und bietet viele der im Video erwähnten Funktionen von iOS 18, wie die volle Anpassung des Startbildschirms und des Steuerungszentrums. Ein besonderes Feature, das im Skript hervorgehoben wird, ist die Einführung des Taschenrechner-Apps mit der Fähigkeit, Handschrift zu erkennen und mathematische Gleichungen zu lösen.

💡Mac OS Sequoia

Mac OS Sequoia ist die neue Version des Betriebssystems für Mac-Computer, die im Video vorgestellt wird. Neue Funktionen wie automatisches Fenster-Einrasten und die iPhone-Spiegelung, die es ermöglicht, den iPhone-Bildschirm auf dem Mac anzuzeigen, sind im Skript erwähnt. Diese Funktionen sind Bestandteil des Fortschritts der kontinuierlichen Verbesserung der Benutzererfahrung.

💡AI-Funktionen

Im Video werden verschiedene AI-Funktionen von Apple vorgestellt, die in den neuen Betriebssystemen integriert sind. Dazu gehören Schreibwerkzeuge, die das Schreiben in verschiedenen Anwendungen verbessern, ein 'Cleanup-Tool' für das Fotos-App, um Hintergrundgegenstände zu entfernen, und die Generierung von Emojis. Diese Funktionen demonstrieren, wie Apple die künstliche Intelligenz in den Alltag integriert.

💡Siri

Siri ist die virtuelle Assistentin von Apple, die im Video als verbessert dargestellt wird, dank der neuen Apple Intelligence-Technologie. Verbesserungen umfassen eine bessere Verständnis des Kontextes, die Fähigkeit, Aktionen in Apps durchzuführen, und die Möglichkeit, stattdessen Texteingaben zu verwenden. Diese Updates zeigen, wie Apple Siri zur Anpassung an die Bedürfnisse der Benutzer weiterentwickelt hat.

💡On-Device vs. Cloud

Das Video diskutiert die Unterschiede zwischen auf dem Gerät durchgeführten AI-Funktionen und solchen, die Cloud-Computing erfordern. Apple betont, dass fast alle Funktionen auf dem Gerät stattfinden, um die Geschwindigkeit und Privatsphäre zu gewährleisten. Falls jedoch komplexere Aufgaben erforderlich sind, kann die Cloud genutzt werden, wobei die Daten niemals gespeichert oder an Apple gesendet werden. Dies zeigt Apples Bemühungen, um die Effizienz und Sicherheit seiner KI-Technologie zu gewährleisten.

💡Open AI

Open AI ist eine künstliche Intelligenz-Forschungsorganisation, mit der Apple zusammenarbeitet, um bestimmte AI-Funktionen zu integrieren. Im Video wird erwähnt, dass Apple spezielle Anfragen an Open AI richten kann, wenn die interne Apple-Technologie diese nicht bewältigen kann. Dies ermöglicht es Apple, auf die Fähigkeiten von Open AI zurückzugreifen, während gleichzeitig die Privatsphäre des Benutzers geschützt wird.

Highlights

Apple's WWDC Keynote in 2024 focused heavily on AI, introducing it as 'Apple Intelligence'.

Vision OS 2.0 was announced with new features like wrist turn gesture and immersive media capabilities.

Mac mirroring on Vision OS received an upgrade with higher resolution due to fixed rendering on the Mac.

iOS 18 introduced a customizable home screen with the ability to freely place icons and a theme engine for icon and widget color matching.

Control Center in iOS 18 is now fully customizable with multiple pages and more shortcut options.

AirPods received minor updates including voice isolation and spatial audio enhancements.

Apple TV added a feature to display actors' names and songs playing during a show in real time.

watchOS introduced a training mode for evaluating workout intensity and balance.

iPadOS 18 brought full home screen customization and a new calculator app with handwriting recognition for equations.

The new iPad calculator app supports variables and real-time graph adjustments.

MacOS Sequoia included features like automatic window snapping and a new password app.

iPhone mirroring on MacOS allows wireless viewing and interaction with the iPhone on a Mac.

Apple Intelligence features are supported only on the highest-end Apple silicon devices.

New writing tools with Apple Intelligence allow summarizing, rewriting, and style changes in text.

A cleanup tool in the Photos app similar to Google's Magic Eraser was introduced.

Generative emojis and an image playground for creating square images with prompts were added.

Siri improvements include better context understanding and the ability to act inside apps.

Apple's AI features primarily happen on-device for speed, with some complex tasks possibly using cloud-based models.

Apple partnered with OpenAI to integrate chat GPT 40, allowing for more complex AI tasks with user consent.

The keynote suggests a new era for Apple with AI taking center stage in personalization and intelligent features.

Transcripts

[Music]

so we just got done with possibly one of

the biggest apple WWDC Keynotes of all

time maybe just because of the state of

the world and what everyone expects from

tech companies in 2024 which is AI at

the front of what you do interestingly

with apple this time Apple had AI at the

back half of what they did literally the

entire first half of the keynote they

didn't say AI once zero times then the

second hour they just went all right

yeah we we actually do have a lot of AI

stuff to share with you and they just

spit it all out and of course they did

manage to Brand it because of course

they did AI for them is now Apple

intelligence but look I watched and live

tweeted the entire 2hour long keynote so

you don't have to and I've gathered all

my thoughts and all the most important

announcements so this is everything you

need to know that's new and some of my

takes on it so I'm going to go in the

same order that Apple went I'm going to

start with vision OS and we're already

on somehow Vision OS 2.0 less than half

a year after the Vision Pro first got

announced and there are some solid new

features but I don't know if I would

call this 2.0 worthy it feels more like

a 1.2 update but okay whatever we'll go

with it so there's a new wrist turn

gesture to quickly see the time and your

battery percentage and then you can jump

right from there into the control center

instead of having to like look way up at

the ceiling like you had to before every

time kind of reminds me of the Oculus

Quest that is easy that's an upgrade

there's a bunch of immersive media

features like they let you go through

your old photos and use Advanced machine

learning to turn them into spatial

photos which is really interesting if it

works and there are also new tools to

help people create spatial videos and

immersive videos on cameras other than

the iPhone but then of course you can

only view them on a Vision Pro so who

knows how valuable this will actually

turn out to be but then this year Mac

mirroring will get way more resolution

thanks to it now doing the fiated

rendering on the Mac so basically it

frees up a ton of resources and it lets

you do up to double the resolution so

you could do a gigantic ultrawide if you

want it to be that is way more room for

Windows and activities love that and

that's pretty much it again it's not the

biggest 2.0 update we've ever seen but

it does feel like there's some nice

updates in there including some new

environments and the ability to

rearrange your home screen believe it or

not you couldn't do that before now you

can but speaking of rearranging your

home screen iOS just got one of the

biggest or at least most interesting

updates in a long time and I'm just

going to if you're an Android User I'd

say for the next like 2 minutes 3

minutes just go ahead and unplug your

keyboard for a second and just relax cuz

yes we've had these features for a long

time but now it's the iPhone's time to

shine all right so officially you will

finally be able to put icons wherever

you want on the iOS 18 home screen grid

and it was hilarious that this got a

whole Applause moment from the audience

during the keynote as if they just inv

vented a new feature but fine you've

been waiting for a long time for this

have your fun but they didn't stop there

they added a whole bunch of other

customization features to the iPhone

home screen 2 and it started to get a

little more interesting see there's this

new theme engine now that lets you go in

and change the color of every icon and

widget on your home screen to the same

color so you can really you can match

your wallpaper with your icons to frame

it nicely and have matching colors

everywhere it's a simple thing and we've

been doing it on Android with launchers

for years but the thing about these is

before this moment basically every

iPhone home screen look the same we've

been saying that they've just given you

the ability to go crazy and kind of ruin

your home screen if you want to and

people seem to absolutely want to I have

seen some rough home screens people are

making on Twitter a lot of them just

look terrible and I think the main thing

I noticed is it seems like there are

apps that support this whole

colored thing well and then there are

apps that don't that just looks like it

tints the entire it just literally

applies a color cast to the entire icon

on your home screen which causes all

kinds of legibility problems doesn't

look good there are widgets that look

horrible that it's just unreadable so

yeah you can make some some pretty

looking home screens if you want but you

can also make some really ugly looking

home screens and I was trying to decide

if I like this more or less than what

Google did on the pixels with material U

I think technically technically it's

better because it works on all of the

icons I don't know how many setups I've

tried where I wanted to the monochrome

icons but there are just a few of my

apps that aren't supported so they end

up looking kind of like they stick out

like a sore thumb so at least apple is

letting you change all of the icons at

once but anyway Apple's also redesigned

the control center to be fully

customizable across multiple pages so

again there's a lot more going on here

and there are many more customizable

shortcuts in more places including

finally replacing the flashlight and

camera on the home screen without

jailbreaking finally and the list keeps

going stop me if you've heard these

before but there are you can do hidden

apps now inside your app drawer so you

can lock apps into a hidden folder that

makes it easier than ever to hide Tinder

from your wife there's also scheduled

text messages an iMessage great finally

they're having some fun over there

there's also text formatting there's

messages via satellite RCS support was

very casually but briefly mentioned uh

the photos app is redesigned there's

also a game mode that now minimizes

background activity and minimizes

Bluetooth latency for peripherals great

and a new automatic categorization in

the new mail app so you can tell there's

there's been a whole bunch of stuff I

will definitely be doing a larger more

Focus just iOS 18 video so you can see

everything that's new there's plenty of

little stuff that didn't make it into

the keynote so I'll do a whole Deep dive

just for that make sure you subscribe to

be among the first to see that I believe

we are catching up to Apple and

subscribers be kind of nice if we pass

them that'd be sick so then airpods got

minor updates like voice isolation

during phone calls spatial audio during

games and the ability to respond to a

prompt just by nodding or shaking your

head taken right from the Sony

headphones I kind of like it though

controlling it without using your voice

is nice then Apple TV gets this new

feature where you swipe down on the

remote at any point during a show and it

just shows you all the actors and

character names of the people on the

screen and any song that's playing in

that moment in real time and there's

also a feature that boosts people's

voices so you can always hear them over

the music and then watch OS they got

this little training mode that sort of

balances the trends in your training

over time and evaluates how hard a

workout was versus how hard it could

have been and then iPad OS so this was

supposed to be Apple's big chance to

really convince us that the iPad is it's

something special that's got a little

something to it that would make us

convinced that we'd want to get the

newest one the M4 one that just came out

over

just your phone or over a Mac and I'll

say it did get one incredible

feature but it didn't really do much

more than that so the iPad it you know

gets all the stuff I talked about with

the iPhone right full home screen

customization customizable control

center the new photos app Etc it's all

great there's also a feature in share

playay that lets you go in and actually

remotely control someone's iPad when

they allow it which seems like a small

thing but I promise you that is massive

for family tech support you know who you

are but the one massive actually

impressive new feature on the iPad in

iPad OS 18 and you think I'm joking but

I'm dead serious when I say this it's

the calculator app it's the new

calculator I promise you I was so ready

to dunk on this like I had had a tweet

like drafted up as they were talking

about it we finally brought the

calculator the iPad and there were

screenshots of it and it looked just

like the iPhone app and I was like

really this is this is what you were so

hyped about had that clip CED up ready

of Craig federi being like yes we had to

do something super special to finally

bring their calculator to the iPad but

then then they pulled the apple pencil

off the side and they pulled up what's

called math notes and it was pretty sick

so now on the iPad you can actually

write down equations in handwriting and

it will understand what you wrote and

it'll answer the question in your

handwriting and then if you adjust the

equation or add new information or

something it automatically updates the

answer which was so sick I don't know

why I'm so impressed with this but it

was really cool to play with and look at

so if that wasn't impressive enough it

also supports variables so you can have

variables written all over the page so

look at this it has G and X and A and H

and then it's a labeled y as the height

here so you can ask for an equation

using these variables and it can give

you an answer and if you want you can do

a y equals equation and it'll give you a

graph with real time adjustment of any

of the variables in your equation I mean

I I wish I was in sixth grade again so

this could be my full-time calculator

this is sick now at this point in the

keynote they haven't even actually said

the word like AI a single time yet I

think this is pretty clearly AI this is

like handwriting recognition this is

like semantic understanding of all the

things happening on the page it's good

AI well played Craig you did it okay but

this is before the actual AI section but

also this wasn't mentioned on stage but

this is also coming to the iPhone's

calculator app as well but then Mac OS

Mac OS has its newest version It's

called Sequoia and it does also get a

nice little grab bag of new features

there's uh automatic window snapping now

finally built-in you don't need a third

party app to do it anymore sherlocked uh

there's built-in backgrounds for any app

that uses the webcam feed there's also a

new password app that basically just

takes what was buried in the settings

before and just makes it its own

Standalone app so it's actually on Mac

iPad and iPhone but probably the biggest

thing is iPhone mirroring so this is

another continuity feature that

basically just lets you wirelessly

always see your iPhone on your Mac it

merges your notifications and audio with

your Macs and lets you drag and drop

things back and forth between your phone

that's sitting next to you and your Mac

I kind of wonder if this hits your phone

battery harder than normal they didn't

really say Obviously so I'm going to

have to test this but I imagine if

you're just sitting on a wireless

charger then it won't matter but I'll be

checking that out but then we arrived

they did all the sections with all the

other operating systems and now we got

to the part where Apple's going to talk

about AI stuff kind of now I don't know

if you remember this but a couple months

ago not that long ago I did an entire

video on all of these phrases that it

seems like apple refused to say on stage

they just would not say them and AI is

one of them they just didn't say it

they'd say anything else neuron Nets

machine learning all sorts of other

things like that

but the times are the times people want

to hear Apple talk about AI so they

finally did and they also like I said

they they rebranded it just for

themselves just to just comedere the AI

name and so now it's called Apple

intelligence in apple land so here's

basically what you need to know about

Apple intelligence right so Apple has

already had AI features on their devices

before they've had the neural engine

inside of their chips and they've done

things like you know smartly cutting

subjects out of photos they've done

things like autocomplete on the keyboard

that's already existed but this new

Apple intelligence is basically a bucket

of these new generative models and what

they do on your devices so there's these

new diffusion models generative models

and large language models that are all

built by Apple that bring new

functionality to the supported devices

and actually I'll just get that out the

ra right off the bat these are only

supported on the highest end versions of

currently available Apple silicon so

that just means iPhone 15 Pro and any

iPad with M1 or later and any Mac with

M1 or later so what does that look like

well basically starting with these new

os's there's a small Suite of tools

that's kind of sprinkled across

everything it's not like there's one

apple intelligence app or something like

that they're just kind of sprinkled

throughout so here's an example writing

tools you know we all know how powerful

these large language models can be so

anytime you're writing in you know Pages

or keynote or basically anywhere where

there's a cursor you can use the writing

tools to summarize or rewrite something

that you've already written it can

change the writing style or just

proofread just basic useful stuff here's

another one remember the Magic Eraser

Tool in Google photos and these Android

phones that use it Apple's finally doing

that too built into their own photos app

is a cleanup tool and it's basically the

same idea this will identify background

items it'll let you Circle items you

don't like in your photos and just get

rid of them fill in the background with

gener to fill super quick and there's

also gen emojis generative emojis and

this may feel really old cuz I would

never use this but apparently there's a

whole group of people who go through

searching for emojis and then they find

that there's one that doesn't exist and

they're like dang I wish I could just

make an emoji for this moment right now

and for those people yeah now now you

can you can generate a new Emoji you can

literally type it fit in like a prompt

and the diffusion model will create that

new emoji from scratch in the style of

all the other emojis and they had an

entire thing called the image playground

that's built into a bunch of Apple's

apps but also has its own separate app

that lets you create these nice little

square images with prompts in three

different styles sketch illustration and

animation and yes there are also Siri

improvements that's using the large

language models to generally understand

context better and just generally be

better and more natural at being an

assistant that isn't garbage and later

in the year it will also be able to pull

info from inside of apps and take

actions inside of apps for you too I

remember when this was like a huge Bixby

feature on Samsung phones so that's cool

to see plus there's also this like big

pretty new full screen animation when

you're triggering Siri to tie it all

together its vo is apparently slightly

updated and you can now also type to

Siri instead of talking to it out loud

every time which is long overdue but

also nice there's Notes app summaries

there's phone call summaries just all

kinds of you know features sprinkled

around like I said definitely I want to

I think I'll end up making a video just

summarizing or testing or reviewing all

of the Apple intelligence stuff cuz it's

kind of all over the place but now you

know what it is but one question that's

been floating around the internet is

what stuff is happening on device versus

things that have to go to the cloud and

this is also come up a lot because you

might have also heard about Apple

partnering specifically with open AI to

integrate chat GPT 40 into this apple

intelligence stuff so it's a big

question everyone's wondering so I got

the official answers from Apple and the

answer is basically almost everything

happens on device intentionally and

those are from Apple built models so

that should be the fastest stuff that

happens but in the chance that there are

things that are too complex or just

outside of the area of expertise of

Apple's models then it can basically go

one of two ways one is it will go to a

larger server-based model that's on

servers that Apple has built with apple

silicon using what they call Private

Cloud compute so basically the info is

never stored or sent to Apple it's still

going to have the downsides of having to

go off of the device up to the cloud it

might take a bit longer if you're in an

area with terrible internet might not

work at all but in the chance that this

is like a big complex thing that could

benefit from those models that's what

it'll try to do but the other is when

you specifically ask it for something

that chat GPT would be good at and if

that happens then it will specifically

ask you hey is it cool if I ask chat GPT

for an answer to this question and then

you can give it a yes or no on the spot

so anytime it wants to do this whether

it's to upload a photo that you're

asking something about or just a complex

prompt in general then this little

dialogue box pops up and you have to say

yes every time and then you can tap into

everything that open AI model is capable

of or generate even more realistic or

varied random different styles of images

that Apple's diffusion models would

never make this is all free without an

account um at no point is open aai

allowed to ever store any of these

requests and Apple has also said that

they will obscure your IP address so you

can't even open AI can't even connect

multiple requests together to form a

profile of you there's just a lot of

thought that's gone into ideally making

this as secure and private of a version

of going to the cloud for AI features as

they possibly can so yeah it's really

interesting a lot of interesting stuff

going on here I think my overall take

with a lot of this WWDC announcements

and with the the Apple intelligence

stuff is that first of all is that like

the Humane pin and the rabbit R1 they

were so doomed from the start like

there's no even if they were good up to

this point there's just no way they

could be as good as

this stuff on your phone with all the

personalization all the info that they

already know about you so I guess that's

confirmed but also it's it just kind of

it does feel like we've entered a new

age with apple I think the AI stuff is

so important that it very much is what

we're most interested in and it

overshadows like honestly what what

could possibly be your favorite non- aai

feature from the past couple things

moving home screen apps and icons

everywhere like that might be the

biggest thing but it's up to this point

now all about what this intelligent

stuff can actually do for you and what

it can bring you so that's what I'm

really excited about I'll be working on

some videos very soon about a lot of

this stuff so definitely like I said get

subscribed if you haven't already but

this has been your overview your what

you need to know thanks for watching

catch you guys in the next one peace