Apple WWDC 2024: AI, iOS 18 and More in Less than Six Minutes | WSJ

Summary

Appleの全世界開発者会議で発表されたApple Intelligenceは、iPhone、Mac、iPadのOSに統合されるAIシステムです。Siriのアップグレード、generative AIによるテキストの要約や書き換え、新しい絵文字の生成、画像検索の向上、音声トランスクリプトのサポートなど、多くの機能が盛り込まれています。しかし、これらの新機能は最新のiPhone 15 ProやMチップ搭載のiPad、Macでのみ利用可能で、一部の機能は年末までに提供されるとのことです。

Takeaways

• 🧠 AppleのAIシステム「Apple intelligence」がiPhone、Mac、iPadのOSに統合される。
• 🔒 Siriは個人情報のプライバシーを保護しながら、デバイス上でモデルを利用し、Appleの新しいプライベートクラウドコンピュートシステムを活用する。
• 🗣️ Siriはユーザーの言葉をよりよく理解し、誤った発言にも対応する能力が向上。
• 💬 Siriはチャットボットのようにタイプ入力に対応し、画面に表示される情報に基づいて理解を深める。
• 🔍 Siriはメッセージ、メール、メモ内の情報を検索し、フォームへの入力を支援することができる。
• 🤖 Siriはchat GPTの機能を利用し、特定のタスクをこなす際にその能力を拡張する。
• ✍️ テキストの要約、書き換え、校正をAIが支援する機能が導入される。
• 😃 テキストのトーンを変更し、よりフレンドリー、プロフェッショナル、またはコンパクトに応答することができる。
• 🎨 ジェネラティブAIモデルを活用した新しい絵文字「gen Emoji」が登場。
• 🖼️ 「image playground」アプリで秒単位で画像を作成し、メッセージやページに組み込むことが可能。
• 🔍 画像検索が向上し、背景のオブジェクトや人物を除去する「cleanup tool」が追加される。
• 📝 音声録音のAIトランスクリプト機能が追加され、ノートアプリや電話アプリで使用可能になる。
• 🔔 AIが通知を優先度別に並べ替え、最も重要な通知がトップに表示される。
• 📅 iOS 18、iPadOS 18、MacOS Sequoiaのベータバージョンで今夏に登場し、より広範に展開される。
• 📱 新しいAI機能はiPhone 15 Pro、iPad、Mチップ搭載のMacでのみ利用可能。
• 🚫 一部の機能は年末までにchat GPTと統合される予定で、他の機能は来年以降に延期される可能性がある。

Q & A

AppleのAIシステムの名称は何ですか？

AppleのAIシステムは「Apple intelligence」と呼ばれています。

Apple intelligenceはどのデバイスに統合される予定ですか？

Apple intelligenceはiPhone、Mac、およびiPadのオペレーティングシステムに統合される予定です。

Siriはどのようなアップグレードを受けますか？

Siriは個人情報の理解を深め、デバイス上のモデルやAppleの新しいプライベートクラウドコンピュートシステムを使用してデータのプライバシーを保護するようになっています。また、タイプでの操作が可能になり、画面に表示される情報の理解や、特定の情報を検索することができるようになっています。

Siriが新しい機能として提供する「チャットGPT」とは何ですか？

Siriが実行できない操作に対しては、チャットGPTを使用するよう提案し、ユーザーの許可を得ます。これはチャットGPTのサブスクリプションを必要とせず、また既存のアカウントを接続して有料機能にアクセスできます。

Appleのテキストツールはどのような機能が追加される予定ですか？

テキストの要約、書き換え、校正ができるようになり、メイルやメッセージャー、ページなど様々なアプリで使用できます。また、返信のトーンを変更する機能も追加されます。

「gen Emoji」とはどのような機能ですか？

gen Emojiは、絵文字とmimojiを組み合わせた生成的な絵文字作成機能です。説明を加えることで新しい絵文字を生成し、メッセージの返信やステッカーとして使用できます。

「Image playground」アプリは何ができますか？

Image playgroundアプリでは、アニメーション、スケッチ、イラストのスタイルから選択して、説明を入力するだけですぐに画像を作成することができます。

Apple intelligenceは写真検索にどのような影響を与えますか？

Apple intelligenceは写真検索をより具体的なものにし、背景の人物や物を削除する「cleanup tool」のような機能も提供します。

Appleの音声トランスクリプト機能はどのようなものですか？

Appleの音声トランスクリプト機能は、デバイス上でAIを利用して音声を文字起こしし、要約も提供します。メモアプリに追加され、電話アプリにも同様の機能が搭載される予定です。

Apple intelligenceの通知機能の改善点は何ですか？

Apple intelligenceはAIを利用して通知を優先順位付けし、最も重要な通知を一番上に表示します。これにより、ユーザーは一目で重要な通知を見ることができます。

Apple intelligenceはどのバージョンのOSで利用可能になりますか？

Apple intelligenceはiOS 18、iPadOS 18、MacOS Sequoiaのベータバージョンから今夏に始まり、より広範に今年の秋に展開される予定です。

Apple intelligenceの利用にハードウェアの要件はありますか？

はい、Appleはこれらの新しいAI機能には最新のiPhone 15 ProラインやMチップ以降のiPadやMacが必要ですと述べています。

Apple intelligenceの機能はすぐに全て利用できますか？

いいえ、Appleは一部の機能は年末までに、そして他の機能は来年になるかもしれないと発表しています。

Outlines

00:00

🤖 AppleのAIシステムの紹介

Appleは、iPhone、Mac、iPadのオペレーティングシステムに統合されるAIシステム「Apple intelligence」を発表しました。Siriの機能が向上し、個人情報のプライバシーを保護しながら、デバイス上でモデルを利用したり、新しいプライベートクラウドコンピュートシステムを利用したりして、ユーザーの理解を深めています。Siriは、画面に表示される内容を理解し、メッセージやメール、メモ内の情報を検索することができるようになりました。さらに、SiriはチャットGPTを利用して、未知のタスクを実行できるようになりました。テキストの要約、書き換え、校正をAIが行う新しい書き込みツールも紹介されています。

05:02

😀 Siriの知能化と新しい機能

Siriはより賢くなり、ユーザーとの対話がより自然になります。Siriは、ユーザーが誤った発言でも理解を試み、天気予報のような一般的な質問に答えることができます。また、Siriはチャットボットのようにタイピングでのコミュニケーションが可能となり、フォームへの入力やライセンス番号の自動抽出などのタスクをサポートします。さらに、SiriはチャットGPTと連携し、ユーザーの許可を得た上で未知の質問に答えることができます。

Keywords

💡Apple intelligence

Apple intelligenceは、Apple社が開発したAIシステムで、iPhone、Mac、iPadのオペレーティングシステムに統合される。ビデオのテーマであるAppleのAI技術の進歩と統合に関連している。例えば、ビデオではApple intelligenceが60回も言及され、その重要性が強調されている。

💡Siri

SiriはApple社が提供する音声アシスタントで、ビデオではSiriの機能が個人情報のプライバシーを保護しながら向上し、より理解しやすくなっていると紹介されている。ビデオの中で、Siriがスペルや言葉の誤りを認識し、ユーザーの意図を理解する能力が向上した例が挙げられている。

💡プライベートクラウドコンピュート

プライベートクラウドコンピュートは、Appleが提供する新しいシステムで、ユーザーのデータをデバイス上でのみ処理することでプライバシーを保護する。ビデオでは、このシステムがSiriの機能向上に寄与すると説明されている。

💡チャットボット

チャットボットとは、人間と会話することができるAIプログラムのこと。ビデオでは、Siriがチャットボットのようにタイプで会話できるようになったと紹介されており、これはSiriの進化と関連している。

💡Chat GPT

Chat GPTは、Siriが特定のタスクを実行できない場合に使用するAIサービス。ビデオでは、SiriがChat GPTを利用し、ユーザーの許可を求めることでタスクを遂行することができると説明されている。

💡生成的AIモデル

生成的AIモデルとは、テキストの要約、書き換え、校正を行うAI技術のこと。ビデオでは、これらのモデルがNotes、Mail、PagesなどのAppleのアプリで使用されると紹介されている。

💡gen Emoji

gen Emojiは、ユーザーが説明を加えることで生成される新しい絵文字のことで、ビデオではこの技術が紹介されており、メッセージへの返信やスティッカーとして使用することができると説明されている。

💡イメージプレイグラウンド

イメージプレイグラウンドは、ビデオで紹介された新しいアプリで、ユーザーが説明を入力して画像を短時間で作成することができる。これは、メッセージやページなどのAppleのアプリに組み込まれている。

💡音声トランスクリプト

音声トランスクリプトは、音声をテキストに変換するプロセス。ビデオでは、AppleがNotesアプリにこの機能を追加し、録音した電話の内容を自動的に要約することができると紹介されている。

💡通知の優先順位付け

通知の優先順位付けは、最も重要な通知をトップに表示する機能。ビデオでは、AppleがAIを利用して通知を優先順位付けし、ユーザーが重要な情報をすばやく把握できるようにするという機能が紹介されている。

💡iOS 18

iOS 18は、Apple社が開発するモバイルオペレーティングシステムのバージョンで、ビデオではApple intelligenceがこのバージョンで初めて登場すると紹介されている。

💡iPhone 15 Pro

iPhone 15 Proは、Apple社が開発するスマートフォンのモデルで、ビデオでは新しいAI機能を利用するためにはこのモデルが必要であると説明されている。

Highlights

Apple introduces its AI system, Apple intelligence, to be integrated across iPhone, Mac, and iPad operating systems.

Apple intelligence mentioned around 60 times during the conference, emphasizing its significance.

Siri, Apple's assistant, is getting smarter with improved personal data handling and privacy.

New Siri can understand user queries better, even when misspoken, and will be able to type to Siri like a chatbot.

Siri will be able to find information on the user's screen and autofill forms with extracted data.

Siri can now use chat GPT when it doesn't know how to answer a query, with or without a subscription.

Apple plans to integrate with other large language models in addition to chat GPT.

New writing tools with generative AI models to summarize, rewrite, and proofread text in various apps.

Apple introduces gen Emoji, a feature to create custom emojis by description.

Image playground app allows quick image creation with animations, sketches, or illustrations.

Apple intelligence enhances photo search capabilities with more specific queries.

New cleanup tool to remove objects or people from photo backgrounds, similar to Google's Magic erase.

On-device AI transcription feature coming to Notes app with summarization capabilities.

AI transcription for phone calls with automatic participant notification.

AI prioritizes notifications, showing the most important ones at the top.

Apple intelligence features will first appear in iOS 18, iPad OS 18, and Mac OS Sequoia beta versions this summer.

Some features will only be available in English initially and may not launch until next year.

Certain AI features require the latest iPhone 15 Pro models and devices with M chip or later.

Apple's entry into the AI Wars with Siri improvements and a mix of on-device and cloud processing.

Transcripts

Apple intelligence Apple intelligence

Apple intelligence if you're wondering

what Apple's been talking about here at

its worldwide developers conference let

me sum it up for you introducing Apple

intelligence you see what they did there

yes Apple intelligence is the company's

AI system that will be integrated

throughout its iPhone Mac and iPad

operating systems and yes they said

Apple intelligence around 60 times some

of these intelligence announcements are

just table Stakes Samsung and Google

already have them others break new

ground here's my AI analysis number one

Siri yes ever since Siri's birth Apple's

been promising that it can do things for

you just by you asking not exactly yet

maybe now is Siri's moment the assistant

is getting smarter at what it can do

with your personal information the aim

is to keep your data private either by

using on device models or using Apple's

new private Cloud compute system Apple

says the new Siri can understand you

better even when you flub what you're

saying what does the weather look like

for tomorrow at Mir Beach oh wait I

meant Mir

Woods the forecast is calling for clear

skies in the morning near mer Woods

National Monument the big thing is that

you can now type to Siri making it much

more like a chatbot but unlike those

other chatbots Apple's making the point

that Siri knows all about you and your

personal info it eventually will be able

to understand what appears on your

screen you can ask Siri to find

something even if you don't remember

it's in a message email or note and it

can work across app or for times when

you're filling out a form and need to

input your driver's license Siri will be

able to find a photo of your license

extract your ID number and type it into

the form for you number two Siri and

chat GPT Siri has a new buddy when you

ask Siri to do something that it doesn't

know how to do it will ask your

permission to use chat GPT and you don't

have to be a chat GPT subscriber either

and if you have a chat GPT account you

can connect it and access the paid

features Apple says it plans to

integrate with other large language

models later number three writing tools

these were expected generative AI models

will be able to summarize rewrite and

proofread text in Notes mail pages and

more well now you can change the tone of

that response to your colleague to make

it sound more friendly professional or

concise Apple will also suggest

responses and different tones for

messages and emails Google and Samsung

have been doing this but it's a very

welcome upgrade here too number four

Images we're introducing gen Emoji yes

that's a thing it's generative image

creation mixed with emoji and mimoji you

can generate these new emojis by adding

a description you can then use them as a

tapback reaction in messages inline or

stickers just provide a description and

you'll see your gen mooji appear right

before your eyes along with more options

to choose from we were promised flying

cars and well we got AI that can make

emojis of flying cars I mean yeah of

course I'm really excited about this one

then there's a new app called image

playground that lets you create images

in seconds it's also built into apps

like messages and pages and you choose

from animations sketch or illustration

Styles when you have a really specific

idea in mind you could just type a

description to add it to your

playground and you can easily adjust

which style you want to use and speaking

of images Apple intelligence will make

it easier for you to search through

photos with more specificity and similar

to Google's Magic erase feature there's

a cleanup tool that can help you remove

objects or people in the background of

your photos number five voice

transcription can I get a finally on

this one Samsung and Google both have on

device AI transcription apple is just

getting with the program it's coming to

the notes app and you can use AI to

summarize the transcript for you too

there's a similar feature coming to the

phone app so you can record phone calls

and do the same don't worry participants

are automatically notified so no one is

surprised number six notifications

taking another page from Google and say

Samsung Apple will use AI to prioritize

your notifications the most important

will appear at the top your priority

notifications appear at the top of the

stack letting you know what to pay

attention to At a Glance Apple

intelligence will start appearing in iOS

18 iPad OS 18 and Mac OS Sequoia first

in the beta versions this summer and

then more broadly to everyone this fall

and it's only available in English at

first but there are two big bummers not

all the features will be available right

away Apple says the Chachi p integration

will arrive before the end of the year

and some features might not even come

until next year and all this requires

new hardware luckily this is an iPhone

15 Pro Max but sorry everyone else Apple

says these new AI features require the

latest iPhone 15 Pro lineup and iPads

and Macs running the M chip or later so

there you have it Apple's first step

into the AI Wars the Siri improvements

and the mix of on device and Cloud

processing are unique the rest is a lot

of what we've already seen from Google

and S Samsung but that's Apple's usual

move wait it out and make it better and

now we wait to test to see if it is

actually better hey Siri are you smarter

yet I'm not a person so I only know what

I've been programmed to understand well

that's going to change