Mr. Maeda's Cozy AI Kitchen - AI Speech Capabilities, with Andy Beatman

Summary

このビデオスクリプトでは、AI技術の最前線に立つMr. Azure Open AIが、Cozy AI Kitchenに登場し、どんな言語ででも話すことができる「personal voice」という新しい製品を紹介しています。Andy Beatmanは、AIを通じて人々がコミュニケーションの壁を取り除く方法を探求し、多言語でのコミュニケーションを可能にする技術の重要性を強調しています。さらに、AIを用いたアクセシビリティの向上や、パラリンピック選手Lex GilletteがAIツールを活用してコミュニケーションを向上させる事例も紹介されています。この技術は、ゲーム、メディア、トレーニング資料など、さまざまな分野で応用が可能と言えます。

Takeaways

• 🌐 AIの多言語対応：Azure AIが提供する新しい製品「personal voice」を使って、個人の声を合成し、それを任意の言語で展開することができる。
• 🎙️ 声の個性維持：異なる言語で話す場合でも、個人の声を維持してコミュニケーションを行うことが可能になる。
• 💡 コスト削減：ローカリゼーションにかかる費用を削減し、数クリックで音声を展開することができる。
• 👥 包括性とアクセスの向上：AIを通じて人々が言語の壁を越えてコミュニケーションをとることができる。
• 🎮 ゲームなどエンターテインメントメディアへの応用：誰もが主人公の声を自分たちの言語で聞くことができるゲームを作ることが可能。
• 🏅 AIのアクセシビリティ：パラリンピック選手のLex Gilletteのように、AIツールがコミュニケーションやトレーニングを支援する。
• 🗣️ 音声合成のリアルタイム応用：Microsoft Translatorアプリがリアルタイムで音声を翻訳し、個人の声を維持することができる。
• 📚 AIによる教育の向上：言語の壁がなくなることで、より多くの人々が教育を受ける機会が増える。
• 🎉 多言語でのコミュニケーションの楽しさ：AIを用いて、異なる言語で話すことも楽しく、自然な経験にすることができる。
• 🌟 AIの責任ある使用：AIをデモで簡単に使用し、責任を持って適切な方法で活用することができる。

Q & A

Azure AI Kitchenで紹介された「personal voice」とは何ですか？

「personal voice」はAzure AIの新しい製品で、あなたの声を合成的に再現し、それを任意の言語で使用することができる機能です。これにより、スクリプトを書かずとも、コンテンツのローカライズをせずに自分の声を世界中の誰かに伝えることができます。

Andy Beatmanはどのようなバックグラウンドを持っていますか？

Andy Beatmanは人工知能分野にまたがる驚くべきバックグラウンドを持っており、人々の生活に差別をもたらすモデルを構築することに関わる大きな責任を感じています。彼は特に、AIを通じてアクセシビリティ、包括性、そして人々の間の架け橋を築くことに情熱を注いでいます。

AIが持つ責任についてAndy Beatmanはどのように考えていますか？

Andy Beatmanは、AIを通じて人々の生活に大きな影響を与えるため、大きな責任を感じています。彼はAIがアクセシビリティ、包括性、そして人々の間の架け橋を築くことに情熱を注いでおり、その分野での仕事に対して誇りを持てるよう取り組んでいます。

Azure AIが提供する「personal voice」の利点は何ですか？

「personal voice」はコスト削減に役立ち、ビジネスにとってお金を節約するのに役立ちます。ローカライズのために人々に録音させる代わりに、わずかなクリックで実現できます。また、誰もが自分の母国語で自分の声を聞くことができ、包括性を実現します。

Andy Beatmanが話す「AI for accessibility」とはどのようなものですか？

「AI for accessibility」とは、AIを用いて人々がさまざまな障害や状況を乗り越え、よりアクセスしやすくすることを指します。Andy Beatmanは、AIが人々の生活に差別をもたらさず、むしろ人々をより包括的で共感できる社会に導くためのツールとして機能するべきだと考えています。

AIが提供する翻訳サービスを使った際の個人の声の重要性とは何ですか？

個人の声は彼らのアイデンティティの一部であり、翻訳サービスを通じて個人の声を維持することで、より自然で本物のように感じる体験を提供できます。これにより、翻訳された音声が単なる機械的な音声ではなく、より人間らしい、感情豊かなコミュニケーションが可能になります。

Andy Beatmanが話す「AI for inclusion」とはどのようなものですか？

「AI for inclusion」とは、AIを用いて人々が異なる言語や障害を持つかどうかにかかわらず、同じように情報を取得し、コミュニケーションを行えるようにすることを指します。Andy Beatmanは、AIが人々の間の障壁を取り除き、包括的な社会を築くための重要な役割を果たすと語っています。

Azure AIの音声サービスがどのようにトレーニングされるか教えてください。

Azure AIの音声サービスは、短い文の録音からトレーニングされます。その録音を用いて、AIは声のトーンや調子を再現し、任意の言語でその声を合成的に生成することができます。

Andy Beatmanが話す「AI for building bridges between people and communities」とはどのようなものですか？

「AI for building bridges between people and communities」とは、AIを用いて異なる言語や文化を持つ人々やコミュニティの間のコミュニケーションを促進し、相互理解を深めることを指します。Andy Beatmanは、AIが人々の間の距離を縮らし、より包括的な世界を作る助けとなると語っています。

Azure AIが提供する音声サービスを実際に体験した人々からのフィードバックはありますか？

はい、Andy Beatmanはパラリンピック選手のLex Gillette氏とのインタビューを通じて、AIツールが彼のコミュニケーションやトレーニングにどのように役立つかを学びました。また、Microsoft Translatorアプリが彼が異なる言語の人々とコミュニケーションを取る際の障壁を取り除く方法として役立つかについても話しています。

Azure AIの音声サービスを実際のビジネス環境でどのように活用できますか？

Azure AIの音声サービスは、ゲーム、エンターテイメントメディア、トレーニング資料、コールセンター、サポートセンターなど、多岐にわたるビジネス環境で活用できます。エージェントが特定の言語で話す一方で、顧客は自分の母国語でそれを聞くことができます。

Azure AIの音声サービスを通じて生成された音声はどのように聞こえますか？

Azure AIの音声サービスを通じて生成された音声は、自然なイントネーションと感情の起伏を持った自然な声のように聞こえます。これにより、読者や聴衆はより感情豊かな体験を得ることができます。

Azure AIの音声サービスを実際に体験するにはどうすればよいですか？

実際に体験するには、短い文を録音し、Azure AIの音声サービスを利用してその声を合成的に再現します。その後、任意の言語でその声を再生することができます。

Azure AIの音声サービスを通じて生成された音声はどのようにして翻訳されるか教えてください。

Azure AIの音声サービスを通じて生成された音声は、Azure Speech to Textサービスを利用してテキストに変換され、次に翻訳サービスを利用して任意の言語に翻訳されます。これにより、異なる言語を持つ人々が同じ情報を理解し合い、コミュニケーションをとることができます。

Azure AIの音声サービスを利用する際にはどのような注意点がありますか？

Azure AIの音声サービスを利用する際には、適切な使用ケースを提示し、責任ある使い方を心がけることが重要です。また、生成された音声はリアルタイムで聞こえるわけではなく、遅延が生じることがあることも念頭に置いておく必要があります。

Azure AIの音声サービスを通じて生成された音声はどのようにしてカスタマイズできますか？

Azure AIの音声サービスを通じて生成された音声は、録音された声のサンプルを通じてカスタマイズすることができます。さらに、Azure AIでは30以上の音声の中から選ぶこともでき、それらを調整して独自のスタイルを作成することができます。

Outlines

00:00

🗣️ AIと多言語のコミュニケーション

この段落では、AI技術を使って異なる言語でコミュニケーションを行う方法が紹介されています。Mr. Azure Open AIがCozy AI Kitchenに登場し、個人の声を合成してさまざまな言語で使用することができると説明しています。AIは多様性と包括性を促進し、人々とコミュニティの間の架け橋を築く重要な役割を果たしていると強調されています。

05:01

🎙️ 個人の声を合成して多言語で発声

段落2では、Azure AIの新しい製品「personal voice」について詳しく説明されています。この製品を使うと、個人の声を合成して任意の言語で発声することができると紹介されています。これにより、スクリプトを書かずとも、コンテンツをローカライズすることなく、永遠に発声することができると言及されています。コスト削減と包括性という利点が強調されており、ゲームやメディア、トレーニング資料など、さまざまな分野での応用が想定されています。

10:04

🌐 AIを通じた言語の障壁を取り除く

最後の段落では、AI技術が言語の障壁を取り除く方法と、それを通じて人々がより包括的でコミュニケーションを楽しむことができる世界を創出する可能性について語られています。AIのデモを通じて、ただ一文の音声データを録音し、それを使用してさまざまな言語で発声することができると紹介されています。また、AI技術をより責任を持って適切な方法で使用し、市場を刺激し、包括性と多様性を実現するよう呼びかけています。

Keywords

💡Azure Open AI

「Azure Open AI」とは、マイクロソフトが提供するクラウドベースのAIサービスのことです。このサービスは、人工知能を活用して、自然言語処理や画像認識などの複雑なタスクを自動化するのに役立ちます。ビデオでは、Azure Open AIが言語の壁を取り除くためのツールとして紹介されており、Andy Beatmanがその力を語しています。

💡AI for accessibility

「AI for accessibility」とは、人工知能を利用して、障害を持つ人々がより容易に情報を取得し、コミュニケーションを行う支援技術を意味します。ビデオでは、AndyがAIがどのようにして人々を支援し、社会的に参加しやすくするのかについて話しており、特に視覚障害を持つパラリンピック選手の例を挙げています。

💡Personal voice

「Personal voice」とは、個々の声の特徴を合成し、自分自身の声を模倣するAI技術です。ビデオでは、Azure AIがこの技術を利用して、個々の声を任意の言語に変換することができると紹介されています。これにより、言語の壁を乗り越え、コミュニケーションを容易にすることができると強調されています。

💡Localization

「Localization」とは、製品やサービスを特定の言語や文化に適応させるプロセスを指します。ビデオでは、AndyがAIを利用することで、翻訳や声の録音など、従来のローカライゼーションプロセスを簡素化し、コストを削減できると説明しています。

💡Synthetic voice

「Synthetic voice」とは、人工的に生成された声のことです。ビデオでは、Azure AIが個人の声を録音し、その声を合成して異なる言語で話す機能を提供していると紹介されています。これにより、人々は自分の声で異なる言語でのコミュニケーションが可能になります。

💡Inclusion

「Inclusion」とは、異なるバックグラウンドを持つ人々を尊重し、包括的に受け入れる概念です。ビデオでは、AIが人々を包括的につなぐために重要な役割を果たしていると強調されています。特に、Andyがパラリンピック選手の例を挙げて、AIがどのようにして異なる言語や障害を持つ人々を支援するかを説明しています。

💡Generative AI

「Generative AI」とは、新しいデータやコンテンツを生み出す能力を持つ人工知能のことです。ビデオでは、Andyが生成型AIを言語の翻訳や声の合成に適用し、永遠に話すことができる声を作り出すと説明しています。これにより、スクリプトを書く必要がなくなり、コンテンツのローカライズが容易になります。

💡Microsoft Translator

「Microsoft Translator」とは、マイクロソフトが提供する翻訳サービスです。ビデオでは、このサービスがAzure AIの言語サービスによってパワーされ、異なる言語を持つ人々がコミュニケーションをとることができると紹介されています。特に、視覚障害を持つパラリンピック選手が他の言語を話す友人や競争相手とコミュニケーションを取る際に役立つと説明されています。

💡Authenticity

「Authenticity」とは、本物の、本物らしい、または本物と同様の性質を持つことを意味します。ビデオでは、AndyがAIが生成した声が本物のように聞こえるように進化し、ニュース記事や訃報を読み上げる際に適切な感情を表現することができると説明しています。これにより、翻訳されたコンテンツも本物のように感じられると強調されています。

💡GPT

「GPT」とは、「Generative Pre-trained Transformer」の略で、自然言語処理分野で用いられるディープラーニングモデルです。ビデオでは、GPTが音声の録音から文字起こしを作成し、翻訳することができると紹介されています。これにより、翻訳や音声合成を通じて、端到端のコミュニケーション体験が可能になると説明されています。

Highlights

Introduction of Mr. Azure Open AI on the Cozy AI Kitchen to demonstrate how to speak in any language with any voice.

Andy Beatman's background in artificial intelligence and his role in making AI models beneficial for people's lives.

The responsibility felt in working with AI and the excitement for AI's role in accessibility, inclusion, and community building.

The concept of a world where personal voices can be heard in any language without losing authenticity.

Introduction of Azure AI's new product 'personal voice' that creates a synthetic version of one's voice in any language.

The potential for generative AI to deploy voices without the need for scripts or localization.

Cost savings for businesses through reduced localization efforts.

The idea of an inclusive video game where the protagonist's voice can be heard in any language.

Personal experiences with AI's impact on people's lives, exemplified by Lex Gillette's story.

Microsoft Translator app's ability to translate speech into a user's language using synthetic voices.

The demonstration of hearing anyone speak in any language with their personal voice.

The potential for real-time language translation in communication platforms like Teams.

The use of GPTs for generating transcripts for a full end-to-end language translation experience.

The evolution of AI-powered voices to convey real emotional styles in media.

John's live experience of hearing his voice in French and German through Azure AI.

The practical applications of Azure AI's voice technology in various fields like gaming, media, and customer support.

The ease of use and the potential for creating transcripts with GPT 4 for practical deployment.

The importance of using AI responsibly and ensuring a responsible journey with generative AI.

Andy Beatman's passion for democratizing AI and making it accessible for practical use cases.

Transcripts

>> It's saying something to me. What is it?

Well, you're in luck because we have Mr. Azure Open AI on

the Cozy AI Kitchen to tell you how

to speak in any language, any voice you'd like.

Today in the Cozy AI Kitchen.

We have Mr. Azure Open AI himself.

I can't tell you, you've seen the models, you've tasted them.

But we have in the kitchen the person who is directly connected to

them and is going to show you a different way

to work with these models in our voice.

Andy Beatman welcome to the Cozy AI Kitchen.

>> Hey, John. Thanks for having me. Appreciate it.

>> Andy has an incredible background

across artificial intelligence and we're so lucky

that he's in charge of figuring out how

these models can make a difference to people's lives.

>> I feel like working in AI there's tremendous responsibility.

For me, I want to look back on this critical platform shift and be

proud of the work that we're doing and nothing

makes me more excited than AI for accessibility,

AI for inclusion,

and AI for building bridges between people and communities.

>> Oh, my gosh. Can't wait to see what you cook.

Chef Beatman, you have the stage.

>> Thank you. Now. I just want to set the stage,

which is that we've all been in

scenarios where we're talking to someone in a different language

and they may have to

speak in a different language to accommodate your relationship.

We all work with engineers around the world

and we typically just

expect that they're going to speak in English.

When I hear someone speaking

broken English. You know what I think?

They're smarter than me because they know more than one language.

Now, what if there was a world where regardless

of your language you could be heard by someone

in their language without losing your personal voice

Now this is where Azure AI comes into play and we

have this new product called personal voice which allows us to

create a synthetic version of

your voice and deploy that voice in any language.

If you were to think about adding generative AI on top of it,

you could deploy that voice in

perpetuity without ever having to write a script

without ever having to localize

the content and this excites me for a few reasons.

It's cost saving, businesses love to save money.

All the money that we spend on localization having people record.

You could just do it with a couple of clicks.

The idea that people can be

included your voice is heard regardless of where you are,

and then finally let's use our imaginations.

What if a video game could

say it's the most inclusive video game of

all time because anyone around the world

could hear the protagonist in any language.

>> Andy you're saying that you've seen

actual people experience this impact in their lives?

>> Yes. One of the beautiful things about working in AI is

that I'm privileged to meet

people who are looking for the benefits of AI.

Recently we interviewed Lex Gillette who is

a five time paralympic silver medalist in the long jump.

He is the world record for a blind long jumper and he was

telling us how AI tools are helping him communicate and train.

But something that's missing is when he goes to

these Olympics and he talks

to his friends and competitors around the world.

There's a major challenge.

No only is he blind

but he's talking to people in different languages.

Now the Microsoft translator app which is powered by

Azure AI language service allows him

to record what someone's saying and then

play it back in English using a synthetic voice.

But it's not their voice which in

a way can create an inauthentic experience.

I was able to show him what I'm going to show you which is

the ability to hear anyone speak in any language.

Imagine a world in the future or on teams.

We're talking, you're speaking in one language.

I'm hearing you in my language in your personal voice on

a very negligible delay and that

is for me the magic of where we're going into the future.

If you think about things like GPTs to generate the transcripts,

now we're talking about a full end to end experience.

>> People who worry about AI not being authentic,

but for certain people they want authenticity,

AI can help them have that.

>> Absolutely. We've come a long way because

Azure AI powers many of the voices that

are reading articles on media websites.

Those voices have evolved and they are now indicative

of speaking in a real emotional style.

If you're reading a news article that's exciting,

it's going to be a little more cheery.

If you're reading an obituary,

it's going to be a little more somber.

Now with that being said,

I think it's time John that we hear

you in the language of love in French or maybe in German.

>> Always want to speak French.

>> Always want to speak French.

Now, I think we should dive right in.

>> Please let us cook chef.

>> Let's do it. Now again,

voice assistance gaming, language dubbing,

entertainment media, training materials.

You could think about this even call centers,

support centers the agent could be speaking in

one language and the customer

could hear them in their personal language.

Let's have some fun with this John.

Are you ready please I'm ready to speak without speaking.

>> Now here's the thing. We don't need many ingredients here.

We speaking one sentence with your voice.

But when you do it you know we just met.

Good chemistry though. I want you to

talk to this recording

as if you're talking to a friend or family member.

>> I'll do my best.

>> Give us the best john you can give us.

>> Try my best.

>> Here we go. We're going to create this new voice.

We're going to put John in the AI Cozy Kitchen.

We're going to record this when you're ready.

>> I'm ready.

>> I John am aware that recordings of my voice will be used

by the AI Cozy Kitchen to create

and use a synthetic version of my voice.

>> Amazing.

>> Wow.

>> We did it, one sentence.

By the way, banks are using

this feature when you call to talk to someone.

They have your voice recorded for

a sentence and you can go get through quickly.

Now we've done it. Just to be clear,

we're going to play back what you said.

>> What I said.

>> Just to make sure we got it. Yeah.

>> I John am aware that recordings of my voice will be

used by AI Cozy Kitchen to create and use a synthetic version.

>> We got it, that's John.

Now I want to hear you as a geologist,

so we're going to play back a sample of

you talking about the Colorado River.

Here we go. Now let's generate this how long is it going to take?

One sentence of training data.

We got it. We have the sample. Here we go.

>> The two reservoirs fed by the Colorado River watershed provide

a critical supply of drinking water and

irrigation for many across the region including rural farms,

branches and native communities.

>> Expert in geology.

>> Thank you Professor. That was great.

We're hearing you in English, synthesize in English.

We could deploy a transcript

to that and you could have you say anything.

Now I got to say,

I've done this and I called my mom and I said,

hey mom I got to tell you something.

I tell her about the Colorado River watershed and she says,

Hey honey, A you okay?

I sounds like something's going on.

Everything okay, and I go,

well, that's just one sentence of training data.

I think that you spend more time the more

you put in the better it's going to sound,

so I got to do that again with her another time.

>> I thought you're going to say honey,

you are amazing at geology.

Why are you pursuing that didn't happen?

>> I didn't happen. It's okay.

I probably got something similar for pretty much any pursuit.

But you know it's all okay.

Working on it. Now here's what we're going to have more fun.

I don't want to do French right away.

We'll hold that for the finale.

But let's do something a little more You know what?

Let's do Italian to start. Here we go.

Let's do some Italian. It's going

to take two seconds and here we go, we're going to play back.

The passion the vigor I came out. You're a passionate guy.

It's not like we wanted to add it but we got it.

We're going to do another one. You don't

speak any other languages, do you?

>> I speak Japanese a little but German, do any German.

>> Let's do German. I love that.

Let's do German. Here we go now.

Now I don't know what this is saying,

but I'm also realizing we could we could deploy Azure speech to

text plus translation and

we could probably throw some captions up on the screen too.

Here we go.

I mean you just kind of accelerated through

a four year degree German goodness now the one that we're all

waiting for we want to hear

the chef of the Cozy AI Kitchen speak in the language of love.

We're going to try French.

This is the big finale all I mean you're you're a smooth guy.

But I really want to see what happens

when we turn it up a notch in French.

Now I just want to say first of all,

thanks for being a great sport most people

don't like to hear their voice back.

I think in this case you're hearing your voice back

around the globe and that's just a very surreal thing isn't it?

>> It's amazing how you can cook in

different languages immediately but

also in the authentic tonality of it.

>> I don't think that this would

work if we didn't have that tonality and something to

say like if you're not creating

your own voice and you're using one of

the 30 Azure AI voices which you can tune and

make unique you are going to still get emotional style.

You're still going to hear things

in a dialogue and an inflection that sounds natural.

But the moment that you do your own voice it's very powerful.

Again, building bridges for communication,

thinking borderless world of communication,

helping people learn at

a much higher degree because you do not have to

feel insecure because your language

is not represented in a global experience.

For me that's what makes me so

passionate about this because we have athletes like

Lexer word who is going to go to

the Paris Games this summer and he wants to enjoy that experience

and thrive and it's not just because of his jumping

and hopefully winning a gold medal but also the fact

that he has this community of athletes

with all different disabilities and he does not have

to feel like there's a limitation on

communication because he has

these Microsoft tools that are in place.

>> Chef Beatman your devotion to

inclusion and the global world you're creating through

these models any take home words for people in the kitchen

who are like do I really want to do that or it looks too hard or?

>> Well, I'll just say this.

What I love about this focus of

democratizing AI and making AI in reach.

Making AI accessible is

even this voice demo which we did live. I was not pre recorded.

It was a matter of recording

one sentence and playing back samples and then if you wanted to,

you could go a step further and create

transcripts and you could use GPT 4 to

create transcripts that never end and you could deploy

something like this into practical

environments like a call center.

It's very easy to use and I

think that the more of us that try this the more we can

help habituate and mobilize

the market to use this in the right ways to use it responsibly.

Products like these you have to

apply with a use case and that's something that I love.

Same thing with Azure Open AI service if

you want to use generative AI as a company,

tell us how you're going to use it so we can

make sure that we're on this responsible journey together.

>> Chef I wish I could say this in French.

But I want to thank you for coming to the Cozy AI Kitchen.

I want to say that the same thing with that language.

I'm blown away at how quickly you don't all of that.

Most importantly the spirituality you

bring to your role the moment you walked in this kitchen,

I felt your passion for what you do for everyone. Thank you.

>> Thank you. Let's keep it going.

>> Thank you.

>> Appreciate it.

>> Come back to the kitchen,

more stuff is coming. Stay tuned.