How Microsoft Copilot for Microsoft 365 works

Summary

このビデオスクリプトでは、Microsoft 365 Copilotの機能が紹介されています。Copilotは、組織のデータと連携し、WordやOutlook、PowerPoint、Teamsなどのアプリで業務を支援します。例えば、Wordではビジネス提案書を自動生成し、Outlookではメールの返信を自動作成します。また、Teamsでは会議の要約やフォローアップアクションを生成し、Business Chatでは組織内の情報を集約してユーザーを最新情報に更新します。Copilotは、大規模な言語モデルを活用し、プライバシーを尊重しつつ、データの安全性を確保しています。

Takeaways

• 🤖 Microsoft 365 Copilotは、組織のデータと連携して働く大きな言語モデルを利用して、作業の方法を変えるデモンストレーションを行いました。
• 📝 WordでCopilotは、既存のファイルからビジネス提案書などの新しい文書を作成することができます。
• 💌 Outlookでは、選択した内容に基づいてCopilotがメールの返信を作成することができます。
• 📑 PowerPointでは、書かれたコンテンツを1クリックで視覚的に美しくまとめたプレゼンテーションに変えることができます。
• 📅 Teamsでは、Copilotが会議の要約とフォローアップアクションを生成することができます。
• 🔍 Business Chatでは、複数のソースから情報を集めて、見逃したことを追いやすくすることができます。
• 🧠 大きな言語モデルは、書籍、記事、ウェブサイトなど、膨大な量の公開データを用いてトレーニングされ、言語、コンテキスト、意味を学びます。
• 🗨️ プロンプトを使用して、大きな言語モデルと自然言語でインタラクションできます。プロンプトは通常、文または質問です。
• 🔄 Copilotは、各プロンプトに続けて会話全体を送信し、関連する応答を生成するようにLLMを処理しますが、会話終了後はチャット履歴は消去されます。
• 🏢 Microsoft 365 Copilotは、Microsoft CloudのAzure OpenAIサービスでホストされる大きな言語モデルを使用し、組織のデータにアクセスします。
• 🔒 Copilotシステムは、ユーザーのアクセス権限を尊重し、生成される応答は、ユーザーが明示的にアクセスできる情報に基づいてのみ生成されます。
• 📈 Copilotは、Microsoft 365のアプリで動作し、Microsoft Searchを使用して情報取得し、プロンプトにフィードします。

Q & A

マイクロソフト365コパイロットはどのような働き方を変革していますか？

マイクロソフト365コパイロットは、組織のデータを活用し、WordやOutlook、PowerPoint、Teamsなどのアプリで業務を支援することで、より効率的で創造的な働き方を提供しています。例えば、Wordでは新しいビジネス提案書を作成し、Outlookではメールの返信を自動生成、PowerPointでは視覚的に魅力的なプレゼンテーションを作成、Teamsでは会議の要約やフォローアップアクションを生成します。

大規模言語モデル（LLM）はどのようにして知識を得ていますか？

LLMは膨大な量の公開されたデータ、例えば書籍、記事、ウェブサイトなどから言語、コンテキスト、意味を学びます。プロンプトと呼ばれる自然言語を使ってLLMとインタラクションをとることができます。

プロンプトとは何で、どのように使われますか？

プロンプトは通常、文または質問であり、LLMに質問を投げることで応答を生成させます。プロンプトに詳細を追加することで、より具体的な応答を得ることができます。

コパイロットはどのようにしてプライバシーを尊重し、データを安全に保っていますか？

コパイロットは各ユーザーのアクセス許可を尊重し、そのユーザーがアクセスできる情報のみに基づいて応答を生成します。会話履歴は新しい会話ごとに消去され、モデルのトレーニングには使用されません。

コパイロットはどのようにしてユーザーのプロンプトに応じて情報を収集しますか？

コパイロットのオーケストレーションエンジンは、ユーザーのプロンプトに基づいてMicrosoft Graphを検索し、ユーザーのアクセス許可を尊重して関連情報を収集します。

コパイロットはビジネスチャットでどのように情報を整理し、要約を作成しますか？

ビジネスチャットでコパイロットは、Microsoft Graphからユーザーがアクセスできる情報源を検索し、メールスレッドやプロジェクトチェックリスト、プレゼンテーションなどの活動を確認して、整理された応答を作成します。

Wordでコパイロットはどのように新しい提案書のドラフトを作成しますか？

Wordでコパイロットは、ユーザーがアクセスできるOneNoteやWord、PowerPointファイルなどの関連文書から情報を取得し、その情報をプロンプトに追加してLLMに新しい提案書のドラフトを作成させます。

コパイロットのデフォルトプロンプトにはどのようなルールが含まれていますか？

デフォルトプロンプトには、検索範囲の指定、回答のスタイルとトーン、情報収集のアプローチ方法、出典の引用方法、責任あるAIのプラクティスなどが含まれています。

コパイロットはどのようにして複数のアプリ体験を支援しますか？

コパイロットは、Microsoft 365アプリで動作し、オーケストレーションエンジンを通じて情報を収集し、LLMに提示することで、ユーザーが異なるアプリ体験をスムーズに行えるように支援します。

マイクロソフトのAIサービスの運用方法についてもっと知りたい場合はどうしたらよいですか？

マイクロソフトのAIサービスの運用方法についてもっと知りたい場合は、aka.ms/MicrosoftResponsibleAIをチェックして詳細情報を得ることができます。

コパイロットはどのようにしてビジネスチャットで情報を整理し、応答を生成しますか？

コパイロットはビジネスチャットで、ユーザーの質問から必要な知識とコンテキストを推測し、Microsoft Graphを検索してユーザーがアクセスできる情報源を特定し、それに基づいて整理された応答を生成します。

Outlines

00:00

🤖 マイクロソフト365コパイロットの紹介

マイクロソフトは、組織のデータを活用して大規模言語モデルと連携するマイクロソフト365コパイロットを発表しました。コパイロットはWordやOutlook、PowerPoint、Teamsなど、様々なアプリで働く側に協力し、ビジネス提案書の作成やメールの自動返信、視覚的に美しくまとめられたプレゼンテーションの作成、会議の要約の生成、またはビジネスチャットでの情報を整理するのに役立ちます。大規模言語モデルは、公開されたデータから学び、プロンプトと呼ばれる自然言語でのインタラクションを通じて応答を生成します。コパイロットはプライバシーを尊重し、データの安全性を確保しながら、ユーザーの会話を一時的に理解し、それに応じた応答を提供します。

05:03

🔍 マイクロソフト365コパイロットの仕組みとプライバシー保護

マイクロソフト365コパイロットは、大規模言語モデル（LLM）をMicrosoft CloudのAzure OpenAIサービスを通じて使用しており、公開されているChatGPTのサービスとは異なります。コパイロットは強力なオーケストレーションエンジンを持ち、Microsoft SearchやMicrosoft Graphを活用して、ユーザーのアクセス権限に従って情報の検索や取得を行います。デフォルトのプロンプトには、検索範囲の指定や応答のスタイルとトーン、情報収集の方法などが含まれており、有害なコンテンツを生成しないなどの責任あるAIのプラクティスも尊重しています。ユーザーとのインタラクションでは、デフォルトプロンプトがユーザーのプロンプトに追加され、LLMに提示されます。コパイロットは、ユーザーがアクセスできる情報に基づいてのみ応答を生成し、情報の取得やプロンプトの生成にあたっては、個人のデータアクセス権限を尊重しています。

Keywords

💡Large Language Models (LLMs)

「Large Language Models（LLMs）」とは、膨大な量の公開データをもとに学習し、言語、コンテキスト、意味を理解する高度な人工知能モデルです。このビデオでは、LLMsがMicrosoft 365 Copilotを通じて組織のデータと連携し、ビジネスプロポーザルの作成やメールの自動返信、プレゼンテーションの作成、ミーティングの要約など、多様なビジネスプロセスを支援する能力を示しています。

💡Microsoft 365 Copilot

「Microsoft 365 Copilot」は、Microsoft社が提供するサービスで、LLMsを活用してOfficeアプリに機能を追加します。例えば、Wordで新しいビジネスプロポーザルを作成したり、Outlookでメールの返信を自動生成したり、PowerPointで視覚的に魅力的なプレゼンテーションを作成することができます。ビデオでは、このサービスがどのようにして個人の作業プロセスを変革するのかを説明しています。

💡Prompt

「Prompt」とは、LLMsとインタラクションを行うための自然言語での入力であり、通常は文または質問の形態をとります。ビデオでは、Promptを通じてLLMsが応答を生成する仕組みや、Promptに含まれる情報に基づいて応答がどのように生成されるかを説明しています。

💡Privacy

「Privacy」は、個人情報の保護という意味で、ビデオではMicrosoft 365 Copilotがプライバシーを尊重し、データの安全性を確保する方法について触れています。LLMsは会話を終了するたびにチャット履歴を消去し、会話からの知識をモデルのトレーニングに使用しないという点が強調されています。

💡Orchestration Engine

「Orchestration Engine」とは、Microsoft 365 Copilotの中核をなす機能で、LLMsとMicrosoft 365アプリ間の情報を統合し、プロンプトを生成して適切な応答を提供します。ビデオでは、このエンジンがどのようにしてユーザーの質問に応じて情報源を検索し、回答を形成するかを説明しています。

💡Microsoft Search

「Microsoft Search」は、組織内の情報を検索するためのサービスで、Copilotはこれを使用して、ユーザーのプロンプトに応じた情報を取得し、LLMsにフィードします。ビデオでは、Microsoft SearchがCopilotによって使用され、ユーザーが提供した情報に基づいて回答を生成するプロセスが紹介されています。

💡Microsoft Graph

「Microsoft Graph」は、Microsoft 365のデータを統合し、アプリやサービス間の関係を管理するAPIです。ビデオでは、Microsoft GraphがCopilotによって使用され、組織内のデータの関係や活動に関する情報を取得し、LLMsに提示されるプロンプトを作成する際に使用される方法について説明しています。

💡Access Permissions

「Access Permissions」とは、ユーザーが特定のコンテンツやデータにアクセスできるかどうかを決定する権限のことです。ビデオでは、Microsoft 365 Copilotがユーザーのアクセス権限に従って情報にアクセスし、適切な回答を生成するプロセスが強調されています。

💡Responsible AI Practices

「Responsible AI Practices」とは、人工知能の開発と使用において倫理的、透明性、公平性、無害性などの原則を守ることを意味します。ビデオでは、Copilotがこれらの原則を遵守し、有害なコンテンツを生成しないよう努める方法について触れています。

💡Business Chat

「Business Chat」は、Microsoft Teamsで利用可能な機能で、ユーザーが組織内の情報を集約し、必要な情報を迅速に取得することができます。ビデオでは、CopilotがBusiness Chatを通じてミーティングの要約やフォローアップアクションを生成する例が紹介されています。

Highlights

Microsoft 365 Copilot通过连接大型语言模型与组织数据，改变工作方式。

Copilot在Word中可以基于现有文件内容轻松创建全新文档，如商业提案。

在Outlook中，Copilot可以根据选定内容自动撰写电子邮件回复。

PowerPoint中，Copilot可一键将文本内容转换为视觉美观的演示文稿。

Teams中，Copilot可以生成会议摘要和讨论的后续行动。

使用Microsoft Teams中的Business Chat，Copilot帮助用户快速了解错过的信息。

大型语言模型(LLM)通过公共数据训练，学习语言、上下文和含义。

通过提示(prompt)与LLM交互，根据公共数据训练和上下文理解生成响应。

LLM仅在对话期间记住对话内容，对话结束后聊天历史将被清除。

用户可以通过提供额外信息在提示中，帮助LLM更准确地回答问题。

Microsoft 365 Copilot自动地在不同应用体验中为用户提供所需的信息和上下文。

Copilot使用Azure OpenAI服务中的私有LLM实例，而非公共OpenAI服务。

Microsoft 365 Copilot具有强大的编排引擎，协调不同组件的工作。

Microsoft Search用于检索信息，为生成答案提供提示。

Microsoft Graph提供组织数据的额外信息，包括关系和活动。

Copilot系统尊重每个用户的访问权限，只生成基于用户有权限访问的信息的响应。

Microsoft 365 Copilot具有默认提示，包含负责任的交互规则。

Copilot编排器将默认提示与用户提示结合，形成长提示以生成响应。

在Teams中，Copilot通过搜索Microsoft Graph获取组织私有内容，生成响应。

Copilot在Word中帮助生成提案草案，通过使用用户可访问的文档内容。

企业数据仅作为提示的一部分呈现给LLM，不用于训练模型，且基于用户数据访问权限。

Transcripts

(music)

Have you ever wanted to know

how large language models work when you connect them

to the data in your organization?

At Microsoft, we recently demonstrated

Microsoft 365 Copilot,

which transforms how we work

by leveraging large language models

that interact with your organizational data.

Copilot works alongside you.

For example, in Word,

Copilot can easily write an entirely new document,

like a business proposal using content

from your existing files.

Or in Outlook, based on the content you select,

Copilot can compose your email replies for you.

In PowerPoint, you can transform your written content

into a visually beautiful presentation

with the click of a button.

In Teams, Copilot can generate meeting summaries

with discussed follow-up actions.

Or while using Business Chat in Microsoft Teams,

it can help you catch up on something you may have missed,

bringing together information from multiple sources

to bring you up to speed.

If you're wondering how large language models know

what they know in these scenarios,

let me break down the mechanics

of what makes this possible,

and how the process respects your privacy,

and keeps your data safe with Microsoft 365 Copilot.

First, let's look at where large language models, or LLMs,

get their knowledge.

LLMs are trained on massive amounts of public data,

including books, articles, and websites

to learn language, context and meaning.

You can interact with large language models

using natural language with what's called a prompt.

A prompt is typically a statement or question.

When you ask a question in the prompt,

the LLM generates a response

based on its public data training

and understanding of context,

which can come in part from how you phrase your prompt.

For example, you might give it more details

to generate a response.

As you continue to ask questions and get responses,

the large language model

is temporarily getting more context.

Your full conversation gets sent

with each subsequent prompt,

so the LLM can generate relevant responses

as you chat with it.

It's processing natural language

and referring to its knowledge

like we would in conversation.

A key difference is that it only remembers the conversation

while it's in that conversation.

The chat history is wiped clean with each new conversation.

And it won't use the knowledge from your conversations

and interactions to train the model.

That said, you can also write your prompt

to include additional information,

which the large language model will refer to

as it generates its response.

This is how you can give the LLM a little more knowledge

it might need to answer your question.

I'll show you how this works

using Microsoft Bing Chat's GPT-enabled public service

that has no affiliation with your organization's data.

First, I'll ask it a completely random question

that it can't answer, "What color shirt am I wearing today?"

And it responds intelligently.

It knows what a shirt is but it can't see me

to answer my question so it responds accordingly,

which is an accurate response.

Let me ask the question again,

this time including some additional information

in my prompt.

I'll describe my outfit.

Now you can see it responds

using the information I gave it,

which is more in line with what I was looking for.

And now that it has the context,

I can keep asking it related questions like,

"What color shoes?"

Again, that's because the prompt builds

with each interaction.

And to prove that the large language model

doesn't retain the information,

I'll start a new chat session and ask it again,

"What color shirt am I wearing today?"

And now it again says, "I can't see you, so I don't know."

It knew what shirt I was wearing before

only because I temporarily provided

that additional limited information.

In this new session, it no longer has access

to what I said before, and I never told it my shirt color,

so it doesn't know.

So how does this work then in the context

of Microsoft 365 Copilot?

In my previous example using Bing Chat,

I provided the prompt more information and context

to give the LLM what it needed

to generate the right response.

This is what the Microsoft 365 Copilot system

does automatically for you as you interact

across different app experiences.

To do this, Copilot has several core components.

First off, are the large language models

hosted in the Microsoft Cloud via the Azure OpenAI service.

To be clear, Copilot is not calling

the public OpenAI service that powers ChatGPT.

Microsoft 365 Copilot uses its own private instances

of the large language models.

Next, Microsoft 365 Copilot

has a powerful orchestration engine

that I'll explain in a moment.

Copilot capabilities are surfaced in

and work with Microsoft 365 apps.

Microsoft Search is used for information retrieval

to feed prompts, like I did in the example before

where information I provided in my prompt

was used to help generate an answer.

Then the Microsoft Graph,

which has long been foundational to Microsoft 365,

includes additional information about the relationships

and activities over your organization's data.

The Copilot system respects per user access permissions

to any content and Graph information it retrieves.

This is important because Microsoft 365 Copilot

will only generate responses based on information

That you have explicit permission to access

Additionally, Microsoft 365 has its own default prompt

With responsible rules for interaction. This includes things like

where to search to find the right information

for example calling the Microsoft Graph to gain

more context, like your recent documents or messages

also the style and tone of the response. Like being informative for style and positive for tone.

As well as different approaches Copilot can take to gather information for the prompt

For example, it can choose to iterate on a few searches until there's enough information to generate a good response

Copilot knows how it should cite its sources.

And of course, respects responsible AI practices.

Such as ensuring that harmful content is not included in generated responses

Importantly, this default prompt gets appended to your prompt

When you interact with Copilot.

The Microsoft 365 Copilot orchestrator combines the default prompt with your prompt

with the additional information its gathered and will form one long prompt

To present to the LLM in order to generate a response.

Now let's go back to the example you saw earlier

in Microsoft Teams where a user asked,

"Did anything happen yesterday with Fabrikam?"

Copilot didn't just send that question or prompt directly

to the large language model.

Instead, Copilot knew that it needed more knowledge

and context, so using clues from the user's question,

like Fabrikam, it inferred that it needed to search

for content sources private to the organization.

The Copilot orchestrator searched the Microsoft Graph

for activities, ensuring it respected the user's permissions

and access to information, in this case, the user Kat.

It found the email thread from Mona that Kat received,

activities in the Project Checklist

and March planning presentation,

which are files that Kat had access to,

as well as the sharing action where the final contract

was sent to Fabrikam for review,

again, where Kat would have been part of the share activity.

And Copilot cited each source of information

so Kat could easily validate the response.

These are all individual steps

that Kat could have done manually,

like searching her inbox for emails from Mona

looking at recent project file activities in SharePoint

or reading the sharing notifications sent

to Fabrikam for the contract.

Copilot removed the tediousness

of performing these steps manually

and formulated a natural easy-to-follow

and concise response in a single step.

So that's how Business Chat with Copilot works.

Now, in the examples I showed you earlier,

you also saw how Microsoft 365 Copilot

can help save you time

in the apps you're working in by generating content.

In fact, let's go back to the Copilot and Word example

to explain how that worked.

Microsoft 365 Copilot can help generate a draft proposal

by using content you've been working on, for example,

in OneNote or other documents that you have access to,

like Word or PowerPoint files.

Here we combine the large language model's training

on how a proposal document is structured

and written with Microsoft 365 Copilot orchestration,

which scans and takes relevant inputs

from additional documents you've selected,

adding the information to the prompt.

The LLM is then able to generate

an entirely new proposal document

with the additional information from those files,

providing a first draft that you can use to save time

and quickly get started.

And just like with the Business Chat example,

the important thing to remember here

is that the enterprise data used

to generate informed responses is only present as part

of a prompt to the large language model.

These prompts are not retained

by the large language models nor used to train them,

and all retrieved information is based

on the individual data access

and permissions you have while using Copilot.

So hopefully that explains how Copilot capabilities

in Microsoft 365 work.

For more information

on how Microsoft operates its AI services,

check out aka.ms/MicrosoftResponsibleAI.

Please keep checking back to Microsoft Mechanics

for the latest in tech updates, and thanks for watching.

(gentle music)