The Copilot System: Explained by Microsoft

Microsoft 365

24 Mar 202301:49

Summary

TLDRMicrosoft 365 Copilotは、「Copilot System」と呼ばれる高度な処理とオーケストレーションエンジンによって支えられています。このシステムは、Microsoft 365アプリ（Word、Excel、PowerPoint、Outlook、Teamsなど）、Microsoft Graph（メール、ファイル、会議、チャット、カレンダーなどを含むビジネスコンテンツとコンテキスト）、そして大規模な言語モデル（LLM）の3つの基盤技術を活用しています。LLMは、人間が理解できるテキストを解析し、生成するクリエイティブなエンジンです。ユーザーがアプリ内でプロンプトを入力すると、Copilotはそれを事前処理し、「grounding」と呼ばれるアプローチを通じて、関連性の高いアクション可能な回答を得るためにプロンプトの品質を向上させます。Copilotは、グラフからビジネスコンテンツとコンテキストを取得し、LLMに改良されたプロンプトを送信します。LLMからのレスポンスを受け取り、責任あるAIチェック、セキュリティ、コンプライアンス、プライバシーのレビュー、そしてコマンド生成を含んだ後処理を行い、最終的にユーザーにレスポンスを送り、アプリにコマンドを返します。Copilotはこれらの複雑なサービスを反復的に処理し、調整して、まるで魔法のような結果を生成します。

Takeaways

🤖 Microsoft 365 Copilot は「Copilot System」という高度な処理とオーケストレーションエンジンを利用しています。
📈 これは、Microsoft 365 アプリ（Word、Excel、PowerPoint、Outlook、Teams など）の力を活用しています。
🔍 Microsoft Graph は、メール、ファイル、会議、チャット、カレンダーなど、すべてのコンテンツとコンテキストを提供します。
🧠 大規模な言語モデル（LLM）は、人間が理解できるテキストを解析し、生成するクリエイティブなエンジンです。
🗣️ Copilot は、アプリからのプロンプトを受け取り、自然言語を通じてアクセス可能で利用します。
🌟「グラウンドイング」というアプローチを用いて、プロンプトを前処理します。これは、関連性の高い、実行可能な回答を得るためにプロンプトの品質を向上させるプロセスです。
🔗 グラウンドイングの一部として、Microsoft Graph にコールを行い、ビジネスコンテンツとコンテキストを取得します。
🤞 Copilot は、Graph からのユーザーデータと他の入力を組み合わせて、プロンプトを改善し、LLM に送信します。
💬 LLM からの応答を受け取り、ポスト処理を行います。これには、Graph への追加のグラウンドイングコール、責任ある AI チェック、セキュリティ、コンプライアンス、プライバシーのレビュー、そしてコマンド生成が含まれます。
🚀 Copilot は、ユーザーへの応答を送信し、アプリにコマンドを返します。これらの複雑なサービスを反復的に処理し、調整し、魔法のような結果を生成します。

Q & A

Copilot はどのような技術によって動作していますか？
-Copilot は、Microsoft 365 アプリ、Microsoft Graph、および大規模言語モデル（LLM）の力を借りて動作しています。
Copilot が前処理段階で行うアプローチは何ですか？
-Copilot は、前処理段階で「グラウンディング」と呼ばれるアプローチを使用します。これは、プロンプトの品質を向上させるためのもので、結果として関連性の高く行動可能な回答を提供します。
LLM は何をするエンジンですか？
-LLM は、人間が読めるテキストを解析および生成することができる創造的なエンジンです。
Copilot が応答を生成するために使用するユーザーデータは何ですか？
-Copilot は、Microsoft Graph からのユーザーデータを使用します。これには、ビジネスコンテンツとコンテキストが含まれます。
Copilot の最終段階で行われる処理には何が含まれますか？
-Copilot の最終段階では、追加のグラウンディングコール、責任あるAIのチェック、セキュリティ、コンプライアンス、およびプライバシーレビュー、およびコマンド生成が含まれます。
Copilot が生成した応答はどこに送信されますか？
-Copilot は、生成された応答をユーザーに送信し、アプリにコマンドを送信します。
Copilot は、どのようにしてユーザーからのプロンプトを処理およびオーケストレーションしますか？
-Copilot は、Microsoft 365 Copilot が、ユーザーからのプロンプトを受け取り、そのプロンプトを前処理して、グラウンディングアプローチを使用して品質を向上させ、LLM に送信し、応答を受け取り、その後の処理を行います。
Copilot の最終的な目標は何ですか？
-Copilot の最終的な目標は、これらの高度なサービスを反復的に処理およびオーケストレートして、魔法のような結果を生み出すことです。
グラウンディングの重要な部分の1つは何ですか？
-グラウンディングの重要な部分の1つは、Microsoft Graph に対して呼び出しを行い、ビジネスコンテンツとコンテキストを取得することです。
Copilot が応答を生成する際に行う追加の処理には何が含まれますか？
-追加の処理には、グラウンディングコール、責任あるAIのチェック、セキュリティ、コンプライアンス、およびプライバシーレビュー、およびコマンド生成が含まれます。

Outlines

00:00

Microsoft 365 Copilotの紹介

Microsoft 365 Copilotは、「Copilot System」という高度な処理とオーケストレーションエンジンによって動きます。これは、Word、Excel、PowerPoint、Outlook、Teamsなど、Microsoft 365アプリ、あなたのメール、ファイル、会議、チャット、カレンダーを含むすべてのコンテンツとコンテキストを取得するMicrosoft Graph、そして自然言語で文章を解析・生成できる創造的なエンジンであるLarge Language Model（LLM）の3つの基盤技術を活用しています。コマンドは、アプリからのプロンプトから始まり、Copilotは「grounding」と呼ばれる方法を用いてプロンプトを前処理します。簡単に言えば、groundingはプロンプトの品質を向上させ、関連性の高い、実行可能な回答を得るためのものです。最も重要なgroundingの部分の1つは、Microsoft Graphにコールをかけることで、ビジネスのコンテンツとコンテキストを取得することです。 Copilotは、Graphからのこのユーザーデータと他の入力を組み合わせて、プロンプトを改善し、その改訂されたプロンプトをLLMに送信します。 LLMができることは、ChatGPTやBing Chatなどの経験からおそらく既にご存知の通りです。 Copilotは、LLMからのレスポンスを受け取り、ポストプロセッシングを行います。このポストプロセッシングには、Graphへの追加のgroundingコール、責任あるAIチェック、セキュリティ、コンプライアンス、プライバシーのレビュー、そしてコマンド生成が含まれます。 Copilotは最終的にユーザーへのレスポンスを送信し、アプリに戻り命令を送信します。 Copilotは、これらの複雑なサービスを反復的に処理し、調整して、まるで魔法のような結果を生成します。

Mindmap

Keywords

💡Copilot System

「Copilot System」とは、高度な処理とオーケストレーションエンジンのことです。このシステムは、Microsoft 365のアプリ群、Microsoft Graph、そして大規模な言語モデル（LLM）の3つの基盤技術を利用して動作します。ビデオの主題であるMicrosoft 365 Copilotの機能を支える中核を担っており、自然言語を通じてユーザーのプロンプトを改善し、最終的に意図的な結果を生み出すためにこれらのサービスを複雑に処理・調和する役割を果たしています。

💡Microsoft 365 apps

「Microsoft 365 apps」とは、Microsoftが提供する一連のオフィスアプリケーションのことです。これには、文書作成のWord、表計算のExcel、プレゼンテーションのPowerPoint、コミュニケーションのTeams、連絡のOutlookなどが含まれます。これらのアプリは、Copilot Systemによって強化され、ユーザーが自然な言語で操作できるようになりました。

💡Microsoft Graph

「Microsoft Graph」は、Microsoft 365プラットフォームのAPIであり、ユーザーのメール、ファイル、会議、チャット、カレンダーなど、あらゆるコンテンツとコンテキストを統合・取得することができるものです。Copilot SystemはMicrosoft Graphを利用して、ユーザーのビジネスコンテンツとコンテキストを取得し、プロンプトの質を向上させるために活用しています。

💡Large Language Model (LLM)

「Large Language Model（LLM）」とは、大量のテキストデータを学習し、自然言語を理解し、人間のようなテキストを生成できる高度な機械学習モデルです。このモデルは、Copilot Systemにおいて創造的なエンジンとして活用され、ユーザーの入力を解析し、自然言語で回答を生成する機能を担っています。

💡Natural Language

「Natural Language」とは、人間の言葉を指す自然言語をコンピューターが理解し、処理するための技術です。Copilot Systemは自然言語を通じてユーザーのプロンプトを受け取り、その意味を正確に理解し、適切な応答を生成することが可能です。

💡Prompt

「Prompt」とは、ユーザーがアプリケーションからCopilot Systemに入力するテキストのことです。このプロンプトは、システムがどのようなタスクを実行するかを指示する命令となります。Copilotはこのプロンプトを改善し、適切な応答を生成するための出発点として利用します。

💡Grounding

「Grounding」とは、プロンプトの品質を向上させるプロセスであり、システムが提供する回答が関連性があり、実行可能なものになるように設計されています。このプロセスは、Microsoft Graphへの呼び出しを含み、ユーザーのビジネスコンテンツとコンテキストを組み合わせて、プロンプトを改善するものです。

💡Post-processing

「Post-processing」とは、LLMから得られた回答をさらに改善するプロセスであり、意図的な結果を生み出すために行われる追加の作業を指します。このプロセスには、Graphへの追加のGrounding呼び出し、責任あるAIチェック、セキュリティ、コンプライアンス、プライバシーのレビュー、そしてコマンドの生成が含まれます。

💡Responsible AI

「Responsible AI」とは、人工知能システムがエチカルな方法で動作することを確保する取り組みを指します。これは、AIが適切な判断を下し、無害で公平な結果を提供し、ユーザーのプライバシーやセキュリティを尊重することを意味します。Copilot Systemでは、Post-processingの段階で責任あるAIのチェックが行われ、これによりシステムの応答が適切かつ安全なものになるよう保証されています。

💡Security and Compliance

「Security and Compliance」とは、システムがセキュリティ基準を遵守し、法令や規制を遵守することを意味します。Copilot Systemは、Post-processingの段階でセキュリティとコンプライアンスのレビューを行い、機密情報の漏洩や不正使用を防止し、法律や規制に違反しないよう努力しています。

💡Privacy

「Privacy」とは、個人情報の保護を指す概念であり、Copilot Systemはユーザーのプライバシーを尊重し、個人情報を適切に保護することが求められます。Post-processingの段階では、プライバシーのレビューが行われ、システムの応答がユーザーのプライバシーに影響を与えないよう確認されています。

Highlights

Microsoft 365 Copilot是基于所谓的'Copilot系统'构建的，这是一个复杂的处理和编排引擎。

Copilot系统利用了三项基础技术的力量：Microsoft 365应用程序、Microsoft Graph和大型语言模型（LLM）。

Microsoft 365应用程序包括Word、Excel、PowerPoint、Outlook、Teams等。

Microsoft Graph整合了所有的内容和上下文，包括电子邮件、文件、会议、聊天和日历。

大型语言模型（LLM）是一个创造性引擎，能够解析和生成人类可读的文本。

Copilot通过自然语言处理您的提示开始工作。

通过称为'grounding'的方法，Copilot预处理提示，以提高提示的质量，确保得到相关且可操作的答案。

Grounding的一个重要部分是调用Microsoft Graph以检索您的商业内容和上下文。

Copilot结合Graph中的用户数据和其他输入来改善提示。

然后将修改后的提示发送给LLM。

Copilot接收LLM的响应并进行后处理，包括额外的grounding调用、负责任的AI检查、安全、合规以及隐私审查和命令生成。

最终，Copilot将响应发送给用户，并将命令反馈给应用程序。

Copilot迭代地处理和协调这些复杂的服务，产生一个看似神奇的结果。

用户可能基于与ChatGPT或Bing Chat的经验，熟悉LLM能够做什么。

Copilot通过自然语言使所有功能可访问。

Copilot通过调用Microsoft Graph来改进提示，结合用户数据和其他输入。

Copilot确保响应和命令的生成符合安全、合规、隐私标准。

Transcripts

00:00

Microsoft 365 Copilot is

00:02