LLM を強化する「Vertex AI Extensions」の活用・構築方法
Summary
TLDRこのスピーチは、拡張機能をLLMと組み合わせて活用することで、リアルタイムデータにアクセスし、リアルな世界でのアクションを実行できるようになることを紹介しています。最新のGoogle Cloud製品であるVertex AI Extensionsについて解説し、企業内外に向けたユースケースや、開発者向けツールなども紹介しています。従業員の生産性向上や顧客体験の向上など、拡張機能ならではのメリットを具体的な事例を交えながら分かりやすく説明しています。
Takeaways
- 🤝 LLMsは生成された過去のデータに基づいており、リアルタイムの情報にアクセスできないという制約がある。
- 🔎 拡張機能は外部のデータやAPIに接続し、LLMsをリアルワールドに結びつける役割を果たす。
- 💻 VtexAI Extensionsは、Googleクラウドネイティブの拡張機能プラットフォームで、データへのアクセス、コンプライアンス、セキュリティなどを管理できる。
- 🔗 VtexAIでは、Googleや他社が提供する拡張機能を簡単に検索、テスト、デプロイできるギャラリーが用意されている。
- 🧠 リーズニングと呼ばれる推論処理によって、適切な拡張機能が選択され、リアルタイムのデータにアクセスできる。
- 🔍 VtexAIは、プロンプトツールを使って拡張機能の評価と最適化を行うことができる。
- 🤖 VtexAIのコードインタープリターは、自然言語のクエリから直接データを分析・可視化するための Pythonコードを自動生成できる。
- 📈 拡張機能の活用例として、リトリーバルとジェネレーション (ReAct)による個別化された応答、及びコード生成によるデータ分析アプリケーションの構築が紹介された。
- 🚗 フォーミュラEのテレメトリーデータを活用したドライバー/ファン向けチャットボットや、サプライチェーンの最適化など、具体的な企業事例が示された。
- 🔐 VtexAIは企業向けのエンタープライズレベルのセキュリティ、プライバシー、スケーラビリティなども提供する。
Q & A
バテAIエクステンションズとは何ですか?
-バテAIエクステンションズは、大規模言語モデル(LLM)をリアルタイムデータに安全に接続し、リアルな世界でのアクションを実行できるようにするGoogleCloudのプラットフォームです。
バテAIエクステンションズの主な特徴は何ですか?
-GoogleCloudネイティブな拡張機能で、企業内のデータにアクセスしながらも、データアクセス、プライバシー、コンプライアンスを細かくコントロールできる。また、最新の基盤モデルを利用でき、必要なAPIサービスと統合して機能を網羅したアプリケーションを構築できる。
バテAIエクステンションズで利用できる拡張機能には何がありますか?
-バテAIエクステンションズで利用できる拡張機能には3種類ある。1つ目は自社が独自に作成した拡張機能、2つ目はGoogleが提供するファーストパーティの拡張機能、3つ目はパートナーが開発提供する拡張機能です。
拡張機能を作成する手順は何ですか?
-ステップは4つです。1)LLMにさせたいAPIを選択する。2)拡張機能のマニフェストとAPI仕様の2つのファイルを作成する。3)バテAIの開発者ツールを使用してテストと公開を行う。4)アプリケーションに拡張機能をデプロイする。
バテAIエクステンションズではどのようなユースケースが可能ですか?
-主にラグ(Retrieval-Augmented Generation)のユースケースと、データ分析用のカスタムアプリケーションが可能です。ラグではリアルタイムのデータと組み合わせてターゲティングや監視などを行え、データ分析ではコードインタープリターを使ってデータの可視化などを自然言語で行えます。
フォーミュラEはバテAIエクステンションズをどのように活用しましたか?
-フォーミュラEではドライバー向けとファン向けの2つのチャットボットを開発し、テレメトリーデータやレース情報にリアルタイムにアクセスできるようにしました。バージョン2ではラングチェーンからバテAIエクステンションズに移行し、アーキテクチャを簡素化し効率化しました。
バテAIエクステンションズはデータ分析にどのように活用できますか?
-ファーストパーティの拡張機能であるコードインタープリターを使うと、自然言語で簡単にデータの分析や可視化を行うアプリケーションを構築できます。CSVなどのデータをアップロードし、自然言語のクエリからPythonコードを自動生成・実行できます。
バテAIエクステンションズの開発状況と今後はどうなっていきますか?
-現在はプライベートプレビューのステータスで、引き続き正式リリースに向けて開発を進めています。より多くのユースケースやフィードバックを得て、機能強化を重ねていく予定です。
拡張機能を評価するツールはありますか?
-はい。バテAIエクステンションズではプロンプトのサンプルを使ってテスト用データセットを作成し、テストを行えるツールがあります。これにより拡張機能の問題点を特定したり、プロンプトを改善して精度を高められます。
バテAIエクステンションズの課題はありますか?
-現時点では、開発者向けの効果的なツールが不足している点や、モデルの回答に正確性に欠ける部分がある点、機密データへのアクセスによるセキュリティリスクなどの課題があります。
Outlines
🙋♂️自己紹介と大規模言語モデルの制約について
自己紹介をし、大規模言語モデル(LLM)の3つの主な制約について説明しています。1つ目は、LLMが利用できるデータは過去のある時点で凍結されたものであり、最新の情報を知ることができないこと。2つ目は、トレーニング後にLLMは外部のデータにアクセスできないため、企業の内部データとギャップが生じること。3つ目は、LLMはリアルタイムな世界と切り離されており、単体では一般的なインターフェースを利用できないことです。これらの制約を解消するための鍵となるのが拡張機能(プラグイン)です。
🔑拡張機能の具体的な利用例
拡張機能を活用した具体的なアプリケーションの例を3つ挙げています。1つ目は従業員向けデジタルアシスタントで、文書やコードの作成をLLMに行わせることができます。2つ目は検索エンジンで、ユーザーのコンテキストに基づいてカスタマイズされた回答を返すことができます。3つ目はワークフローを自動化するアプリケーションで、自然言語での指示によりデータサイエンスなどの様々なタスクを自動化することができます。現時点では、拡張機能には開発者向けの十分なツールがなく、モデルの回答に正確さを欠く部分があり、機密性の高いデータへのアクセスがリスクとなる課題があります。
🆕Google Cloud NEXT 2023で発表されたVtexAIエクステンションズ
Google Cloud NEXTで発表されたエンタープライズレベルの拡張機能プラットフォームであるVtexAIエクステンションズについて説明しています。このプラットフォームでは、データアクセス、透明性、監査、コンプライアンスなどをコントロールしながら拡張機能を構築できます。また、GoogleCloudネイティブの拡張機能を利用することができ、BigQueryやVertexAIサービスと統合して機能を網羅したアプリケーションを構築することができます。さらに、エコシステムの中で内部向けと外部向けの2つのユースケースを想定しています。
✨拡張機能の作成から評価、最適化までのプロセス
VtexAIエクステンションズで拡張機能を作成する4ステップのプロセスを説明しています。1つ目はAPIを選択し、2つ目はマニフェストとAPI仕様のファイルを作成します。3つ目はVtexAIの開発者ツールを使用して拡張機能のテストとデバッグを行い、最後に自分のアプリケーションにデプロイします。また、テストデータセットの作成やパフォーマンス評価の重要性についても言及しており、プロンプトツールを活用して拡張機能の最適化を行うことができることを説明しています。
🚗フォーミュラEのユースケースにおけるラグの活用
リトリーバル・ジェネレーション(ラグ)という手法を用いたユースケースの例として、フォーミュラEのレースカー向けのチャットボットを紹介しています。ドライバー向けのボットはBigQueryのテレメトリーデータに基づいてリアルタイムの情報を提供し、ファン向けのボットはVertexAIサーチのデータを活用して一般的な質問に回答します。最初はLangChainを使用していましたが、VtexAIエクステンションズに移行することでアーキテクチャーの簡素化とデプロイ時間の短縮を実現しました。今後はエンタープライズレベルのセキュリティやガバナンスを備えたVtexAIエクステンションズで、ドライバーとファンに共通の体験を提供することを目指しています。
🏢マンハッタンアソシエイツとGitLabのラグ活用事例
サプライチェーンソリューション企業のマンハッタンアソシエイツとソフトウェア開発ツールプロバイダーのGitLabがVtexAIエクステンションズを活用してラグを活用する事例を紹介しています。マンハッタンアソシエイツは、倉庫業務でLLMに社内APIからリアルタイムの情報を渡し、人員配置などのプロセスを自動化する計画があります。一方GitLabは、セキュリティの改善に関するナレッジと自社のコードベースをLLMに渡して開発者による脆弱性解決をサポートする計画があります。
📈コードインタープリターによるデータ分析のカスタムアプリケーション構築
VtexAIエクステンションズのファーストパーティ拡張機能であるコードインタープリターを活用して、データアナリストがデータの分析や可視化を簡単に行えるアプリケーションを構築する方法を説明しています。コードインタープリターは自然言語のクエリとCSVファイルやデータベースとの接続をインプットとし、プログラムの実行結果やグラフの画像をアウトプットとします。拡張機能を経由することで、エンタープライズレベルのセキュリティやスケーラビリティを備えたデータへのアクセスが可能になります。最後に、CSVファイルを入力としたサンプルアプリのデモを紹介しています。
🏆VtexAIエクステンションズの今後の展望とまとめ
VtexAIエクステンションズは、開発者にエンタープライズレベルの高品質な拡張機能を構築するための包括的なツールセットと新たな開発者体験を提供します。作成、構築、評価、最適化の4つのステップで、拡張機能を統合したLLMアプリケーションを迅速かつ容易に構築することができます。引き続き正式リリースに向けて開発を進めており、ユーザーからのフィードバックを歓迎しています。トラステッドテストープログラムにも参加できるので、詳細は問い合わせてください。
Mindmap
Keywords
💡大規模言語モデル (LLM: Large Language Model)
💡拡張機能 (Extensions)
💡リトリーバブルオーテージェネレーション (ラグ: Retrieval Augmented Generation)
💡データアクセス
💡業務の自動化 (Workflow Automation)
💡API
💡セキュリティ・プライバシー
💡プロンプト (Prompts)
💡エンタープライズ環境
💡エコシステム (Ecosystem)
Highlights
LLMに抱える制約について整理したいと思います。
まず1つ目はLLMの利用するデータはあくまで過去のある時点で凍結されたデータという点です。
2つ目にトレーニングを終えた後、LLMは自社や外部のデータにアクセスできないという点です。
3つ目はLLMはそもそもリアルな世界と切り離されてるという点です。
そこでこれらの問題に対処できるのが一般的にプラグインとしても知られている拡張機能エクステンションです。
拡張機能はLLMとAPIとの間をつぐことでLLMとリアルな世界を効果的にに結びつけることができます。
VtexAIエクステンションズを中心とした拡張機能のエコシステムを形成することができます。
ステップは4つです。まずLLMにさせたいAPIを選択します。
次に拡張機能に必要なファイルを2つ作成します。1つはマニフェスト、もう1つはAPI仕様です。
その次にVtexAIの開発者ツールを使用して拡張機能のテスト・デバッグ・公開を行います。
最後にチャットボットや自動ワークフローといった皆様のアプリケーションに拡張機能をデプロイします。
VtexAIエクステンションズでは、GoogleCloudのAPIまたはクラウドコンソールから簡単に拡張機能を作成できます。
バテAIエクステンションズで実行できる拡張機能は3種類あります。1つ目は自社のAPIを使用して独自に作成した拡張機能です。
2つ目はGoogleが作成・提供するファーストパーティの拡張機能です。
3つ目はパートナーが開発・提供する拡張機能です。
Transcripts
00:00[音楽]
00:07皆さん
00:09こんにちはGoogleCloud
00:10NEXT東京えDay2最後のセッション
00:13となりましたえ最後までどうぞよろしくお
00:15願いします
00:18え本セッションではllmを強化するバテ
00:22AIエクステンションズの活用構築方法と
00:24題しまして8月末のえ米国で開催された
00:29GoogleoudNEXTで発表された
00:32vtexAIエクステンションズについて
00:34ご紹介いたしますえ本日11月16日時点
00:38ではプライベートプレビューのステータス
00:40となっておりますのでえ是非本セッション
00:43を通してvtexAIエクステンションズ
00:45の概要とえ導入する際のメリットについて
00:48知っていただければ幸い
00:51ですえ自己紹介ですGoogle
00:55Cloudでカスタマーエンジニアをして
00:57おります下城と申します
01:00普段はデジタルネイティブのお客様を中心
01:03にGoogleクラウのご提案と技術支援
01:06に従事しており
01:10ます早速ですが皆さん普段llm大規模
01:15言語モデルを活用されてる方でこのような
01:18回答結果が返ってきたことはないでしょう
01:22か申し訳ありませんが私はAI言語モデル
01:26であるためリアルタイムのデータはあり
01:28ません私の知識はトレーニングを受けた日
01:33までのものになります従ってその日以降に
01:37発生したことに関する情報は提供できませ
01:41ん実際このような回答はリアルタイムな
01:45情報を尋ねた際にしばしば得られることが
01:48あるかと思い
01:50ますllm自体は非常に便利な
01:54テクノロジーですがそこにはいくつかの
01:56制約や限界があります
02:01llmが抱える制約について整理したいと
02:05思い
02:07ますまず1つ目はllmの利用するデータ
02:11はあくまで過去のある時点で凍結された
02:15データという点
02:18です最後にトレーニングを受けた日以降の
02:22情報をllmは知りませ
02:25んそれが原因で情報が古く不正格な回答に
02:30つがってしまい
02:33ます2つ目にトレーニングを終えた後
02:37llmは自社や外部のデータにアクセス
02:40できないという点
02:43です大抵の基盤モデルは公開データを公開
02:47データを用いてトレーニングされています
02:50一方で多くの企業では大量に集めた車内
02:54データこれをllmに利用させたいと考え
02:58ておられるかと思いますが
03:01llm単体では同時に外部のデータに接続
03:04することが難しく社内データとのギャップ
03:07が生じてしまい
03:09ます3つ目はllmはそもそもリアルな
03:14世界と切り離されてるという点
03:17ですそのため単体ではAPIのような一般
03:22的なインターフェイスを利用できず
03:25ユーザーに変わって何かアクションを
03:27起こすということができません
03:33そこでこれらの問題に対処できるのが一般
03:37的にプラグインとしても知られている拡張
03:40機能エクステンション
03:43です本セッションでは拡張機能という呼び
03:47方で統一させていただき
03:50ます拡張機能はllmとAPIとの間を
03:55つぐことでllmとリアルな世界を効果的
03:59にに結びつけることができ
04:02ますいくつか例を見てみ
04:06ましょう1つ目の例ではある企業の最新の
04:10プレプレスリリースに問い合わせることで
04:13リアルタイムの検索が開始され最新の
04:16プレス記事を回答してい
04:18ます2つ目の例ではある従業員が新製品に
04:23必要な電子部品の購入でサポートを求めて
04:26い
04:28ますこの問い合わせによってサプライ
04:31チェーンの拡張機能が取りがされリアル
04:34タイムの在庫検索が始まりその部品の在庫
04:39ウの確認及び価格が提示され購入の完了
04:43までサポートされ
04:46ます最後の例ではある従業員が福利構成の
04:51申請記述を問い合わせてい
04:54ますするとこの企業のプライベート拡張
04:57機能によりLと社内のナレッジベースドが
05:02接続され事実に基づいた回答を返してい
05:10ますさらに拡張機能を活用した具体的な
05:13アプリケーションの例を上げ
05:16ます1つ目の従業員向けデジタル
05:19アシスタントでは文書や
05:22スプレッドシートプログラミングのコード
05:24をllmに作成してもらうことができてい
05:28ます2つ目の検索エンジンでは検索した人
05:33のコンテキストに基づいてコードに
05:35パーソナライズされた回答を返すことが
05:37できてい
05:39ます3つ目はワークフローを自動化する
05:43アプリケーションを作成してい
05:46ます自然言語で指示をすることでデータ
05:50サイエンスやサイバーセキュリティなど
05:52様々な分野をタスを自動で実行していく
05:55ことができ
05:58ます
06:00このように拡張機能はllmの制約や限界
06:05を解消するために非常に重要なものである
06:08と考えておりますが現時点ではそれなりに
06:11課題もあり
06:13ますまず開発者にはエンタープライズ環境
06:18で拡張機能を開発しテストしデプロイ
06:22できるだけの効果的なツールがほとんど
06:24ないのが現状
06:26です拡張機能のデバクや評価といった
06:30タスクのためのツールを自社で開発され
06:33てる方々もいらっしゃるかもしれませんが
06:35あくまで自社の特定の分野のユースケース
06:38でえユースケースに特化しているため汎用
06:41的なものではありませ
06:43ん次に拡張機能を利用したモデルの回答に
06:48は応にして正確差にかける書ける部分が
06:51あるという点が挙げられ
06:54ます例えばクエリに対してモデルが誤った
06:59拡張機能を選択してしまったり間違った
07:02フォーマットを提示してしまったりする
07:04ことも考えられ
07:06ますそれでは利便性がいいとは言えず拡張
07:10機能をついで複雑なタスクを完了すること
07:13が難しくなり
07:16ます3つ目に拡張機能は機密性の高い
07:20データやアクションにアクセスできるため
07:23それが新たなリスクになるという点が挙げ
07:25られ
07:27ますそのため拡張機能にはセキュリティ
07:30プライバシーコンプライアンスに対する
07:33権能性とそれらを確実にコントロールして
07:36いくことが求められ
07:40ますそこで本日GoogleCloud
07:43NEXTで発表されたエンタープライズ
07:46レベルの拡張機能及び拡張機能を活用した
07:50アプリケーションを構築するための
07:52プラットフォームであるvtexAI
07:54エクステンションズをご紹介いたし
07:58ますllmをリアルタイムデータに
08:02セキュアに接続しリアルな世界での
08:05アクションを実行することができる
08:06プラットフォーム
08:11ですvteAIエクステンションズの特徴
08:14をご紹介いたし
08:16ますGoogleCloud上の拡張機能
08:19はデータアクセスデータの所在値透明性
08:24監査車内ポリシーに基づく
08:26コンプライアンスを細かくコントロールし
08:29てアな拡張機能を構築でき
08:33ますvexAエクステンションズは
08:36GoogleCloudネイティブ金星の
08:38拡張機能となりますので基盤モデル自体も
08:42拡張機能を用いたユスケース向けに最適化
08:46チューニングされた最新のモデルを利用
08:48することができ
08:50ますさらに拡張機能に対して必要なデータ
08:54を提供するビッグクエリーやvteai
08:57サーといったGoogleの主要な
09:00サービスと統合して必要な機能を網羅した
09:03アプリケーションを構築することができ
09:08ますこれに加えてバテAI
09:12エクステンションズを中心とした拡張機能
09:14のエコシステムを形成することができ
09:18ますこのエコシステムには企業や従業員
09:23開発者エンドユーザーとなる
09:25プロフェッショナルや一般顧客も含まれ
09:28ます
09:30その上でこのエコシステムの中でユス
09:33ケースを2つのカテゴリーに分類しまし
09:37た1つはえ右側の図のえところなんです
09:41けどもえ内部向けすなわち企業や組織内の
09:45ユースケース
09:47ですLMMと車内のデータ及びアクション
09:51を組み合わせることで従業員の生産性向上
09:54を図るもの
09:57ですもう1つは図の
10:00左側外部向けすなわち顧客接点のユース
10:04ケース
10:05です自社の製品やサービスを社外向けの
10:09AIサーフェスに広げてユーザー体験の
10:12向上を図るもの
10:17ですここからは拡張機能の作成方法をえ見
10:22ていきましょうえステップは4つ
10:26ですまずllmにさせたいAPIを選択し
10:32ます新しくAPIを作成する場合は
10:35GoogleCloudのAPI管理
10:37サービスであるapgの活用もご検討
10:41ください次に拡張機能に必要なファイルを
10:452つ作成し
10:48ます1つは拡張機能の名前や説明認証方式
10:53など拡張機能のメタデータを定義する
10:56マニフェスト
10:58ですこちらは拡張機能や拡張機能内の
11:02APIメソッドをいつどのような場面で
11:05使用するのかAPIリクエストの
11:08フォーマット例えばパラメーターなどを
11:11どのようにするのかそれからユーザーへの
11:15レスポンスをどのようにするのかそういっ
11:17たことを自然言語で説明したものを
11:20JSON形式で保存し
11:24ますもう1つはllmが利用できるAPI
11:28のメソッドを義するapi仕様
11:31ですこちらはオプAPIスペックに準拠し
11:36たやル形式で定義していただき
11:40ますその次にvtexAIの開発者ツール
11:43を使用して拡張機能のテストデバ公開を
11:48行い
11:50ます最後にえチャットボットや自動
11:54ワークフローといった皆様の
11:56アプリケーションに拡張機能をデプロイし
11:58ます
12:03実際にステップバイステップで解説して
12:05いき
12:07ますvtexAIエクステンションズでは
12:10GoogleCloudのAPIまたはえ
12:13クラウドコンソールから簡単に拡張機能を
12:16作成でき
12:19ますAPIスペックはオープンソースで
12:22あるAPOpenAPIの使用に準拠した
12:25ものとなっておりますのでえChat
12:27GPTのプラグも互換性があり
12:30ますそのためすでにチャットGPTの
12:34プラグイン向けにAPI定義があればその
12:37まま活用していただくことができ
12:43ますバテエアエクステンションズでは
12:46先ほどお伝えした拡張機能の作成だけでは
12:50なく拡張機能の参照や活用も簡単に行え
12:57ますバークスエクステンションズで実行
13:00できる拡張機能は3種類あり
13:03ます1つ目は自社のAPIを使用して独自
13:08に作成した確証機能
13:11です2つ目はGoogleが作成提供する
13:16ファーストパーティーの拡張機能
13:19ですビッグクエリーやバテAIサーチと
13:23いった広く使用されているGoogle
13:25Cloudのサービス向けに拡張機能が
13:27提供されています
13:31ここに記載されているコード
13:32インタープリターについては後ほど解説
13:35いたし
13:38ます3つ目はパートナーが開発提供する
13:41拡張機能
13:43です例えばデータスタックスやモンゴ
13:48MONODBといったデータストアに保存
13:50されたデータの検索が可能になり
13:54ますまたラングチェーンとの互換性があり
13:57ますのでラングチェーン上のコードを簡単
14:00にバテAIエクステンションズにデプロイ
14:03することができ
14:05ますなおvtexAIエクステンションズ
14:08ではこうした拡張機能を探し見つけテスト
14:12することができるギャラリーというものも
14:14提供いたしますのでこちらを活用すること
14:17で開発者の方々の時間短短縮にえつなげて
14:21いただくことができ
14:26ます拡張機能を独自に作成または
14:30Googleやパートナーの提供する拡張
14:33機能を選択していただけたら次はその拡張
14:36機能とllmを関連付けて使えるようにし
14:41ますvtexAIエクステンションズの
14:44ランタイムではいわゆるエージェントと
14:47呼ばれる気候が作成されllm側でどの
14:52拡張機能をいつ呼び出すのかまた呼び出す
14:55必要があるのかどうかをリーズにと呼ば
14:59れる水論プロセスとして実行し
15:02ますvteAIエクステンションズでは2
15:05つのタイプのアプリケーションランタイム
15:07が選択でき
15:10ます1つ目はGoogleが管理する
15:13プラットフォーム上でリーズニングを行う
15:15アプリケーションランタイム
15:18ですこれにより正しい拡張機能が選択さ
15:22れるようになりアウトプット形式も制御
15:25でき
15:27ますもう1つはラングチェーンなど
15:30オープンソースのフレームワークを活用し
15:32たカスタマイズ可能なアプリケーション
15:34ランタイム
15:36です具体的にはラングチェーンの
15:40エージェンツチェーンなどを利用した
15:42カスタムコードをバーッAI
15:45エクステンションエクステンションに対し
15:46てデプロイしてより柔軟なリーズニング
15:50及びワークフローを構成していただくこと
15:53ができ
15:54ますこれら2つのタイプがあることで
15:58カスタマイズ性やコントロールのレベルを
16:00柔軟に選択しつつバテAI
16:04エクステンションズによる一貫した管理を
16:06行うことができ
16:11ます続いて評価の方法を解説し
16:15ます機械学習に詳しい方ならよくご存知か
16:19と思いますがAIプロジェクトにおいて
16:22単にモデルを動かすということは全体の
16:25道のりのほの一部にすぎません
16:29本番環境レベルでアプリケーションを構築
16:32するために重要なのはパフォーマンス評価
16:35ですそのためにはデータセットを作成し
16:40詳細な評価を行うためのツールを確保する
16:42ことがえ極めて重要になり
16:45ますvtexAIエクステンションズなら
16:48ご自身で用意したプロンプトのサンプルが
16:50あればそれらを活用してすぐにテスト用の
16:53データセットを作成でき
16:57ます
17:00これらのデータセットがあればテストを
17:02実施してシステムのどこで問題が発生する
17:05かを把握しさらにプロンプトのサンプルを
17:08集約してより精度の高い拡張機能を構築
17:11することができ
17:14ますこれらのツールは拡張機能を活用して
17:18アプリケーションがどのように機能するか
17:20を理解しやすくなるように設計されており
17:25ます最後に最適化です
17:29バテAエクステンションズで提供される
17:32プロンプトツールを利用して拡張機能の
17:35マニフェスト及びAPI使用のテストと
17:39最適化が可能
17:41です問題になりそうな部分を特定できれば
17:45エージェントの設定や最適化などの措置を
17:48講じることができ
17:51ますまた様々な基盤モデルを拡張機能で
17:55テストして最適な組み合わせを見つける
17:57ことができでき
17:59ますこれらのツールは拡張機能を活用した
18:03llmアプリケーションを本番環境に導入
18:06する上で制度の向上に役立てていただく
18:09ことができ
18:13ますそこでここからは実際にバテA
18:16エクステンションズを皆様のビジネスや
18:19業務にどのように活用できるのかその
18:22分かりやすい例を見ていきたいと思い
18:26ますここでは図の左側のリトリーバルオテ
18:31ジェネレーション通称ラグと呼ばれている
18:34手法を用いたユースケースと図の右側の
18:38データ分析用のカスタムアプリケーション
18:40の例を取り上げ
18:42ますラグというのは端的に言うと外部
18:46ソースのデータを使用してllmで正しい
18:49回答をえ生成するアーキテクチャーのこと
18:52をい
18:53ますこの点において拡張機能は非常に有効
18:58に機能士特に自社のデータと組み合わせ
19:01組み合わせたい時にはえ大変有益
19:04です例えば氷企業が顧客の情報を活用して
19:08ターゲット型の広告キャンペーンをえ実施
19:11したい場合やセキュリティ企業がえ強意の
19:14え脅威をモニタリングしたり分類したい
19:17場合も拡張機能を使用することでより正確
19:20で個々の状況に合わせた回答の生成が可能
19:23になり
19:25ます一方バテエクステンションズを使用
19:29するとコードインタープリターという拡張
19:32機能を使用してデータ分析のための
19:35カスタムアプリケーションを容易に構築
19:37することができ
19:39ますコードインタープリターは自然言語の
19:43りを与えるとそのタスクを実行するための
19:46Pythonコードを自動的に生成し実行
19:50し
19:51ますそのためコードをご自身で全く記述し
19:55なくてもデータの分析や可視化がになり
20:02ますここでバテAエクステンションズを
20:06利用したラグのサンプルアプリケーション
20:09のデモをお見せしますこのデモでは
20:13クラウドLAN上で動くフロントエンド
20:15アプリケーション経由でバテA
20:17エクステンションズに2つのプロンプトを
20:20送信し
20:21ます1つ目は一般的な質問をしてllm
20:26単体で回答を返すものです
20:29もう1つは現在時刻について質問し現在
20:33時刻を取得する別のクラウドラ上で動く
20:37APIバックエンドにリクエストをし取得
20:40した現在時刻を元に回答を生成するもの
20:43ですどのような入力があったら拡張この
20:47拡張機能を選択し2のAPIメソッド
20:50呼び出すのかを事前にバテAI
20:52エクステンションズのマニフェストに定義
20:54しておくことでバテAI
20:56エクステンションズ側で張機能を呼び出す
20:59かどうかのリーズニングと呼ばれる水論
21:01処理を行い必要なAPIを呼び出し
21:05ますおそらく皆さんも想像されると思い
21:08ますがllm単体ではリアルタイムな現在
21:12時刻を返すということがえ難しくえ拡張
21:17機能を用いてリアルタイムな情報に基づい
21:19て回答を返せるかというのをご確認
21:22いただけるためのシンプルなデモとなって
21:24おりますえデモお願いします
21:30えまず始めにえ一般的なえプロンプトです
21:33ねこちらではえっとごめんなさいバテAI
21:37とはというえプロンプトを入力しています
21:39でこれはLMがえ回答を返しています2つ
21:43目にえ日本は今何時というプロンプトを
21:46送信していますそうすると裏側では
21:49リーズニングの処理が行われえ現在時刻を
21:52取得するapiからえ現在時刻正確な現在
21:56時刻を返すことができました
21:58まご覧いただいた通り拡張機能を活用する
22:01ことでえ外部のAPIからリアルタイムな
22:04データを取得回答できるようになりました
22:07今回の例では1つの拡張機能及びAPIと
22:10接続していましたがえvtexAI
22:12エクステンションズでは複数の拡張機能を
22:15同時に接続しプロンプトによって最適な
22:19拡張機能を選択させるといったことも可能
22:21ですえ続いてここからはえラグのユス
22:25ケースを採用したお客様事例もごしたいと
22:28思いますえフォーミュラEの次世代
22:32レーシング電気自動車genenベタと
22:35いうレーシング化があるんですけどもえ7
22:37月末に屋内でのえ自動車速度ギネス世界
22:41記録を自立しまし
22:43たこの記録立にあたってGoogle
22:46Cloudの生成AIとラグの
22:49アーキテクチャーを採用してドライバー
22:51向けに自然言語で会話できるチャット
22:54ボットを開発しまし
22:56たえこれはえレーシングカーに搭載された
23:00多数のセンサーで走行に関する膨大な
23:04リアルタイムなえテレメトリーデータを
23:06取り込みえそこからスピードパワー
23:10グリップがどのような状態であったのかと
23:13いったことを自然言語でやり取りできる
23:15ものでし
23:17たえこれによりドライバーはえ自分が必要
23:22としてるデータにリアルタイムにアクセス
23:24できドライバーがアプローチを調整するに
23:28非常にえ有益なものとなりまし
23:31たこのチャットボットは例えば最終の
23:35レフトコーナーでの脱出速度とその際のG
23:39はどのくらいだったのかといった質問や
23:43最高速度が出た時のバッテリー容量はどの
23:46くらいだったのかそういった走行時の質問
23:49に対して実際のデータに基づくえ解答を
23:52テキストで返すというものでし
23:54たえドライバー向けのチャットボットに
23:57加えてフォーミュラEのファン向けにも
24:00フォーミュラEや歴代の
24:02チャンピオンシップとレースの結果え
24:05レーシングカーに関するえ一般的な質問
24:08などにも回答するようなえファンボッも
24:10合わせて開発しえインタラクティブな新た
24:14なファン体験を喪失することができまし
24:18た実際のアーキテクチャーを見てみ
24:22ましょうまずインターフェイスとしては
24:25ドライバー向けファン向けの2つの
24:28チャットボットが提供されてい
24:30ます1つ目のドライバー向けのボットは
24:34ビッグクエリー上に蓄積された
24:36テレメトリーデータに基づいてレーサーが
24:38自然言語で必要な情報を質問できるボット
24:43ですもう1つはバテAIサーチに
24:46フォーミュラEの様々な情報を読み込ませ
24:49てえファンが会話できるボット
24:52ですえバージョンこのアーキテクチャーは
24:55バージョン1という風に位置付けられて
24:58おりましてGoogleCloudの様々
25:00なコンポーネントとラングチェーンを使っ
25:02て構成されており
25:05ますこの段階ではラングチェーンを実行
25:08するためのgkeクラスタの
25:10デプロイメントと検索の制度を確保する
25:13ための複雑なプロンプトの管理がえ最大の
25:16課題となっておりまし
25:20たそこで現在採用されているバテA
25:24エクステンションズを活用したバージョン
25:262のアテに移行を行いまし
25:30たラングチェーンコードとllmの構成
25:34情報をえ簡単にバテAI
25:37エクステンションズにデプデプロイする
25:39ようにいたしましたえこれにより
25:42アーキテクチャーを略化でき
25:44デプロイメントの時間も大幅に削減する
25:47ことができまし
25:51たフォーミュラEでは次のシーズンに向け
25:54てさらなるアーキテクチャーの改善を計画
25:56しています
25:59このバージョン3のシステムを構築すべく
26:03各コンポーネントをまとめて
26:05エンタープライズレベルのセキュリティ
26:07プライバシートレーサビリティが備わった
26:09バテAエクステンションズに集約し
26:12レーサーとファファンの両方に共通した
26:15体験を作ろうとしてい
26:18ますラングチェーンコードで管理していた
26:21リーズニングのプロセスもバテA
26:24エクステンションズのランタイムに移行し
26:26一貫性を高めるを目指してい
26:32ますえラグを利用したその他のユース
26:35ケースもご紹介いたし
26:37ますマンハッタンやギットラボのような
26:40企業ではバテAIを活用して自社独自の
26:44ワークフローを構築しようとしてい
26:47ますサプライチェーンソリューションを
26:49提供するマンハッタンアソシエイツは拡張
26:52機能を倉庫業務に活用しようとしてい
26:56ますは生成AIによりサプライチェーンの
27:00マネージャーやえ担当者にこれまでにない
27:03有益なインサイトを自動で提供できると
27:06いう風に考えており
27:08ますしかしそのためには車内のAPIを
27:12取り込み業務に支障をきたすことなく大
27:15規模にデータをllmに渡す必要があり
27:19ますそこで同社ではバテA
27:23エクステンションズを活用して人員の稼働
27:25率や業務の空状況期限に関するリアル
27:29タイムの情報に基づいて人員をバランス
27:31よく割り当てサプライチェーンプロセスを
27:34自動化していこうと考えてい
27:36ます一方GラボはバテA
27:40エクステンションズを活用して開発者に
27:43よる脆弱性解決をサポートしようとしてい
27:46ますそのために同社ではセキュリティの
27:49改善に関するナレッジとユーザー固有のえ
27:53コードベースにllmがアクセスできる
27:56ように証機能を活用することを考えてい
28:01ますここまでえラグのユースケースをご
28:05紹介してきましたが拡張機能を活用した
28:08もう1つのユースケースについてもご紹介
28:10いたし
28:12ます多くの企業では長年をかけて収集して
28:16きた大量のデータがありますがそれらを
28:19活用するには多くの場合データサイエンス
28:21や機械機械学習の専門的なエンジニアの力
28:25が必要です
28:28それは図の左側のようにデータの利用には
28:31複雑なプロセスが必要だから
28:35ですパテックAIエクステンションズを
28:38活用すると業界問わずデータとやり取り
28:41するコードの書き方を知らなくても例えば
28:44えこの半年間の全車両の平均燃費はどの
28:48くらいだったのかあるいは農業の分野では
28:52今年小麦畑に使った肥料の組み合わせは
28:55どのようなものがあったのかまた氷の分野
28:59ではこの1年間で特定の場所で特定の商品
29:02がどれぐらい売れたの
29:04かこういった自然言語での問いに答え
29:07られる環境を作ることができるようになり
29:10ますこれらが実現できるとデータの分析
29:14データの理解や分析可視化を一進すること
29:17ができ
29:18ます具体的にその方法を見ていき
29:23ましょうバテAエション上で提供され
29:27ファーストパーティの拡張機能である
29:29コードインタープリターを活用することで
29:32例えばチャットインターフェイスIDその
29:36他あらゆるインターフェイスを通して
29:38データアナリストに対して自然言語で
29:41データの分析や可視化を簡単に行う
29:44アプリケーションを構築提供することが
29:47でき
29:48ますコードインタープリターはインプット
29:51として自然言語のクエリに加えてCSV
29:55ファイルなどバイナリデータを
29:56アップロードしたりビッグクエリーなどご
29:59自身のデータベースと接続したりすること
30:01ができ
30:02ますアウトプットにはプログラムの実行
30:06結果やグラフの画像などを出力することが
30:08でき
30:10ますコードインタープリターを拡張機能
30:13経由で使用することでエンタープライズ
30:16レベルのセキュリティプライバシースケラ
30:19スケーラビリティを備えたえ基盤から安全
30:22にデータにアクセスでき
30:26ますそれではコードインタープリターを
30:29使ったシンプルなチャット
30:30インターフェイスを提供するサンプル
30:32アプリの例を見てみ
30:36ましょう今回はCSV形式のファイルを
30:39アップロードしていきますデータセットと
30:42してはえ3バチを飼育する用法があります
30:46よね用法の8のスバから実際に得られた
30:50データを使用し
30:53ますまずデータに関するプロンプトを入れ
30:56たいのですがここではえCSVファイルに
31:00どのようなヘッダー名があるかを尋ねてい
31:05ますするとご覧の通りえファイルの
31:09ヘッター名を理解するコードが正しく生成
31:12されヘッター名が表示されまし
31:17た次にスバの重さの推移を明らかにしたい
31:22と思いスコの重さがどのように変化して
31:25いくかを教えてというプロンプトを入力し
31:28てみ
31:30ますするとご覧の通り自然な言語での
31:34問い合わせからコードインタープリターに
31:37よりコードが生成されこの図のように可視
31:39化されまし
31:41たこの裏側ではコードインタープリターに
31:44よりCSVデータを解析し可視化するため
31:48のPythonのコードを自動で生成実行
31:50し実行結果と共に生成したコドをAPIの
31:54レスポンスとして返すそのような動きに
31:56なっております
32:00しかしえこのグラフにはえご覧の通り外れ
32:04地がありまだあまりえ有益とは言えません
32:08そこでこのハズれ地を除外してもらうため
32:10にえここにはハズれ値があるけどもえ除外
32:14してもらえますかと言ったプロンプトを
32:16入力し
32:19ますするとこのように外れ値が除外されて
32:22グラフが分かりやすくなりまし
32:24たえこの裏側で成されたPython
32:28コードではこのデータの平均と標準偏差
32:32からえ上限と加減というものを設定する
32:35計算式を自動的に生成しその範囲内で
32:39データをフィルタリングするコードが追加
32:41されてい
32:45ますえまとめですバテA
32:49エクステンションズは包括的なツール
32:52セットを提供しエンタープライズレベル高
32:55品質な拡張機能を構築する新たな開発者
32:58体験を提供しますえ具体的には作成構築
33:03評価最適化といった4ステップで拡張機能
33:07を統合したllmアプリケーションを迅速
33:11かつえ容易に構築することができますえ
33:15引き続き正式ローン地に向けて開発を進め
33:18ておりますのでえもうしばらくステイ
33:20チューンドでお願いしますまたえ皆様から
33:24このようなユースケースで使えないかなど
33:26といった様フィードバックやえコメント
33:29そういったものもどしいただけると嬉しい
33:32ですえトラステッドテストープログラムも
33:35え提供してますのでえよろしければご登録
33:40くださいはいえこの後アクザスピーカーの
33:43ブースにも立っておりますので何か聞き
33:46たいことがありましたらこちらにお越し
33:49くださいえ少し早いですが以上となります
33:52ご清聴ありがとうございまし
33:55た
33:56[音楽]
33:58JA
تصفح المزيد من مقاطع الفيديو ذات الصلة
Build your own copilot! New Microsoft Copilot extensions
Dify AI: Create LLM Apps In SECONDS with NO Code FOR FREE! Flowise 2.0?
[番外編 #02] ペルソナ、ちゃんと使えてる？番外解説編（前編）
Building for Accessibility with Azure
【Buddycom＋生成AI】経験0日で売り場に立てる／業務マニュアルを丸暗記／質問相手を生成AIに／知識を共通財産化せよ【ソフトバンク】
【次元上昇】潜在意識でスルスル願いが叶う魔法の言葉【登録者10万人記念】
5.0 / 5 (0 votes)
