LLM を強化する「Vertex AI Extensions」の活用・構築方法
Summary
TLDRこのスピーチは、拡張機能をLLMと組み合わせて活用することで、リアルタイムデータにアクセスし、リアルな世界でのアクションを実行できるようになることを紹介しています。最新のGoogle Cloud製品であるVertex AI Extensionsについて解説し、企業内外に向けたユースケースや、開発者向けツールなども紹介しています。従業員の生産性向上や顧客体験の向上など、拡張機能ならではのメリットを具体的な事例を交えながら分かりやすく説明しています。
Takeaways
- 🤝 LLMsは生成された過去のデータに基づいており、リアルタイムの情報にアクセスできないという制約がある。
- 🔎 拡張機能は外部のデータやAPIに接続し、LLMsをリアルワールドに結びつける役割を果たす。
- 💻 VtexAI Extensionsは、Googleクラウドネイティブの拡張機能プラットフォームで、データへのアクセス、コンプライアンス、セキュリティなどを管理できる。
- 🔗 VtexAIでは、Googleや他社が提供する拡張機能を簡単に検索、テスト、デプロイできるギャラリーが用意されている。
- 🧠 リーズニングと呼ばれる推論処理によって、適切な拡張機能が選択され、リアルタイムのデータにアクセスできる。
- 🔍 VtexAIは、プロンプトツールを使って拡張機能の評価と最適化を行うことができる。
- 🤖 VtexAIのコードインタープリターは、自然言語のクエリから直接データを分析・可視化するための Pythonコードを自動生成できる。
- 📈 拡張機能の活用例として、リトリーバルとジェネレーション (ReAct)による個別化された応答、及びコード生成によるデータ分析アプリケーションの構築が紹介された。
- 🚗 フォーミュラEのテレメトリーデータを活用したドライバー/ファン向けチャットボットや、サプライチェーンの最適化など、具体的な企業事例が示された。
- 🔐 VtexAIは企業向けのエンタープライズレベルのセキュリティ、プライバシー、スケーラビリティなども提供する。
Q & A
バテAIエクステンションズとは何ですか?
-バテAIエクステンションズは、大規模言語モデル(LLM)をリアルタイムデータに安全に接続し、リアルな世界でのアクションを実行できるようにするGoogleCloudのプラットフォームです。
バテAIエクステンションズの主な特徴は何ですか?
-GoogleCloudネイティブな拡張機能で、企業内のデータにアクセスしながらも、データアクセス、プライバシー、コンプライアンスを細かくコントロールできる。また、最新の基盤モデルを利用でき、必要なAPIサービスと統合して機能を網羅したアプリケーションを構築できる。
バテAIエクステンションズで利用できる拡張機能には何がありますか?
-バテAIエクステンションズで利用できる拡張機能には3種類ある。1つ目は自社が独自に作成した拡張機能、2つ目はGoogleが提供するファーストパーティの拡張機能、3つ目はパートナーが開発提供する拡張機能です。
拡張機能を作成する手順は何ですか?
-ステップは4つです。1)LLMにさせたいAPIを選択する。2)拡張機能のマニフェストとAPI仕様の2つのファイルを作成する。3)バテAIの開発者ツールを使用してテストと公開を行う。4)アプリケーションに拡張機能をデプロイする。
バテAIエクステンションズではどのようなユースケースが可能ですか?
-主にラグ(Retrieval-Augmented Generation)のユースケースと、データ分析用のカスタムアプリケーションが可能です。ラグではリアルタイムのデータと組み合わせてターゲティングや監視などを行え、データ分析ではコードインタープリターを使ってデータの可視化などを自然言語で行えます。
フォーミュラEはバテAIエクステンションズをどのように活用しましたか?
-フォーミュラEではドライバー向けとファン向けの2つのチャットボットを開発し、テレメトリーデータやレース情報にリアルタイムにアクセスできるようにしました。バージョン2ではラングチェーンからバテAIエクステンションズに移行し、アーキテクチャを簡素化し効率化しました。
バテAIエクステンションズはデータ分析にどのように活用できますか?
-ファーストパーティの拡張機能であるコードインタープリターを使うと、自然言語で簡単にデータの分析や可視化を行うアプリケーションを構築できます。CSVなどのデータをアップロードし、自然言語のクエリからPythonコードを自動生成・実行できます。
バテAIエクステンションズの開発状況と今後はどうなっていきますか?
-現在はプライベートプレビューのステータスで、引き続き正式リリースに向けて開発を進めています。より多くのユースケースやフィードバックを得て、機能強化を重ねていく予定です。
拡張機能を評価するツールはありますか?
-はい。バテAIエクステンションズではプロンプトのサンプルを使ってテスト用データセットを作成し、テストを行えるツールがあります。これにより拡張機能の問題点を特定したり、プロンプトを改善して精度を高められます。
バテAIエクステンションズの課題はありますか?
-現時点では、開発者向けの効果的なツールが不足している点や、モデルの回答に正確性に欠ける部分がある点、機密データへのアクセスによるセキュリティリスクなどの課題があります。
Outlines
🙋♂️自己紹介と大規模言語モデルの制約について
自己紹介をし、大規模言語モデル(LLM)の3つの主な制約について説明しています。1つ目は、LLMが利用できるデータは過去のある時点で凍結されたものであり、最新の情報を知ることができないこと。2つ目は、トレーニング後にLLMは外部のデータにアクセスできないため、企業の内部データとギャップが生じること。3つ目は、LLMはリアルタイムな世界と切り離されており、単体では一般的なインターフェースを利用できないことです。これらの制約を解消するための鍵となるのが拡張機能(プラグイン)です。
🔑拡張機能の具体的な利用例
拡張機能を活用した具体的なアプリケーションの例を3つ挙げています。1つ目は従業員向けデジタルアシスタントで、文書やコードの作成をLLMに行わせることができます。2つ目は検索エンジンで、ユーザーのコンテキストに基づいてカスタマイズされた回答を返すことができます。3つ目はワークフローを自動化するアプリケーションで、自然言語での指示によりデータサイエンスなどの様々なタスクを自動化することができます。現時点では、拡張機能には開発者向けの十分なツールがなく、モデルの回答に正確さを欠く部分があり、機密性の高いデータへのアクセスがリスクとなる課題があります。
🆕Google Cloud NEXT 2023で発表されたVtexAIエクステンションズ
Google Cloud NEXTで発表されたエンタープライズレベルの拡張機能プラットフォームであるVtexAIエクステンションズについて説明しています。このプラットフォームでは、データアクセス、透明性、監査、コンプライアンスなどをコントロールしながら拡張機能を構築できます。また、GoogleCloudネイティブの拡張機能を利用することができ、BigQueryやVertexAIサービスと統合して機能を網羅したアプリケーションを構築することができます。さらに、エコシステムの中で内部向けと外部向けの2つのユースケースを想定しています。
✨拡張機能の作成から評価、最適化までのプロセス
VtexAIエクステンションズで拡張機能を作成する4ステップのプロセスを説明しています。1つ目はAPIを選択し、2つ目はマニフェストとAPI仕様のファイルを作成します。3つ目はVtexAIの開発者ツールを使用して拡張機能のテストとデバッグを行い、最後に自分のアプリケーションにデプロイします。また、テストデータセットの作成やパフォーマンス評価の重要性についても言及しており、プロンプトツールを活用して拡張機能の最適化を行うことができることを説明しています。
🚗フォーミュラEのユースケースにおけるラグの活用
リトリーバル・ジェネレーション(ラグ)という手法を用いたユースケースの例として、フォーミュラEのレースカー向けのチャットボットを紹介しています。ドライバー向けのボットはBigQueryのテレメトリーデータに基づいてリアルタイムの情報を提供し、ファン向けのボットはVertexAIサーチのデータを活用して一般的な質問に回答します。最初はLangChainを使用していましたが、VtexAIエクステンションズに移行することでアーキテクチャーの簡素化とデプロイ時間の短縮を実現しました。今後はエンタープライズレベルのセキュリティやガバナンスを備えたVtexAIエクステンションズで、ドライバーとファンに共通の体験を提供することを目指しています。
🏢マンハッタンアソシエイツとGitLabのラグ活用事例
サプライチェーンソリューション企業のマンハッタンアソシエイツとソフトウェア開発ツールプロバイダーのGitLabがVtexAIエクステンションズを活用してラグを活用する事例を紹介しています。マンハッタンアソシエイツは、倉庫業務でLLMに社内APIからリアルタイムの情報を渡し、人員配置などのプロセスを自動化する計画があります。一方GitLabは、セキュリティの改善に関するナレッジと自社のコードベースをLLMに渡して開発者による脆弱性解決をサポートする計画があります。
📈コードインタープリターによるデータ分析のカスタムアプリケーション構築
VtexAIエクステンションズのファーストパーティ拡張機能であるコードインタープリターを活用して、データアナリストがデータの分析や可視化を簡単に行えるアプリケーションを構築する方法を説明しています。コードインタープリターは自然言語のクエリとCSVファイルやデータベースとの接続をインプットとし、プログラムの実行結果やグラフの画像をアウトプットとします。拡張機能を経由することで、エンタープライズレベルのセキュリティやスケーラビリティを備えたデータへのアクセスが可能になります。最後に、CSVファイルを入力としたサンプルアプリのデモを紹介しています。
🏆VtexAIエクステンションズの今後の展望とまとめ
VtexAIエクステンションズは、開発者にエンタープライズレベルの高品質な拡張機能を構築するための包括的なツールセットと新たな開発者体験を提供します。作成、構築、評価、最適化の4つのステップで、拡張機能を統合したLLMアプリケーションを迅速かつ容易に構築することができます。引き続き正式リリースに向けて開発を進めており、ユーザーからのフィードバックを歓迎しています。トラステッドテストープログラムにも参加できるので、詳細は問い合わせてください。
Mindmap
Keywords
💡大規模言語モデル (LLM: Large Language Model)
💡拡張機能 (Extensions)
💡リトリーバブルオーテージェネレーション (ラグ: Retrieval Augmented Generation)
💡データアクセス
💡業務の自動化 (Workflow Automation)
💡API
💡セキュリティ・プライバシー
💡プロンプト (Prompts)
💡エンタープライズ環境
💡エコシステム (Ecosystem)
Highlights
LLMに抱える制約について整理したいと思います。
まず1つ目はLLMの利用するデータはあくまで過去のある時点で凍結されたデータという点です。
2つ目にトレーニングを終えた後、LLMは自社や外部のデータにアクセスできないという点です。
3つ目はLLMはそもそもリアルな世界と切り離されてるという点です。
そこでこれらの問題に対処できるのが一般的にプラグインとしても知られている拡張機能エクステンションです。
拡張機能はLLMとAPIとの間をつぐことでLLMとリアルな世界を効果的にに結びつけることができます。
VtexAIエクステンションズを中心とした拡張機能のエコシステムを形成することができます。
ステップは4つです。まずLLMにさせたいAPIを選択します。
次に拡張機能に必要なファイルを2つ作成します。1つはマニフェスト、もう1つはAPI仕様です。
その次にVtexAIの開発者ツールを使用して拡張機能のテスト・デバッグ・公開を行います。
最後にチャットボットや自動ワークフローといった皆様のアプリケーションに拡張機能をデプロイします。
VtexAIエクステンションズでは、GoogleCloudのAPIまたはクラウドコンソールから簡単に拡張機能を作成できます。
バテAIエクステンションズで実行できる拡張機能は3種類あります。1つ目は自社のAPIを使用して独自に作成した拡張機能です。
2つ目はGoogleが作成・提供するファーストパーティの拡張機能です。
3つ目はパートナーが開発・提供する拡張機能です。
Transcripts
[音楽]
皆さん
こんにちはGoogleCloud
NEXT東京えDay2最後のセッション
となりましたえ最後までどうぞよろしくお
願いします
え本セッションではllmを強化するバテ
AIエクステンションズの活用構築方法と
題しまして8月末のえ米国で開催された
GoogleoudNEXTで発表された
vtexAIエクステンションズについて
ご紹介いたしますえ本日11月16日時点
ではプライベートプレビューのステータス
となっておりますのでえ是非本セッション
を通してvtexAIエクステンションズ
の概要とえ導入する際のメリットについて
知っていただければ幸い
ですえ自己紹介ですGoogle
Cloudでカスタマーエンジニアをして
おります下城と申します
普段はデジタルネイティブのお客様を中心
にGoogleクラウのご提案と技術支援
に従事しており
ます早速ですが皆さん普段llm大規模
言語モデルを活用されてる方でこのような
回答結果が返ってきたことはないでしょう
か申し訳ありませんが私はAI言語モデル
であるためリアルタイムのデータはあり
ません私の知識はトレーニングを受けた日
までのものになります従ってその日以降に
発生したことに関する情報は提供できませ
ん実際このような回答はリアルタイムな
情報を尋ねた際にしばしば得られることが
あるかと思い
ますllm自体は非常に便利な
テクノロジーですがそこにはいくつかの
制約や限界があります
llmが抱える制約について整理したいと
思い
ますまず1つ目はllmの利用するデータ
はあくまで過去のある時点で凍結された
データという点
です最後にトレーニングを受けた日以降の
情報をllmは知りませ
んそれが原因で情報が古く不正格な回答に
つがってしまい
ます2つ目にトレーニングを終えた後
llmは自社や外部のデータにアクセス
できないという点
です大抵の基盤モデルは公開データを公開
データを用いてトレーニングされています
一方で多くの企業では大量に集めた車内
データこれをllmに利用させたいと考え
ておられるかと思いますが
llm単体では同時に外部のデータに接続
することが難しく社内データとのギャップ
が生じてしまい
ます3つ目はllmはそもそもリアルな
世界と切り離されてるという点
ですそのため単体ではAPIのような一般
的なインターフェイスを利用できず
ユーザーに変わって何かアクションを
起こすということができません
そこでこれらの問題に対処できるのが一般
的にプラグインとしても知られている拡張
機能エクステンション
です本セッションでは拡張機能という呼び
方で統一させていただき
ます拡張機能はllmとAPIとの間を
つぐことでllmとリアルな世界を効果的
にに結びつけることができ
ますいくつか例を見てみ
ましょう1つ目の例ではある企業の最新の
プレプレスリリースに問い合わせることで
リアルタイムの検索が開始され最新の
プレス記事を回答してい
ます2つ目の例ではある従業員が新製品に
必要な電子部品の購入でサポートを求めて
い
ますこの問い合わせによってサプライ
チェーンの拡張機能が取りがされリアル
タイムの在庫検索が始まりその部品の在庫
ウの確認及び価格が提示され購入の完了
までサポートされ
ます最後の例ではある従業員が福利構成の
申請記述を問い合わせてい
ますするとこの企業のプライベート拡張
機能によりLと社内のナレッジベースドが
接続され事実に基づいた回答を返してい
ますさらに拡張機能を活用した具体的な
アプリケーションの例を上げ
ます1つ目の従業員向けデジタル
アシスタントでは文書や
スプレッドシートプログラミングのコード
をllmに作成してもらうことができてい
ます2つ目の検索エンジンでは検索した人
のコンテキストに基づいてコードに
パーソナライズされた回答を返すことが
できてい
ます3つ目はワークフローを自動化する
アプリケーションを作成してい
ます自然言語で指示をすることでデータ
サイエンスやサイバーセキュリティなど
様々な分野をタスを自動で実行していく
ことができ
ます
このように拡張機能はllmの制約や限界
を解消するために非常に重要なものである
と考えておりますが現時点ではそれなりに
課題もあり
ますまず開発者にはエンタープライズ環境
で拡張機能を開発しテストしデプロイ
できるだけの効果的なツールがほとんど
ないのが現状
です拡張機能のデバクや評価といった
タスクのためのツールを自社で開発され
てる方々もいらっしゃるかもしれませんが
あくまで自社の特定の分野のユースケース
でえユースケースに特化しているため汎用
的なものではありませ
ん次に拡張機能を利用したモデルの回答に
は応にして正確差にかける書ける部分が
あるという点が挙げられ
ます例えばクエリに対してモデルが誤った
拡張機能を選択してしまったり間違った
フォーマットを提示してしまったりする
ことも考えられ
ますそれでは利便性がいいとは言えず拡張
機能をついで複雑なタスクを完了すること
が難しくなり
ます3つ目に拡張機能は機密性の高い
データやアクションにアクセスできるため
それが新たなリスクになるという点が挙げ
られ
ますそのため拡張機能にはセキュリティ
プライバシーコンプライアンスに対する
権能性とそれらを確実にコントロールして
いくことが求められ
ますそこで本日GoogleCloud
NEXTで発表されたエンタープライズ
レベルの拡張機能及び拡張機能を活用した
アプリケーションを構築するための
プラットフォームであるvtexAI
エクステンションズをご紹介いたし
ますllmをリアルタイムデータに
セキュアに接続しリアルな世界での
アクションを実行することができる
プラットフォーム
ですvteAIエクステンションズの特徴
をご紹介いたし
ますGoogleCloud上の拡張機能
はデータアクセスデータの所在値透明性
監査車内ポリシーに基づく
コンプライアンスを細かくコントロールし
てアな拡張機能を構築でき
ますvexAエクステンションズは
GoogleCloudネイティブ金星の
拡張機能となりますので基盤モデル自体も
拡張機能を用いたユスケース向けに最適化
チューニングされた最新のモデルを利用
することができ
ますさらに拡張機能に対して必要なデータ
を提供するビッグクエリーやvteai
サーといったGoogleの主要な
サービスと統合して必要な機能を網羅した
アプリケーションを構築することができ
ますこれに加えてバテAI
エクステンションズを中心とした拡張機能
のエコシステムを形成することができ
ますこのエコシステムには企業や従業員
開発者エンドユーザーとなる
プロフェッショナルや一般顧客も含まれ
ます
その上でこのエコシステムの中でユス
ケースを2つのカテゴリーに分類しまし
た1つはえ右側の図のえところなんです
けどもえ内部向けすなわち企業や組織内の
ユースケース
ですLMMと車内のデータ及びアクション
を組み合わせることで従業員の生産性向上
を図るもの
ですもう1つは図の
左側外部向けすなわち顧客接点のユース
ケース
です自社の製品やサービスを社外向けの
AIサーフェスに広げてユーザー体験の
向上を図るもの
ですここからは拡張機能の作成方法をえ見
ていきましょうえステップは4つ
ですまずllmにさせたいAPIを選択し
ます新しくAPIを作成する場合は
GoogleCloudのAPI管理
サービスであるapgの活用もご検討
ください次に拡張機能に必要なファイルを
2つ作成し
ます1つは拡張機能の名前や説明認証方式
など拡張機能のメタデータを定義する
マニフェスト
ですこちらは拡張機能や拡張機能内の
APIメソッドをいつどのような場面で
使用するのかAPIリクエストの
フォーマット例えばパラメーターなどを
どのようにするのかそれからユーザーへの
レスポンスをどのようにするのかそういっ
たことを自然言語で説明したものを
JSON形式で保存し
ますもう1つはllmが利用できるAPI
のメソッドを義するapi仕様
ですこちらはオプAPIスペックに準拠し
たやル形式で定義していただき
ますその次にvtexAIの開発者ツール
を使用して拡張機能のテストデバ公開を
行い
ます最後にえチャットボットや自動
ワークフローといった皆様の
アプリケーションに拡張機能をデプロイし
ます
実際にステップバイステップで解説して
いき
ますvtexAIエクステンションズでは
GoogleCloudのAPIまたはえ
クラウドコンソールから簡単に拡張機能を
作成でき
ますAPIスペックはオープンソースで
あるAPOpenAPIの使用に準拠した
ものとなっておりますのでえChat
GPTのプラグも互換性があり
ますそのためすでにチャットGPTの
プラグイン向けにAPI定義があればその
まま活用していただくことができ
ますバテエアエクステンションズでは
先ほどお伝えした拡張機能の作成だけでは
なく拡張機能の参照や活用も簡単に行え
ますバークスエクステンションズで実行
できる拡張機能は3種類あり
ます1つ目は自社のAPIを使用して独自
に作成した確証機能
です2つ目はGoogleが作成提供する
ファーストパーティーの拡張機能
ですビッグクエリーやバテAIサーチと
いった広く使用されているGoogle
Cloudのサービス向けに拡張機能が
提供されています
ここに記載されているコード
インタープリターについては後ほど解説
いたし
ます3つ目はパートナーが開発提供する
拡張機能
です例えばデータスタックスやモンゴ
MONODBといったデータストアに保存
されたデータの検索が可能になり
ますまたラングチェーンとの互換性があり
ますのでラングチェーン上のコードを簡単
にバテAIエクステンションズにデプロイ
することができ
ますなおvtexAIエクステンションズ
ではこうした拡張機能を探し見つけテスト
することができるギャラリーというものも
提供いたしますのでこちらを活用すること
で開発者の方々の時間短短縮にえつなげて
いただくことができ
ます拡張機能を独自に作成または
Googleやパートナーの提供する拡張
機能を選択していただけたら次はその拡張
機能とllmを関連付けて使えるようにし
ますvtexAIエクステンションズの
ランタイムではいわゆるエージェントと
呼ばれる気候が作成されllm側でどの
拡張機能をいつ呼び出すのかまた呼び出す
必要があるのかどうかをリーズにと呼ば
れる水論プロセスとして実行し
ますvteAIエクステンションズでは2
つのタイプのアプリケーションランタイム
が選択でき
ます1つ目はGoogleが管理する
プラットフォーム上でリーズニングを行う
アプリケーションランタイム
ですこれにより正しい拡張機能が選択さ
れるようになりアウトプット形式も制御
でき
ますもう1つはラングチェーンなど
オープンソースのフレームワークを活用し
たカスタマイズ可能なアプリケーション
ランタイム
です具体的にはラングチェーンの
エージェンツチェーンなどを利用した
カスタムコードをバーッAI
エクステンションエクステンションに対し
てデプロイしてより柔軟なリーズニング
及びワークフローを構成していただくこと
ができ
ますこれら2つのタイプがあることで
カスタマイズ性やコントロールのレベルを
柔軟に選択しつつバテAI
エクステンションズによる一貫した管理を
行うことができ
ます続いて評価の方法を解説し
ます機械学習に詳しい方ならよくご存知か
と思いますがAIプロジェクトにおいて
単にモデルを動かすということは全体の
道のりのほの一部にすぎません
本番環境レベルでアプリケーションを構築
するために重要なのはパフォーマンス評価
ですそのためにはデータセットを作成し
詳細な評価を行うためのツールを確保する
ことがえ極めて重要になり
ますvtexAIエクステンションズなら
ご自身で用意したプロンプトのサンプルが
あればそれらを活用してすぐにテスト用の
データセットを作成でき
ます
これらのデータセットがあればテストを
実施してシステムのどこで問題が発生する
かを把握しさらにプロンプトのサンプルを
集約してより精度の高い拡張機能を構築
することができ
ますこれらのツールは拡張機能を活用して
アプリケーションがどのように機能するか
を理解しやすくなるように設計されており
ます最後に最適化です
バテAエクステンションズで提供される
プロンプトツールを利用して拡張機能の
マニフェスト及びAPI使用のテストと
最適化が可能
です問題になりそうな部分を特定できれば
エージェントの設定や最適化などの措置を
講じることができ
ますまた様々な基盤モデルを拡張機能で
テストして最適な組み合わせを見つける
ことができでき
ますこれらのツールは拡張機能を活用した
llmアプリケーションを本番環境に導入
する上で制度の向上に役立てていただく
ことができ
ますそこでここからは実際にバテA
エクステンションズを皆様のビジネスや
業務にどのように活用できるのかその
分かりやすい例を見ていきたいと思い
ますここでは図の左側のリトリーバルオテ
ジェネレーション通称ラグと呼ばれている
手法を用いたユースケースと図の右側の
データ分析用のカスタムアプリケーション
の例を取り上げ
ますラグというのは端的に言うと外部
ソースのデータを使用してllmで正しい
回答をえ生成するアーキテクチャーのこと
をい
ますこの点において拡張機能は非常に有効
に機能士特に自社のデータと組み合わせ
組み合わせたい時にはえ大変有益
です例えば氷企業が顧客の情報を活用して
ターゲット型の広告キャンペーンをえ実施
したい場合やセキュリティ企業がえ強意の
え脅威をモニタリングしたり分類したい
場合も拡張機能を使用することでより正確
で個々の状況に合わせた回答の生成が可能
になり
ます一方バテエクステンションズを使用
するとコードインタープリターという拡張
機能を使用してデータ分析のための
カスタムアプリケーションを容易に構築
することができ
ますコードインタープリターは自然言語の
りを与えるとそのタスクを実行するための
Pythonコードを自動的に生成し実行
し
ますそのためコードをご自身で全く記述し
なくてもデータの分析や可視化がになり
ますここでバテAエクステンションズを
利用したラグのサンプルアプリケーション
のデモをお見せしますこのデモでは
クラウドLAN上で動くフロントエンド
アプリケーション経由でバテA
エクステンションズに2つのプロンプトを
送信し
ます1つ目は一般的な質問をしてllm
単体で回答を返すものです
もう1つは現在時刻について質問し現在
時刻を取得する別のクラウドラ上で動く
APIバックエンドにリクエストをし取得
した現在時刻を元に回答を生成するもの
ですどのような入力があったら拡張この
拡張機能を選択し2のAPIメソッド
呼び出すのかを事前にバテAI
エクステンションズのマニフェストに定義
しておくことでバテAI
エクステンションズ側で張機能を呼び出す
かどうかのリーズニングと呼ばれる水論
処理を行い必要なAPIを呼び出し
ますおそらく皆さんも想像されると思い
ますがllm単体ではリアルタイムな現在
時刻を返すということがえ難しくえ拡張
機能を用いてリアルタイムな情報に基づい
て回答を返せるかというのをご確認
いただけるためのシンプルなデモとなって
おりますえデモお願いします
えまず始めにえ一般的なえプロンプトです
ねこちらではえっとごめんなさいバテAI
とはというえプロンプトを入力しています
でこれはLMがえ回答を返しています2つ
目にえ日本は今何時というプロンプトを
送信していますそうすると裏側では
リーズニングの処理が行われえ現在時刻を
取得するapiからえ現在時刻正確な現在
時刻を返すことができました
まご覧いただいた通り拡張機能を活用する
ことでえ外部のAPIからリアルタイムな
データを取得回答できるようになりました
今回の例では1つの拡張機能及びAPIと
接続していましたがえvtexAI
エクステンションズでは複数の拡張機能を
同時に接続しプロンプトによって最適な
拡張機能を選択させるといったことも可能
ですえ続いてここからはえラグのユス
ケースを採用したお客様事例もごしたいと
思いますえフォーミュラEの次世代
レーシング電気自動車genenベタと
いうレーシング化があるんですけどもえ7
月末に屋内でのえ自動車速度ギネス世界
記録を自立しまし
たこの記録立にあたってGoogle
Cloudの生成AIとラグの
アーキテクチャーを採用してドライバー
向けに自然言語で会話できるチャット
ボットを開発しまし
たえこれはえレーシングカーに搭載された
多数のセンサーで走行に関する膨大な
リアルタイムなえテレメトリーデータを
取り込みえそこからスピードパワー
グリップがどのような状態であったのかと
いったことを自然言語でやり取りできる
ものでし
たえこれによりドライバーはえ自分が必要
としてるデータにリアルタイムにアクセス
できドライバーがアプローチを調整するに
非常にえ有益なものとなりまし
たこのチャットボットは例えば最終の
レフトコーナーでの脱出速度とその際のG
はどのくらいだったのかといった質問や
最高速度が出た時のバッテリー容量はどの
くらいだったのかそういった走行時の質問
に対して実際のデータに基づくえ解答を
テキストで返すというものでし
たえドライバー向けのチャットボットに
加えてフォーミュラEのファン向けにも
フォーミュラEや歴代の
チャンピオンシップとレースの結果え
レーシングカーに関するえ一般的な質問
などにも回答するようなえファンボッも
合わせて開発しえインタラクティブな新た
なファン体験を喪失することができまし
た実際のアーキテクチャーを見てみ
ましょうまずインターフェイスとしては
ドライバー向けファン向けの2つの
チャットボットが提供されてい
ます1つ目のドライバー向けのボットは
ビッグクエリー上に蓄積された
テレメトリーデータに基づいてレーサーが
自然言語で必要な情報を質問できるボット
ですもう1つはバテAIサーチに
フォーミュラEの様々な情報を読み込ませ
てえファンが会話できるボット
ですえバージョンこのアーキテクチャーは
バージョン1という風に位置付けられて
おりましてGoogleCloudの様々
なコンポーネントとラングチェーンを使っ
て構成されており
ますこの段階ではラングチェーンを実行
するためのgkeクラスタの
デプロイメントと検索の制度を確保する
ための複雑なプロンプトの管理がえ最大の
課題となっておりまし
たそこで現在採用されているバテA
エクステンションズを活用したバージョン
2のアテに移行を行いまし
たラングチェーンコードとllmの構成
情報をえ簡単にバテAI
エクステンションズにデプデプロイする
ようにいたしましたえこれにより
アーキテクチャーを略化でき
デプロイメントの時間も大幅に削減する
ことができまし
たフォーミュラEでは次のシーズンに向け
てさらなるアーキテクチャーの改善を計画
しています
このバージョン3のシステムを構築すべく
各コンポーネントをまとめて
エンタープライズレベルのセキュリティ
プライバシートレーサビリティが備わった
バテAエクステンションズに集約し
レーサーとファファンの両方に共通した
体験を作ろうとしてい
ますラングチェーンコードで管理していた
リーズニングのプロセスもバテA
エクステンションズのランタイムに移行し
一貫性を高めるを目指してい
ますえラグを利用したその他のユース
ケースもご紹介いたし
ますマンハッタンやギットラボのような
企業ではバテAIを活用して自社独自の
ワークフローを構築しようとしてい
ますサプライチェーンソリューションを
提供するマンハッタンアソシエイツは拡張
機能を倉庫業務に活用しようとしてい
ますは生成AIによりサプライチェーンの
マネージャーやえ担当者にこれまでにない
有益なインサイトを自動で提供できると
いう風に考えており
ますしかしそのためには車内のAPIを
取り込み業務に支障をきたすことなく大
規模にデータをllmに渡す必要があり
ますそこで同社ではバテA
エクステンションズを活用して人員の稼働
率や業務の空状況期限に関するリアル
タイムの情報に基づいて人員をバランス
よく割り当てサプライチェーンプロセスを
自動化していこうと考えてい
ます一方GラボはバテA
エクステンションズを活用して開発者に
よる脆弱性解決をサポートしようとしてい
ますそのために同社ではセキュリティの
改善に関するナレッジとユーザー固有のえ
コードベースにllmがアクセスできる
ように証機能を活用することを考えてい
ますここまでえラグのユースケースをご
紹介してきましたが拡張機能を活用した
もう1つのユースケースについてもご紹介
いたし
ます多くの企業では長年をかけて収集して
きた大量のデータがありますがそれらを
活用するには多くの場合データサイエンス
や機械機械学習の専門的なエンジニアの力
が必要です
それは図の左側のようにデータの利用には
複雑なプロセスが必要だから
ですパテックAIエクステンションズを
活用すると業界問わずデータとやり取り
するコードの書き方を知らなくても例えば
えこの半年間の全車両の平均燃費はどの
くらいだったのかあるいは農業の分野では
今年小麦畑に使った肥料の組み合わせは
どのようなものがあったのかまた氷の分野
ではこの1年間で特定の場所で特定の商品
がどれぐらい売れたの
かこういった自然言語での問いに答え
られる環境を作ることができるようになり
ますこれらが実現できるとデータの分析
データの理解や分析可視化を一進すること
ができ
ます具体的にその方法を見ていき
ましょうバテAエション上で提供され
ファーストパーティの拡張機能である
コードインタープリターを活用することで
例えばチャットインターフェイスIDその
他あらゆるインターフェイスを通して
データアナリストに対して自然言語で
データの分析や可視化を簡単に行う
アプリケーションを構築提供することが
でき
ますコードインタープリターはインプット
として自然言語のクエリに加えてCSV
ファイルなどバイナリデータを
アップロードしたりビッグクエリーなどご
自身のデータベースと接続したりすること
ができ
ますアウトプットにはプログラムの実行
結果やグラフの画像などを出力することが
でき
ますコードインタープリターを拡張機能
経由で使用することでエンタープライズ
レベルのセキュリティプライバシースケラ
スケーラビリティを備えたえ基盤から安全
にデータにアクセスでき
ますそれではコードインタープリターを
使ったシンプルなチャット
インターフェイスを提供するサンプル
アプリの例を見てみ
ましょう今回はCSV形式のファイルを
アップロードしていきますデータセットと
してはえ3バチを飼育する用法があります
よね用法の8のスバから実際に得られた
データを使用し
ますまずデータに関するプロンプトを入れ
たいのですがここではえCSVファイルに
どのようなヘッダー名があるかを尋ねてい
ますするとご覧の通りえファイルの
ヘッター名を理解するコードが正しく生成
されヘッター名が表示されまし
た次にスバの重さの推移を明らかにしたい
と思いスコの重さがどのように変化して
いくかを教えてというプロンプトを入力し
てみ
ますするとご覧の通り自然な言語での
問い合わせからコードインタープリターに
よりコードが生成されこの図のように可視
化されまし
たこの裏側ではコードインタープリターに
よりCSVデータを解析し可視化するため
のPythonのコードを自動で生成実行
し実行結果と共に生成したコドをAPIの
レスポンスとして返すそのような動きに
なっております
しかしえこのグラフにはえご覧の通り外れ
地がありまだあまりえ有益とは言えません
そこでこのハズれ地を除外してもらうため
にえここにはハズれ値があるけどもえ除外
してもらえますかと言ったプロンプトを
入力し
ますするとこのように外れ値が除外されて
グラフが分かりやすくなりまし
たえこの裏側で成されたPython
コードではこのデータの平均と標準偏差
からえ上限と加減というものを設定する
計算式を自動的に生成しその範囲内で
データをフィルタリングするコードが追加
されてい
ますえまとめですバテA
エクステンションズは包括的なツール
セットを提供しエンタープライズレベル高
品質な拡張機能を構築する新たな開発者
体験を提供しますえ具体的には作成構築
評価最適化といった4ステップで拡張機能
を統合したllmアプリケーションを迅速
かつえ容易に構築することができますえ
引き続き正式ローン地に向けて開発を進め
ておりますのでえもうしばらくステイ
チューンドでお願いしますまたえ皆様から
このようなユースケースで使えないかなど
といった様フィードバックやえコメント
そういったものもどしいただけると嬉しい
ですえトラステッドテストープログラムも
え提供してますのでえよろしければご登録
くださいはいえこの後アクザスピーカーの
ブースにも立っておりますので何か聞き
たいことがありましたらこちらにお越し
くださいえ少し早いですが以上となります
ご清聴ありがとうございまし
た
[音楽]
JA
関連動画をさらに表示
Build your own copilot! New Microsoft Copilot extensions
Dify AI: Create LLM Apps In SECONDS with NO Code FOR FREE! Flowise 2.0?
[番外編 #02] ペルソナ、ちゃんと使えてる?番外解説編(前編)
Building for Accessibility with Azure
【Buddycom+生成AI】経験0日で売り場に立てる/業務マニュアルを丸暗記/質問相手を生成AIに/知識を共通財産化せよ【ソフトバンク】
【次元上昇】潜在意識でスルスル願いが叶う魔法の言葉【登録者10万人記念】
5.0 / 5 (0 votes)