LLM を強化する「Vertex AI Extensions」の活用・構築方法

Google Cloud Japan

28 Jan 202434:00

Summary

TLDRこのスピーチは、拡張機能をLLMと組み合わせて活用することで、リアルタイムデータにアクセスし、リアルな世界でのアクションを実行できるようになることを紹介しています。最新のGoogle Cloud製品であるVertex AI Extensionsについて解説し、企業内外に向けたユースケースや、開発者向けツールなども紹介しています。従業員の生産性向上や顧客体験の向上など、拡張機能ならではのメリットを具体的な事例を交えながら分かりやすく説明しています。

Takeaways

🤝 LLMsは生成された過去のデータに基づいており、リアルタイムの情報にアクセスできないという制約がある。
🔎 拡張機能は外部のデータやAPIに接続し、LLMsをリアルワールドに結びつける役割を果たす。
💻 VtexAI Extensionsは、Googleクラウドネイティブの拡張機能プラットフォームで、データへのアクセス、コンプライアンス、セキュリティなどを管理できる。
🔗 VtexAIでは、Googleや他社が提供する拡張機能を簡単に検索、テスト、デプロイできるギャラリーが用意されている。
🧠 リーズニングと呼ばれる推論処理によって、適切な拡張機能が選択され、リアルタイムのデータにアクセスできる。
🔍 VtexAIは、プロンプトツールを使って拡張機能の評価と最適化を行うことができる。
🤖 VtexAIのコードインタープリターは、自然言語のクエリから直接データを分析・可視化するための Pythonコードを自動生成できる。
📈 拡張機能の活用例として、リトリーバルとジェネレーション (ReAct)による個別化された応答、及びコード生成によるデータ分析アプリケーションの構築が紹介された。
🚗 フォーミュラEのテレメトリーデータを活用したドライバー/ファン向けチャットボットや、サプライチェーンの最適化など、具体的な企業事例が示された。
🔐 VtexAIは企業向けのエンタープライズレベルのセキュリティ、プライバシー、スケーラビリティなども提供する。

Q & A

バテAIエクステンションズとは何ですか?
-バテAIエクステンションズは、大規模言語モデル(LLM)をリアルタイムデータに安全に接続し、リアルな世界でのアクションを実行できるようにするGoogleCloudのプラットフォームです。
バテAIエクステンションズの主な特徴は何ですか?
-GoogleCloudネイティブな拡張機能で、企業内のデータにアクセスしながらも、データアクセス、プライバシー、コンプライアンスを細かくコントロールできる。また、最新の基盤モデルを利用でき、必要なAPIサービスと統合して機能を網羅したアプリケーションを構築できる。
バテAIエクステンションズで利用できる拡張機能には何がありますか?
-バテAIエクステンションズで利用できる拡張機能には3種類ある。1つ目は自社が独自に作成した拡張機能、2つ目はGoogleが提供するファーストパーティの拡張機能、3つ目はパートナーが開発提供する拡張機能です。
拡張機能を作成する手順は何ですか?
-ステップは4つです。1)LLMにさせたいAPIを選択する。2)拡張機能のマニフェストとAPI仕様の2つのファイルを作成する。3)バテAIの開発者ツールを使用してテストと公開を行う。4)アプリケーションに拡張機能をデプロイする。
バテAIエクステンションズではどのようなユースケースが可能ですか?
-主にラグ(Retrieval-Augmented Generation)のユースケースと、データ分析用のカスタムアプリケーションが可能です。ラグではリアルタイムのデータと組み合わせてターゲティングや監視などを行え、データ分析ではコードインタープリターを使ってデータの可視化などを自然言語で行えます。
フォーミュラEはバテAIエクステンションズをどのように活用しましたか?
-フォーミュラEではドライバー向けとファン向けの2つのチャットボットを開発し、テレメトリーデータやレース情報にリアルタイムにアクセスできるようにしました。バージョン2ではラングチェーンからバテAIエクステンションズに移行し、アーキテクチャを簡素化し効率化しました。
バテAIエクステンションズはデータ分析にどのように活用できますか?
-ファーストパーティの拡張機能であるコードインタープリターを使うと、自然言語で簡単にデータの分析や可視化を行うアプリケーションを構築できます。CSVなどのデータをアップロードし、自然言語のクエリからPythonコードを自動生成・実行できます。
バテAIエクステンションズの開発状況と今後はどうなっていきますか?
-現在はプライベートプレビューのステータスで、引き続き正式リリースに向けて開発を進めています。より多くのユースケースやフィードバックを得て、機能強化を重ねていく予定です。
拡張機能を評価するツールはありますか?
-はい。バテAIエクステンションズではプロンプトのサンプルを使ってテスト用データセットを作成し、テストを行えるツールがあります。これにより拡張機能の問題点を特定したり、プロンプトを改善して精度を高められます。
バテAIエクステンションズの課題はありますか?
-現時点では、開発者向けの効果的なツールが不足している点や、モデルの回答に正確性に欠ける部分がある点、機密データへのアクセスによるセキュリティリスクなどの課題があります。