RAG at scale: production-ready GenAI apps with Azure AI Search | BRK108

Summary

このセッションではAzure Cognitive Searchを活用した大規模なRAG（Retrieval-Augmented Generation）アプリケーションの構築について紹介します。RAGパターンの基本的なリキャップから、実際の運用および使用拡大に伴う様々な圧力ポイントに焦点を当て、顧客成功事例を紹介します。特に、Azure Cognitive Searchがどのようにしてスケーラブルな検索システムを提供し、多様なデータソースを統合し、エンタープライズグレードの基盤を提供しているかについて解説します。また、新しい機能強化、圧縮技術、マルチメディア検索、および高品質な検索結果の実現方法も詳述しています。

Takeaways

• 📈 Azure I Searchのスケーラビリティ：ストレージ容量とベクターの密度を大幅に向上させており、コストを変えずに12倍のベクター密度を実現しています。
• 🔍 高パフォーマンスの検索システム：Azure I Searchは、エンタープライズレベルの準備ができており、暗号化からネットワークセキュリティまでを備えています。
• 🚀 RAGパターンのスケール：Azure I Searchは、RAG（Retrieval-Augmented Generation）パターンを活用して、言語モデルと知識ベースを効果的に結合する検索システムです。
• 📚 顧客事例：KPMGやAT&Tなどの企業がAzure I Searchを活用し、大規模なRAGアプリケーションを展開しています。
• 🔧 応答生成の質：検索システムの質が重要で、多くの候補の中から正しい情報を選び出すことが必要とされます。
• 🔑 ハイブリッド検索：ベクター検索とキーワード検索を組み合わせることで、柔軟性と正確さを高めます。
• 🌐 マルチメディア対応：テキストだけでなく、画像も検索可能です。マルチメディアのベクター化をサポートし、画像からの検索も提供しています。
• 🌟 セマンティックランキング：Transformerベースのクロスエンコーダモデルを使用し、検索結果をより適切にランキング付けします。
• 📚 データソースの多様性：Azure I Searchは、One Lakeなどのデータソースと統合し、さまざまなデータタイプに対応しています。
• 🛠️ 評価と改善：検索システムの評価プロセスが重要で、継続的な改善が必要です。

Q & A

RAGモデルとは何ですか？

RAGモデルとは、Retrieval-Augmented Generationモデルの略称で、言語モデルと知識ベースを組み合わせた手法です。言語モデルは推理エンジンとして機能し、知識ベースはモデルが知るべき効果的な情報を提供します。

Azure Cognitive Searchとはどのようなサービスですか？

Azure Cognitive Searchは、Azureプラットフォームの検索システムであり、ベクターデータベースとシームレスなAzureプラットフォームとの統合を提供します。これはエンタープライズレベルの準備ができており、暗号化からネットワークセキュリティまで広範な認定を備えています。

RAGパターンをスケールさせる際の課題とは何ですか？

スケールさせる際にはデータの量と多様性の増加、より複雑な質問への対応、ワークフローの洗練化、より多くの利用者からのアクセスなど、さまざまな圧力ポイントに直面します。

Azure Cognitive Searchでのベクターデータベースのスケーラビリティはどのように向上させられましたか？

Azure Cognitive Searchでは、ベクターおよび総ストレージ容量の上限を大幅に増やし、料金を変更することなく、サービスのベクター密度を最大12倍に向上させました。

マルチメディアコンテンツの検索はAzure Cognitive Searchでどのように実現されますか？

Azure Cognitive Searchでは、マルチメディアコンテンツの検索をサポートしており、テキストや画像、またはその両方をデータソースに含んでいる場合にも対応できます。画像に対しても検索クエリを発行でき、ベクター化された結果を取得できます。

Azure Cognitive Searchでのデータソースへのアクセスはどのように行われますか？

Azure Cognitive Searchでは、BLOBストレージ、SQL DB、Cosmos DBなどからのデータソースへのアクセスをサポートしており、最新ではAzure Data Lakeやそのショートカットを介して他のデータレポジトリからも直接インデックスを作成できます。

RAGモデルを効果的に使用するためにはどのような要素が必要ですか？

RAGモデルを効果的に使用するためには、適切なプロンプトエンジニアリング、必要であればモデルのファインチューニング、そしてモデルが学習する新しい事実や情報を提供する知識ベースの準備が必要です。

Azure Cognitive Searchにおけるハイブリッド検索とは何ですか？

ハイブリッド検索は、ベクター検索とキーワード検索を組み合わせた手法で、柔軟性のある類似性検索と、製品名やSKU番号などの具体的な要素の検索の両方の利点を兼ね備えています。

Azure Cognitive Searchでの検索結果の品質をどのように向上させますか？

検索結果の品質を向上させるために、Azure Cognitive Searchではセマンティックランキングを使用し、トランスフォーマーベースのクロスエンコーダモデルをトレーニングして、最適な回答候補をより正確にランク付けします。

スケールされたRAGアプリケーションの例として挙げられた企業はどこですか？

スケールされたRAGアプリケーションの例として、KPMGとAT&Tが挙げられています。KPMGはアドバイザリコンテンツチャットアプリケーションを構築し、AT&Tは大規模なプラットフォームを開発し、毎日80,000以上のユーザーがアプリケーションを使用しています。