Retrieval Augmented Generation for Navigating Large Enterprise Documents

Summary

Dans cette session de la communauté Google Cloud, l'équipe d'Italia de Generali partage son expérience dans le développement et le déploiement d'une application basée sur les modèles de langage larges (LLM) pour naviguer dans des documents d'entreprise complexes. L'objectif était de simplifier le processus de recherche d'informations en utilisant les avancées de l'IA. Après avoir identifié les défis liés à la croissance continue des données textuelles, ils ont créé un ensemble de documents pertinents et utilisé des modèles de langage pour générer des questions et des réponses synthétiques. Ils ont mené des expériences pour affiner la recherche lexicale et les stratégies de classement, menant à la mise en production de l'application avec des améliorations significatives en matière de rappel et d'exactitude des réponses. L'équipe discute également des métriques clés utilisées pour évaluer les performances et des prochaines étapes pour améliorer l'application.

Takeaways

• 😀 L'équipe d'Italia de Generali a développé une application basée sur l'IA générative (RAG) pour faciliter la navigation dans les documents d'entreprise complexes.
• 🔍 L'application a été conçue pour répondre aux défis de la croissance continue des données textuelles, du temps nécessaire pour extraire des informations et de l'accès à l'information à partir de multiples sources de données.
• 📚 Generali gère plus de 400 documents et plus de 5 000 pages, ce qui représente plus de 100 heures de lecture pour les parcourir entièrement.
• 🛠️ Ils ont utilisé l'apprentissage in-context pour réduire les 'hallucinations' des modèles de langage et améliorer la précision des réponses de l'IA.
• 📈 Ils ont d'abord expérimenté avec des paramètres par défaut et créé un ensemble de données synthétique pour évaluer les performances de leur modèle.
• 📝 L'importance de l'évaluation a été soulignée, avec l'utilisation de métriques telles que le rappel, la précision moyenne, le ROUGE et le BIR pour mesurer la qualité des réponses.
• 🔧 Ils ont ajusté les paramètres tels que la taille des morceaux de texte, la température du modèle et la longueur des morceaux pour améliorer les performances de l'application.
• 🔑 La création d'un schéma de découpe de document personnalisé a permis d'améliorer la rétroaction et la précision des questions-réponses.
• 📈 L'ajout de morceaux personnalisés pour les acronymes et les définitions a aidé à répondre aux questions des utilisateurs sur ces éléments spécifiques.
• 🌐 L'utilisation de la plateforme Vertex AI de Google Cloud a permis une expérimentation à grande échelle et a assuré la reproductibilité des expériences.
• 🔄 L'application utilise une interface utilisateur pour poser des questions et fournir des réponses en se basant sur les documents internes de Generali, en montrant également la source de chaque réponse.

Q & A

Quel est l'objectif principal de cette session de la communauté Google Cloud?

L'objectif principal est de partager l'expérience de l'équipe Generali Italia dans le développement et le déploiement d'une application basée sur RAG pour naviguer dans des documents d'entreprise complexes.

Qui est Ivan Nardini et quel rôle a-t-il joué dans ce projet?

Ivan Nardini est un ingénieur client chez Google Cloud. Il a soutenu Generali dans la mise en œuvre de cette application d'IA générative.

Quels sont les trois principaux défis auxquels Generali est confronté en matière de gestion des documents?

Les trois principaux défis sont la croissance continue des données textuelles, le temps nécessaire pour extraire des informations et l'accès à l'information provenant de diverses sources de données.

Qu'est-ce que l'apprentissage en contexte et comment aide-t-il à réduire les hallucinations dans les modèles de langage?

L'apprentissage en contexte consiste à fournir au modèle de langage de grandes quantités d'informations contextuelles pertinentes afin qu'il puisse répondre correctement aux questions en se basant sur ces informations, réduisant ainsi les réponses incorrectes ou hallucinations.

Comment Generali a-t-il créé une base de données vectorielle pour améliorer la récupération d'informations?

Generali a divisé les documents en paragraphes ou segments, a passé ces segments à un modèle d'embeddings pour générer des vecteurs, puis a stocké ces vecteurs dans une base de données vectorielle pour faciliter la récupération d'informations similaires.

Quels outils et plateformes Generali a-t-il utilisés pour mener ses expériences et stocker les données?

Generali a utilisé la plateforme Vertex AI de Google pour les expérimentations, le modèle Palm pour le traitement du langage naturel, la bibliothèque LangChain pour le traitement des documents PDF et la base de données vectorielle Quadrant pour stocker les embeddings.

Quels types de métriques Generali a-t-il utilisés pour évaluer la qualité des réponses générées?

Generali a utilisé des métriques telles que le rang réciproque moyen, la précision moyenne, le rappel à un certain niveau de K, le score Rouge pour la traduction de machine et le score BERT pour comparer les embeddings de phrases.

Quelle approche Generali a-t-il adoptée pour gérer les acronymes et les définitions spécifiques aux assurances dans les documents?

Generali a ajouté manuellement des segments expliquant les acronymes et les définitions d'assurance dans la base de données vectorielle pour que le chatbot puisse répondre aux questions relatives à ces termes.

Comment Generali a-t-il adapté son processus de récupération d'informations pour améliorer la précision des réponses?

Generali a combiné des techniques d'embeddings avec des méthodes de recherche classiques comme BM25 et a introduit une couche de réorganisation pour trier les informations les plus précises au sommet des documents récupérés.

Quelles sont les prochaines étapes prévues par Generali pour améliorer leur application RAG?

Generali prévoit d'essayer de nouveaux modèles de base comme Gemini Pro, de comparer différentes versions de modèles avec Vertex AI et d'intégrer la recherche vectorielle de Vertex pour optimiser davantage le processus de récupération d'informations.