Doctolib : Déployer une Stratégie IA Générative 🚀🤖 (#127)

Summary

In this engaging podcast episode, Nassim, Senior Director of Data and AI at Doctolib, discusses the challenges and strategies involved in implementing generative AI within the healthcare industry. The focus is on the transformative potential of AI tools like ChatGPT in medical settings, from easing administrative burdens for practitioners to enhancing patient care through advanced documentation and medical record handling. The episode also covers the technical aspects of integrating AI technologies into existing systems, the rapid evolution of AI capabilities, and Doctolib’s proactive approach in leveraging AI to revolutionize healthcare services.

Takeaways

• 🚀 Nassim, Senior Director of Data and AI at Doctolib, discusses deploying generative AI strategies, highlighting recent developments due to the influence of technologies like ChatGPT.
• 👥 Doctolib's medical assistant tool is a collection of use cases designed to streamline operations for medical practitioners by leveraging generative AI for tasks like note-taking during consultations.
• 💻 The team includes founding members and the CEO, demonstrating significant leadership involvement and a direct impact on the project's advancement.
• 📈 Rapid advancements in AI technology pose challenges as the 'truth of today' may quickly become outdated, necessitating a highly adaptable and flexible approach to project management and implementation.
• 🔧 The introduction of an internal tool named 'Docto GPT' allows Doctolib staff to access LLM securely, fostering familiarity with the tech and encouraging innovative uses within the company.
• 🌐 The Working Group formed to explore AI applications at Doctolib includes a diverse mix of roles—from engineering to legal—ensuring comprehensive coverage of ethical, technical, and practical aspects.
• 📊 Real-world applications of the AI tool at Doctolib include creating more efficient documentation workflows and potentially enhancing diagnostic processes, illustrating the practical benefits of AI in healthcare.
• 🔍 Challenges in implementing AI involve managing costs, optimizing GPU usage for model training and inference, and integrating new AI technologies with existing data infrastructure.
• 👨‍⚕️ The medical assistant AI focuses on reducing administrative burdens, allowing practitioners to spend more time on patient care and improving the overall quality of medical documentation.
• 🔄 Nassim emphasizes the importance of continuous learning and adapting within AI projects to keep pace with rapidly evolving technologies and to maximize their potential impact.

Q & A

What is the main focus of the medical assistant project at Doctolib?

The medical assistant project at Doctolib is focused on creating a collection of use cases that facilitate the work of medical practitioners. It aims to generate consultation notes from the interaction between the doctor and the patient, thereby reducing administrative tasks and allowing doctors to focus more on patient care.

How does Doctolib's CEO contribute to the AI strategy?

The CEO of Doctolib is very directly involved in the AI strategy, showing a high level of commitment and regular engagement with the project. He has spent time understanding the intricacies of neural networks and deep learning models, demonstrating a personal enthusiasm that aligns with the company's strategic direction.

What is the role of the Working Group in the development of AI at Doctolib?

The Working Group at Doctolib was created to understand the use of Large Language Models (LLMs) within their tech stack. It aimed to identify potential use cases for LLMs within the company and has evolved to prioritize use cases that have a significant impact on users while considering the associated risks, especially in the medical field.

How does Doctolib ensure the secure and effective use of LLMs by its employees?

Doctolib developed an internal tool called Doctolib GPT, which is based on foundational models and allows any Doctolib employee to securely access an LLM. It enables users to choose different types of LLMs for various use cases and to perform prompt engineering in a user-friendly manner.

What are some of the use cases that have emerged from the AI strategy at Doctolib?

Some of the use cases include generating consultation notes from medical appointments, creating referral letters to specialists, and leveraging LLMs to improve the documentation process for doctors, which can enhance the quality of patient care and free up time for doctors.

How does Nassim, the Senior Director of Data and AI at Doctolib, perceive the challenges in deploying a generative AI strategy?

Nassim sees the rapid pace of change as a significant challenge, noting that the 'truth' of today can be invalidated weeks later. This requires a highly flexible and agile approach to stay adaptable and iterate quickly based on new insights and developments in the field of AI.

What is Nassim's background prior to joining Doctolib?

Nassim worked for 15 years in the travel industry, with about half of his career in software engineering and the other half in data-related fields, including data science, analytics, data engineering, and traditional BI. He managed the reservation engine for a part of Expedia and later transitioned into the world of data.

How has the COVID-19 pandemic impacted Nassim's previous work in the travel industry?

The COVID-19 pandemic had a significant impact on the travel industry, leading to less favorable periods with fewer opportunities for innovation. The part of Expedia where Nassim worked was acquired, and he foresaw several years of system integration work, which he had already experienced in his career.

What motivated Nassim to transition from the travel industry to Doctolib?

Nassim was motivated by the desire to have a direct impact on users and patients and to contribute to the healthcare system. He was attracted by the opportunities at Doctolib and the chance to work on projects that would directly benefit users, rather than focusing on internal constraints or integration projects.

What is Doctolib's approach to integrating AI into its products and services?

Doctolib has taken a holistic approach, considering the entire lifecycle of a doctor's day and identifying areas where AI can add value. They have focused on use cases that solve real business problems and have a significant impact on users, while also considering potential risks, especially in the medical context.

How does Doctolib ensure that its use of AI aligns with its broader company strategy?

Doctolib ensures alignment by involving representatives from various departments, including engineering, product, data science, legal, and ethics, in the development of its AI strategy. This cross-functional approach helps to consider the implications of AI from multiple perspectives and ensure that the technology is used responsibly and effectively.

Outlines

00:00

🚀 Launching Medical Assistant Projects with Doctolib

This segment introduces the development of medical assistant tools aimed at easing the workload for practitioners. The involvement of Doctolib's CEO and founders in this project is highlighted, showcasing their direct commitment to the innovation's progress. The challenge faced is the rapid evolution of technology, which can make today's solutions outdated in mere weeks. Nassim, the senior director of data and AI at Doctolib, is featured, discussing the strategic deployment of generative AI in healthcare to address these challenges.

05:03

🔍 Exploring the Generative AI Strategy at Doctolib

Nassim delves into the specifics of implementing a generative AI (Ji) strategy within Doctolib. The focus is on the impacts and opportunities revealed by AI technologies like ChatGPT. A Working Group was established to explore use cases for LLMs (Large Language Models) in their system, resulting in the creation of 'Docto GPT,' an internal tool. This tool enables employees across the company to access and utilize LLMs securely, promoting a broader understanding and integration of AI within their existing frameworks.

10:04

👨‍⚕️ Enhancing Healthcare with LLMs in Medical Consultations

This section describes how generative AI is used to improve documentation and efficiency in healthcare consultations. LLMs play a pivotal role in generating consultation notes, extracting medical facts, and even creating documentation for patients and referral letters. The discussion emphasizes the potential of LLMs to significantly reduce the administrative burden on practitioners, allowing them to focus more on patient care rather than paperwork.

15:06

📈 Integrating AI Technology in Doctolib's Operations

Nassim provides an overview of the technical and operational challenges in integrating AI into Doctolib's existing infrastructure. He describes the extensive cross-disciplinary team involved, ranging from engineering to legal, all contributing to the project's development. This holistic approach ensures that AI tools are not only technically sound but also fit within the regulatory and ethical frameworks necessary for healthcare applications.

20:08

🌐 Adapting to Rapid Changes in AI Technology

In this segment, the focus shifts to the broader challenges and strategies associated with managing rapidly evolving AI technologies. Nassim discusses the need for flexibility and agility in their AI initiatives, as changes in the field can quickly render current strategies obsolete. He also highlights the importance of ongoing learning and adaptation within the organization to keep pace with technological advancements.

25:09

🌟 Personal Insights and Professional Journey in AI

The final paragraph provides a personal touch, with Nassim sharing insights into his own professional journey and experiences in AI. He reflects on the continuous learning and adaptability required in the field, and shares valuable advice he received from family and mentors about maintaining an open mind and seizing opportunities without self-imposed limitations.

Keywords

💡Medical Assistant

A 'Medical Assistant' in the context of the video refers to a collection of use cases aimed at facilitating the work of medical practitioners. It is a part of the project discussed by the CEO of Doctolib, which involves using AI to streamline administrative tasks and improve patient care. For instance, the script mentions generating consultation notes from exchanges between doctors and patients.

💡AI Generative Strategy

The 'AI Generative Strategy' is a plan to implement and leverage generative AI, such as large language models (LLMs), within Doctolib's services. It is a key challenge discussed by Nassim, the senior director of data and AI at Doctolib, and is central to enhancing the medical assistant project. The strategy involves using AI to create useful outputs like consultation notes and medical documentation.

💡Docto GPT

Docto GPT is an internal tool developed by Doctolib based on foundational models, which allows any Doctolib member to securely access a Large Language Model (LLM). It is designed to familiarize employees with the capabilities and applications of LLMs, as mentioned by Nassim when discussing the company's approach to integrating AI into their workflow.

💡Use Case

A 'Use Case' in this video script refers to specific applications for which Doctolib is considering the implementation of AI and LLMs. The company has identified and prioritized a list of use cases that could potentially benefit from AI, such as generating consultation notes and addressing patient documentation. These use cases are crucial in understanding how AI can solve real-world problems for medical practitioners.

💡Data Science

Data Science is a field that involves extracting knowledge and insights from data, which is a foundational aspect of AI and machine learning. In the video, Nassim's background in data science plays a significant role in his current work with AI at Doctolib. It is used to analyze patterns and make informed decisions that drive the development of AI applications within the company.

💡LLM (Large Language Model)

An 'LLM' refers to a complex AI model designed to process and understand large volumes of language data. In the context of the video, LLMs are central to the AI generative strategy at Doctolib. They are used to generate text-based outputs, such as medical consultation notes, which can significantly reduce administrative burdens on medical practitioners.

💡Prompt Engineering

Prompt Engineering is the process of designing input prompts for LLMs to generate specific outputs. It is mentioned in the script as a technique used to get the most out of LLMs within Doctolib. Prompt engineering is essential for fine-tuning AI models to produce desired results, such as customizing medical letters or documents.

💡Healthcare System

The 'Healthcare System' refers to the organization and management of health services and resources in a country or region. Nassim discusses the potential impact of AI on the healthcare system, particularly in how it can improve the efficiency of medical practitioners and the quality of patient care through tools like the medical assistant.

💡Teleconsultation

Teleconsultation is the process of providing medical consultation and care through telecommunications technology. It is part of Doctolib's platform, which allows patients to book appointments with doctors online and also facilitates virtual consultations. The script mentions teleconsultation as one of the services offered by Doctolib that could be enhanced by AI.

💡Working Group

A 'Working Group' in this context is a team assembled to work on a specific project or challenge, in this case, the integration of AI into Doctolib's services. The group consists of various stakeholders, including engineering, product, data science, legal, and ethical teams, to ensure a comprehensive approach to developing AI applications.

💡GPU (Graphics Processing Unit)

A 'GPU' is a specialized electronic circuit designed to rapidly manipulate and alter memory to accelerate the creation of images in a frame buffer intended for output to a display device. In the video script, GPUs are mentioned as a critical resource for training and running LLMs, which require significant computational power.

Highlights

The creation of a Working Group to explore the use of Large Language Models (LLM) within the company's technology stack and identify potential use cases.

Doctolib's development of an internal tool called 'Docto GPT', allowing secure access to foundational LLM models for various use cases.

The direct involvement of the CEO and a cross-functional team in advancing the AI strategy, reflecting the company's commitment to innovation.

The identification of use cases prioritized by their impact on users, aiming to solve real problems and considering potential risks, especially in the medical field.

The emergence of 'Medical Assistant' as a collection of use cases designed to facilitate the work of medical practitioners.

The use of LLM to generate consultation notes, aiming to reduce the administrative burden on practitioners.

The importance of structured documentation to improve the quality of patient care and medical knowledge extraction.

The integration of various technologies such as speech-to-text and medical fact extraction to create a comprehensive solution.

The monitoring and feedback from internal users of Docto GPT, revealing a range of applications from idea generation to professional tasks.

The construction of an ecosystem around the use cases, including integration with existing tools like Slack and the development of professional offerings.

The challenge of rapidly evolving technology and the need for agility and continuous learning within the team.

The establishment of a core team of 10 to 15 people with diverse skills, supported by a larger group for rapid iteration and innovation.

The strategic importance of AI and LLM for Doctolib's product and the company's proactive approach to staying ahead in the field.

The potential of LLM in the medical field, including anecdotal reports of accurate diagnoses from analyzing patient records.

The future outlook on the use of AI in healthcare, with a focus on administrative relief for practitioners and the possibility of deeper medical applications.

The recommendation to listen to the 'Acquired' podcast, particularly the episodes about Nvidia, for insights into the hardware enabling AI advancements.

The passion for data driven by the constant change and the intellectual stimulation of learning new things every day.

The advice from Nassim's mother about not closing doors on oneself and allowing the environment to determine the right opportunities.

Jeff Bezos' 'regret minimization framework' as a guiding principle for making important decisions without future regrets.

Transcripts

pour donner un exemple on a commencé à

la sortie de ce Working Group à

travailler sur le medical assistant qui

est vraiment une collection de use case

qui permettent de faciliter la vie des

praticiens on a effectivement au sein de

l'équipe deux des fondateurs de doct lib

qui travaille sur ce projetl pour le

faire avancer on a une implication très

directe du CEO et de manière très

régulière le gros challenge il est

évident c'est que c'est c'est pas encore

sec les choses bougent très très très

vite et donc la vérité du jour va être

complètement invalidé de semaines plus

tard alors aujourd'hui je reçois Nassim

qui est senior director data n ai chez

doctolib La Licorne française qu'on ne

présente plus qui propose notamment une

plateforme de prise de rendez-vous avec

des médecin qui permet également de

faire de la téléconsultation aujourd'hui

Nassim va nous parler d'un de ses plus

gros challenges de ces derniers mois à

savoir comment déployer une stratégie Ia

générative aka j ai pour les

connaisseurs pour info on avait déjà eu

Kemal qui était anciennement directeur

d'Atach et d'ctolip qui était venu sur

le Podcast dans l'épisode 11 donc ça

remonte un petit peu qui nous avait

parlé un peu plus globalement de la data

chez doctolib pour ceux qui auraient

envie de creuser un peu plus et

également plus récemment Lucy qui est

venu nous parler du déploiement à

l'échelle d'un nouvel outil de Business

Intelligence notamment tableau donc je

vous mettrai bien sûr les liens en

description pour ceux qui veulent aller

voir ça hoassim ça va ça va bien Rob et

toi super écoute je suis ravi de te

recevoir ça doit remonter à 2 ans

c'était fait un déj c'est ça quelque

chose comme ça oui c'est ça et on

s'était dit qu'on ferait un quelque

chose ensemble et puis on était resté en

contact et puis enfin on arrive à faire

cette ép enfin on y est enfin on y est

donc je suis trop content peut-être pour

commencer est-ce que tu souhaites

compléter un peu sur doctoli par rapport

à ce que j'ai dit alors il y a quelques

points que je souhaiterais rajouter

parce que ça va aider en fait à mieux

comprendre ce dont on va parler juste

après donc ce qu'on connaît de doct lib

c'est la plateforme de réservation de

rendez-vous médicaux c'est la

téléconsultation c'est ce que tu as

mentionné mais évidemment de l'autre

côté du miroir on a toute une série de

logiciels pour les praticiens le plus

évident qui est lié à la plateforme de

réservation c'est la gestion de l'agenda

des praticiens donc pour pouvoir bah

gérer leur rendez-vous en fonction de

leur propres contrainte en fonction des

plages qu'ils souhaitent ouvrir pour

pouvoir optimiser leur prise de

rendez-vous mais à côté de ça on a aussi

ce qu'on appelle le logiciel clinique

qui est le logiciel que les praticiens

utilisent de façon à gérer leurs

consultation donc typiquement tout ce

qui se passe entre le moment où le

praticien demande la carte vitale et

l'insert dans le lecteur et le moment où

à la fin de la consultation on clos et

on passe à la partie facturation et

envoie des informations à la S et aux

assurances on a un logiciel qui gère

tout ça et en fait c'est plutôt sur

cette partie du logiciel doctolib qu'on

va travailler avec de l' générative donc

je voulais le mentionner parce que c'est

la partie que les auditeurs en général

ne connaissent pas du tout hormis les

praticiens qui nous utilisent excellent

bah tu fais bien du coup on va creuser

un petit peu justement comment l'

générative s'insère dans cette partie là

de des solutions de docte lib un petit

peu plus tard juste avant ça comment toi

tu t'es retrouvé senior director data

and AI chez Doct lib alors c'est

toujours une longue histoire je vais

essayer de la faire quand même assez

courte et j'ai travaillé avant de

rejoindre Doct lib 15 ans dans le voy

avec grosso modo la moitié de ma

carrière dans une partie software

engineering plus classique et la

deuxième partie euh vraiment data en

rentrant par la data science Analytics

et puis ensuite plus du Data engineering

et du BI traditionnel donc j'ai vu un

petit peu un petit peu toute la chaîne

le passage vers la data c'était

intéressant je gérais le moteur de

réservation d'une partie d'expédia donc

une agence de voyage de voyage en ligne

et ont généit énormément de données on

se doutait on avait des choses

intéressantes à faire et c'est par ce

chemin là en fait que je suis arrivé

dans le monde de la data après donc je

parlais du travel euh donc du monde du

Voyage évidemment euh le covid a eu un

impact sur ce qu'on était en mesure de

faire donc on a eu des périodes qui

étaient moins sympas que d'autres euh

avec clairement moins de perspective

pour pouvoir bah faire des choses

intéressantes on a eu aussi d'autres

d'autres aspects la la partie d'expédié

où je travaille s'est faitre racheté je

savais qu'on en avait pour quelques

années d'intégration de système à faire

fa c'est des projets qui sont très

intéressants mais j'avais déjà vu ça

dans ma carrière donc j'avais envie de

de voir aussi autre chose et c'est à ce

moment-là que bah le fameux Kemal de

l'épisode 11 m'a passé un coup de fil et

donc je me suis dit que ça serait bien

de commencer à regarder ce que Doct

proposait et ça semblait super

enthousiasment énormément d'opportunités

et puis le moyen d'avoir un véritable

impact sur les utilisateurs sur les

patients et en fait sur le système de

santé dans les pays où on opère donc

c'est assez c'est assez fantastique et

j'avais besoin de retrouver ce lien avec

l'impact sur les utilisateurs plutôt que

de repartir sur des projets

d'intégration un peu plus euh presque

exactement on est plus centré sur nos

propres contraintes plutôt que sur

fournir de la voaleur aux utilisateurs

ouais ça fait sens aujourd'hui tu as mis

en place chez doctolib la stratégie

Ji tu peux nous en dire un peu plus sur

le contexte autour de ce challenge en

fait c'est un un faisau de différentes

choses qui sont qui sont arrivées qui

sont concentré à peu près en même temps

évidemment il y a chat GPT qui a secoué

un petit peu tout le monde et qui qui a

montré qu'en fait les gérative c'était

pas simplement des modèles qui

arrivaient à faire des choses mais

c'était un produit que des utilisateurs

arrivaient à leverager pour faire des

choses utiles y compris dans un contexte

professionnel euh pour prendre un peu de

recul j'avais eu l'occasion d'utiliser

gbt3 en avant-première quand j'étais

chez expéia parce qu'on avait Sam Altman

au board et donc il avait sélectionné

quelques data scientist et quelques

personnes dans la boîte pour l'utiliser

donc les les modèles existent depuis

longtemps ils étaient pas aussi bons à

l'époque mais la vraie difficulté

c'était de trouver un usage et donc je

pense que chat GPT a montré que bah

finalement le public était sensible à

aux nouveaux usages que ce genre d'outil

permettait d'avoir donc ça ça a été un

premier point de départ évidemment les

choses ont commencé à euh à bouillonner

un petit peu côté produit on a commencé

à se demander ce qu'on pouvait ce qu'on

pouvait en faire côté é qu' on essayait

de cerner un petit peu parce que ça

change très très rapidement cerner un

petit peu ce que ça signifiait

d'utiliser ce genre d'outil là et donc

on a on a créé un Working Group pour

essayer de comprendre spécifiquement des

LLM comment les utiliser dans notre

stack et en parallèle regarder les types

de use case qu'on pourrait mettre en

place au sein de doctolib et qui

lvraerit ses outils c'est vraiment comme

ça que ça a avancé on va dire de manière

organique et puis on a eu aussi des

retours un petit peu plus topd où je

pense que tout le monde s'est rendu

compte qu'il y avait de grosses

opportunités et puis de se dire ben

voilà on on sent qu'il y a des des

besoins qui peuvent être servis par ce

genre d'outil on sent qu'il y a une

volonté du leadership d'avancer

là-dessus comment on y va c'est

intéressant de de de réfléchir à ce qui

est sorti de ce Working Group en fait il

y avait deux grands points qui en sont

sortis le premier c'est que c'est un

outil tellement nouveau qu'il faut

pouvoir le mettre dans les mains de

autant de personnes que possible au sein

de l'entreprise pour pouvoir se

familiariser et avoir vooir une bonne

idée de comment utiliser des LLM ce que

ça peut faire ce que ça ne peut pas

faire et puis comment tirer un maximum

de valeur en fait de de ces outilslà

donc pour ça on on a développé un outil

interne qui se base évidemment sur des

modèles fondationnels qui s'appelle

docto GPT et qui permet à n'importe quel

docto liber d'avoir accès à un LLM de

manière secure et de pouvoir même

choisir différents types de LLM en

fonction des use case de faire du prompt

engineering de façon un peu confortable

et donc de commencer à se faire une idée

de ce que ça permet de faire et à

destination vraiment de tout le monde

aussi bien les équipes tech and produit

que les équipes business donc ça c'était

un outcome comment est-ce qu'on met j

entre toutes les mains et comment on

permet aux gens de se familiariser avec

cetette outil le deuxième outcome qui

est sorti c'était vraiment une liste de

use case qui était priorisé à la fois

par l'impact sur nos utilisateurs donc

on voulait vraiment résoudre un problème

utilisateur et pas juste se dire B on a

un outil c'est cool comment on peut le

mettre dans le produit donc comment on

résout un problème utilisateur et

ensuite quels sont les risques

potentiels qui sont associés on

travaille dans le domaine médical une

hallucination dans le domaine médical

c'est pas la même chose qu'une

hallucination quand je demande à chat

GPT de me sortir quelques idées donc

évidemment on a pris cette composante en

considération et à la fin du de ce

Working Group là on avait quand même une

liste assez précise de use case qu'on

aimerait qu'on aimerait commencer à la

clé euh en se basant sur des vrais

problèmes métiers à résoudre tu peux

peut-être nous en illustrer un ou deux

justement de use case qui qui a commencé

à émerger du coup je sais pas quel est

le niveau de maturité que vous avez

là-dessus mais la manière dont on en

parle aujourd'hui est différente de la

manière dont on en parlait à la sortie

du Working Group où ça ressemblait un

petit peu à un patchwork de différents

types de use case potentiel maintenant

la manière dont on en parle est beaucoup

plus holistique donc pour donner un

exemple on a commencé à la sortie de ce

Working Group à travailler sur le

medical assistant qui est vraiment une

collection de use case qui permet de

faciliter la vie des praticiens donc si

on prend euh toute la chaîne donc

pendant une consultation médicale l'idée

c'est de se dire qu'on peut à partir de

l'échange entre le praticien et le

patient générer à la fois évidemment un

transcript de ce qui s'est passé mais

surtout des notes de consultation qui

permettent au praticien de documenter ce

qui s'est passé aujourd'hui les les

praticiens alors ça dépend des pays ça

dépend des spécialités ça dépend des

contextes mais en en général document

assez peu ce qui se passe dans une

consultation parce que c'est pénible il

préfère bah faire leur métier et

travailler avec les patients et et leur

apporter le meilleur soin possible

plutôt que de passer la journée à taper

sur un clavier donc ça va permettre

d'avoir de la meilleure documentation ça

va leur permettre de leur libérer du

temps et puis ensuite ça va être aussi

une brique qui nous permet de mieux

extraire de la connaissance médicale et

de la structurer dans le dossier médical

des patients pour qu'à la consultation

suivante le soin puisse être d'encore

meilleure qualité donc quand on regarde

en fait tout ça on a beaucoup de briques

une des briques c'est du LLM pour

pouvoir générer ces notes de

consultation on a d'autres briques plus

du speech to text

évidemment de l'extraction et de la

codification de faits médicaux donc

plusieurs types de modèles et c'est

vraiment un système c'est pas juste un

seul modèle qui permet de résoudre ce ce

problème particulier mais le LLM est

vraiment au cœur de ça et ensuite si on

va un petit peu plus loin on sait qu'on

aura d'autres types de documents qu'on

souhait régénérer et les LLM vont être

évidemment au cœur de la solution à ce

type de problème là que ce soit des

potentiellement de la documentation à

destination des patients potentiellement

des lettres d'adressage et cetera et

cetera et si je reviens une seconde sur

le premier élément dont tu as parlé un

peu le Doct GPT donc ça c'est

intéressant parce que je pense qu'il y a

énormément de boîtes qui ont aussi eu un

peu cette stratégie là pour aussi

simplement avoir un terrain de jeu et

faire émerger des idées peut-être

là-dessus tu as une illustration ou deux

de

d'éléments qui vous ont fait mûir grâce

à ce projet là est-ce que vous avez pris

du feedback de de vos collaborateurs qui

utilisent le plus parce que je suppose

que bon tout le monde s'est peut-être

pas jeté dessus comme dans tout produit

tu as toujours des Orly adopteur

d'autres qui mettent un peu plus de

temps enfin comment ça s'est passé un

peu cette prise en main de d'octogpt en

interne donc on a effectivement

monitorer l'usage et on se rend compte

qu'on a

environ un/art de la boîte qui lu

utilise de manière régulière donc c'est

c'est vraiment pas mal en fait les types

d'usage peuvent être très très

différents on a beaucoup d'usage de type

idéation je pense qu'on le on le fait

tous pour pouvoir générer des idées et

s'assurer que on rate pas d'opportunités

quand on est au début de du défrichage

d'un sujet on voit ce genre de use case

là qui permet de faire gagner du temps

beaucoup de génération de résumé euh

donc dans certains cas ça peut être

quand on reçoit des emails un petit peu

longs on les fait d'abord pass dans la

moulinette de docte GPT pour avoir une

idée des points saillant ça c'est des

types d'usage qui reviennent et puis on

a des des usages un petit peu

plus directement lié à l'activité

professionnelle des collaborateurs qui

là implique d'avoir vraiment du prompt

engineering et même du templating en

fait de prompt qui leur permett de

répondre à des problèmes qu'ils ont de

manière récurrente rapidement donc on a

ces ces trois grands type de use case il

y en a sans doute d'autres encore mais

c'était vraiment vraiment ce qu'on a vu

après pour passer

pour passer à l'étape d'après là on

parle vraiment de quelque chose à

destination d'utilisateur interne pour

leur propre efficacité et leur

productivité on commence à voir un

écosystème se construire autour de ce

genre de use case là typiquement on sait

que si on veut aller plus loin il va

falloir s'intégrer avec différents types

d'interfac on a déjà une intégration

avec SLAC mais on sait qu'on en aura

sans doute d'autres qui pourrai être

utile avec tous vos outils que vous

utilisez déjà au quotidien quoi dans les

différents départements exement

complètement donc sur la partie Channel

et puis sur la partie contenu euh on a

toute la partie de pouvoir bah

finalement faire du rag donc retrieval

augmented generation euh où on va

indexer du contenu pertinent pour les

collaborateurs de manière à ce qu'ils

puissent l'utiliser à travers d'octogpt

et là encore on commence à avoir des

offres plus professionnelles qui se

structurent donc doctoogpt est super

pour nous permettre de comprendre les

usages et les anticiper euh et puis

ensuite il va falloir qu'on ait une

discussion sur comment on passe à une

étape un petit peu plus industrielle

c'est intéressant je rejumpe une seconde

désolé je passe un peu du coocalan sur

la vision aussi de ce que tu nous disais

des du coup des solutions un peu plus

core product si je puis dire c'est

celles qui sont un peu plus au cœur du

produit est-ce que là-dessus il y a une

autre illustration parce que ça permet

vraiment de se projeter c'est

intéressant je trouve de voir des usages

même si c'est très spécifique au monde

médical mais c'est intéressant je pense

pour pour l'audience et tu tu parlais

parle des lettre de d'adressage

peut-être tu peux nous réillustrer juste

un deuxième exemple pour qu'on l' en

fait à la fin d'une consultation

médicale en particulier avec un

généraliste le l'issue peut être

d'adresser euh le patient à un confrère

et souvent un spécialiste pour pouvoir

faire poser un diagnostic plus avancé

des examens complémentaires et cetera et

et et en fait une une bonne partie de

leur temps peut être consacré à générer

ces lettres d'adressage euh donc c'est

des choses on se l'imagine pas mais de

pouvoir choisir en fonction du féminin

masculin euh tutoiement ou

vousouvoimement du confrère s'ils se

connaissent ou pas et puis tout un

certain nombre d'informations

pertinentes à transmettre euh dans le

courrier d'adressage euh ça peut

entraîner une complexité qui est

infernale à gérer avec des outils de

type formulaire et clickbox euh donc on

on sait qu'il y a une opportunité ici

d'améliorer l'utilisation des praticiens

et puis leur usage en faisant usage de

LLM euh pour pouvoir générer quelque

chose de plus pertinent plus rapidement

potentiellement exhaustif en tout cas le

le choix de ce qu'il faudra mettre sera

toujours laissé au praticien mais

effectivement on sait que c'est quelque

chose qu'il va falloir qu'on regarde

mais typiquement ça fait partie des

types de use case qui à terme font

partie de cette galaxie de medéical

assistant puisque ça leur permettra de

gagner du temps pour euh voilà pour

générer leur leur non en fait on peut

c'est vrai que sur si on commence à

découper vraiment le le cycle de vie

entre guillemets d'une consultante ou de

en tout cas d'une journée pour un

médecin il y en a probablement pas mal

effectivement des cas d'usage où le LLM

comme ça va pouvoir avoir de l'impact

sur du temps gagné pour qu'ils puisse

mieux se concentrer aussi sur le côté

humain de leur métier complètement c'est

c'est exactement l'objectif et en fait

la la raison pour laquelle des outils

comme les LLM peuvent vraiment aider

dans ce dans ce genre de contexte c'est

qu'en réalité quand on regarde à la fois

ce qui se passe pendant une consultation

mais l'industrie médicale énormément de

contenus non structuré généré et quand

je dis ça c'est finalement bah des notes

de consultation des rapports des

documents ça peut être de l'imagerie

aussi et donc des outils comme les LLM

permettent de nativement en fait

travailler avec ce contenu avec ces

données là et c'est pour ça qu'on a ce

genre d'adéquation là on a des

inadéquations je mentionnais typiquement

le risque d'hallucination dans un

contexte médical où bah là non c'est pas

top les choses plus déterministes

fonctionnent mieux mais c'est c'est

vraiment ce qui fait que sans essayer de

forcer le cas d'utilisation on se rend

compte qu'il y a un match entre le

besoin utilisateur et le LLM comme une

manière de le résoudre je serais curieux

que tu nous expliques un petit peu

comment vous êtes organisé pour avancer

sur ce sujet tu parlais notamment d'un

Working Group de qui il était constitué

c'est intéressant il a peut-être des

boîtes qui sont voilà un petit peu à ce

stade là et qui se demandent un peu qui

mettent à la table pour avancer vite sur

le sujet et puis maintenant que vous

êtes plus mature comment ça se structure

comment ça impacte un peu peut-être

l'équipe data probablement l'équipe tch

l'équipe produit enfin sur le Working

Group on a essayé de mettre un petit peu

tout le monde donc des représentants

d'ingineering product data science on a

eu aussi des représentants des équipes

légales éthiques parce que ce genre de

technologie ouvre aussi de nouvelles

questions et donc on veut on veut

pouvoir les prendre en compte vraiment

dès le départ donc on a essayé de de

prendre assez large pour être sûr de

pouvoir regarder la question sur toutes

ces facettes et pas uniquement sous une

facette produit ou technologique euh

donc ça ça c'était vraiment au début

quand on défrichait le sujet maintenant

si on si on parle de la partie medéical

assistant où là on est un peu plus

mature et en mode ben finalement livrer

un produit dont les LLM sont une des

composantes là on a une équipe une

équipe transverse engineering data et

product qui forment le le cœur de

l'équipe sur finalement la la création

du système mais on a aussi des

interlocuteurs dédiés que ce soit chez

les équipes sécurité les équipes légales

pour s'assurer que comme on est encore

en train de de de finalement

défricher ce sujet-là qu'on puisse avoir

des réponses rapides et des

interlocuteurs privilégiés typiquement

avoir des points de contact stables au

sein des différentes organisations de

l'entreprise permet bah de capitaliser

et puis de s'assurer qu'on est aussi

aussi efficace que possible on sait

qu'on veut itérer rapidement on sait

qu'on veut avancer vite donc c'est

vraiment du all hands on deck et

d'ailleurs quand on s'était appelé tu

m'avais dit que justement tu avais

trouvé ça assez incroyable la manière

dont doctolib prenez en main euh des

sujets qui comme ça étaient cœur et que

quand vous avez ce type de situation euh

finalement la boîte a gardé une ADN

entre guillemets start-up dans le sens

où tout le monde est capable de

peut-être se reprioriser et de se mettre

comme tu dis hens on deck pour avancer

vite y compris même des fondateurs et

cetera jeis c'est intéressant peut-être

que tu nous racontes ça complètement oui

et et en fait venant d'une entreprise un

petit peu plus mature et structurée

c'est c'est assez impressionnant en fait

de voir tout ça tout ça se mettre en

branle on a effectivement au sein de

l'équipe deux des fondateurs de docte

lib qui travaillent sur ce projet-là

pour le faire avancer on a une

implication très directe du CEO et de

manière très régulière déjà je pense que

ça l'enthousiasme personnellement mais

c'est aussi quelque chose qui est clé

pour pour l'entreprise et pour la

stratégie de l'entreprise en général il

est vraiment à fond sur le sujet donc

j'avais passé je pense 2 heures avec lui

pour lui expliquer comment fonctionnait

un réseau de neuron et je sais qu'il a

passé du temps avec des Data scientist

de mon é ipe aussi pour rentrer plus

dans le détail de comment on F tune un

modèle de Deep learning donc donc on va

assez loin et puis ça donne aussi une

idée du du sponsorship au sein du

leadership de la boîte qui nous permet

effectivement d'avancer rapidement et

côté tech comment ça fonctionne comment

ça se passe quel a été l'impact global

sur la tech sur la stack data existante

comment les nouvelles briques ont été

intégrées dans la stack existant je sais

pas si tu peux nous parler un petit peu

de cet aspect là oui je peux au moins

donner un overview parce qu'on on s'est

fait effectivement une liste de je crois

16 capabilities machine learning sur

lesquels on veut avancer on va pas faire

l'inventaire ici euh mais on en a

quelquesunes qui sont évidentes liées au

LLM sur lesquelles il a fallu qu'on

qu'on travaille et qu'on avance un petit

peu un petit peu plus rapidement de

manière évidente on a le fait d'être

capable de d'avoir des réservations de

GPU euh tout ce qu'on fait avec D LLM

que ce soit de l'inférence ou que ce

soit du fine tuning c'est des choses qui

demandent énormément de ressources et de

ressources GPU c'est quelque chose qu'on

avait pas forcément l'habitude de

manipuler euh chez docteur to lip jusque

là donc on on on a dû mettre ça en place

de manière à pouvoir à la fois avoir le

provisioning nécessaire pour faire de

l'inférence et puis pour pouvoir tester

de nouveaux modèles de nouveaux LLM

chose qu'on avait pas forcément avant

quand tu dis de l'inférence pour ceux

qui peut-être sont pas famili avec le

terme c'est tout simplement quand tu vas

vouloir faire un appel au LLM ça demande

de la ressource et ça ça s'achète ou ça

se paye après il y a différentes

manières de l'avoir si tu veux pas faire

n'importe quoi faut quand même mettre le

nez dedans et comprendre comment ça

marche pour pas non plus avoir un coup

qui explose et cetera c'est ça alors oui

effectivement le coup est quelque chose

qu'on surveille qu'on surveille mais

même si pour l'instant c'est largement

sous contrôle et ça en vaut la peine

mais les GPU c'est quelque chose de de

nouveau à manipuler et

typiquement je pense c'est plutôt en

terme

d'efficacité qu'on regarde également

s'assurer qu'on a les bons outils pour

optimiser l'utilisation des GPU qu'on a

réservé parce que ça se fait pas tout

seul il y a quelques outils à à à

manipuler pour s'assurer que ça soit

effectivement le cas tu pens CER un ou

deux comme ça juste sans qu'on rentre

dedans maispiquement le le serveur

d'inférence Triton par exemple c'est

quelque chose que quelque chose qu'on

doit utiliser et qu'on apprend à

utiliser de manière à avoir une

meilleure utilisation de GPU ensuite on

parlait de la partie rag tout à l'heure

pour faire super simple bah c'est des

documents indexés par un vecteur disons

des

chiffres il y a des bases de données qui

sont spécifiques pour résoudre ce genre

de problème là mais on a aussi un

certain nombre de bases de données qui

existaient déjà et qui font ce genre de

chos là là le la question c'était de

voir est-ce qu'on a finalement des

composants qui existent et qu'on

pourrait leverager pour faire du rag et

donc pour indexer des documents qu'on

souhaiterait utiliser avec des LLM donc

là là effectivement on a commencé à

implémentter un rag avec des outils

qu'on maîtrisait déjà ce qui permet de

effectivement d'aller plus vite et de

s'insérer mieux dans l'infrastructure

qu'on avait actuellement à quel outil tu

penses quand tu dis ça là aujourd'hui on

utilise du open search qui est quelque

chose qu'on qu'on utilise isait déjà

pour d'autres types de use case et donc

le le passage à l'utilisation dans le

cadre du rag était était quelque chose

d'assez naturel et et d'assez facile et

puis après le le dernier point c'est sur

toute la partie llms où là je pense que

tout le monde en est au tout début on a

pas mal de choses qui sont encore in

housee donc il faut qu'on regarde

comment est-ce qu'on peut industrialiser

ça un petit peu plus le faire de manière

qui soit répétable voir les types

d'outils qu'on pourrait leverager

sachant qu'il y en a pas encore

énormément et puis qu' sont aussi dans

leur euh dans leur enfance aussi donc là

là c'est un champ qui est vraiment en

train d'évoluer très très rapidement

parce que là l'enjeu pour le LLM h si tu

synthétises c'est qu c'est de s'assurer

que vous avez tout ce qui est bien en

place pour pas pour faire le monitoring

qui est lié à ses modèles pour les

suivre dans le temps pour les faire

évoluer facilement en général quand on

parle d'ops j'essaie de synthétiser

c'est c'est exactement ça donc il y a

effectivement un aspect un aspect

monitoring mais disons pour prendre un

use case très très TR simple qu'on veut

craquer mettons qu'un nouveau modèle est

réisé ou qu'on veille tester un nouveau

prompt comment on s'assure que en

cliquant sur un bouton on est capable de

rapidement savoir quelle est la

performance de ce nouveau modèle de ce

nouveau prompt et ensuite comment est-ce

qu'on peut opérationnaliser le fait de

pouvoir le mettre en production donc là

on a vraiment toute une chaîne qui

ressemble finalement à du à du

cicd dans du développement exactement

exactement quelles ont été les plus

grosses difficultés tu dir

que vous avez rencontré en tant

qu'équipe justement dans le cadre de ce

projet le gros challenge il est évident

c'est que c'est c'est pas encore sec les

choses bougent très très très vite et

donc la vérité du jour peut être

complètement invalidée de semaines plus

tard et pas juste légèrement remise en

question invalidé donc ça ça nécessite

de mettre en place ce qu'il faut pour

être pour être super flexible parce que

le brouillard de de guerre il est à 1

mois à 2 mois il est pas à 2 ans euh

donc donc on a besoin de d'être super

agile pour pouvoir pour pouvoir

rapidement apprendre etitérer et en

réalité c'est un de nos objectifs sur

les projets qu'on met en place de voir

comment est-ce qu'on peut apprendre le

plus rapidement possible et itérer parce

que c'est cet apprentissage qui nous

permettra ensuite de mieux suivre

l'évolution du domain euh plutôt que de

se dire on on fige un choix maintenant

et et on sait que les choses avancent

tellement vite que bah peut-être que on

sera complètement obsolète dans 3 mois

et une question que je me posais une

seconde tu dirais qu'il y a combien de

personnes là chez Doct lib qui qui sont

dédiés à temps plein sur ce sujet je

pense vraiment sur la sur la Core Team

on doit parler de 10 à 15 personn ok là

encore tout type de de skills confondu

data engineering

product après on a une équipe un peu

plus étendue qui sont peut-être pas à

temps plein mais qui comp pas forcément

à temps plein mais en tout cas super

réactif et dédié au projet et donc donc

ça augmente encore un petit peu le on va

dire la la taille de l'équipe qui

travaille de manière régulière dessus

mais c'est un gros effort déjà au final

15 personnes c'est une grosse quad quoi

donc oui oui oui ben on y met on y met

les moyens on pense que c'est c'est

quelque chose qui est qui est super

important pour nous juste sur les

challenges je t'ai un peu coupé tu

voulais en rajouter un ou c'est

peut-être lié au fait que les choses ne

ne ne soient pas encore sèches

mais l'intelligence artificielle en

général c'est un sujet compliqué et j a

rajouté à la fois de la complexité et de

la confusion donc ça nécessite beaucoup

beaucoup beaucoup de euh training de de

formation auprès de l'Organisation que

ce soit côté teacin de produit ou que ce

soit dans d'autres fonctions métier de

l'entreprise pour s'assurer que les les

sujets les enjeux soient bien compris et

honnêtement on voit avec les les

différentes initiatives de formation

assez large qui ont été mis en place et

qui continuent à être misise en place

que la la qualité de la discussion qu'on

peut avoir sur ces sujet là a vraiment

énormément augmenté et je pense que

c'est clé si on voit l'intelligence

artificielle et Ji comme un sujet de

Data scientist ça fonctionnera pas et

quelles sont les prochaines étapes sur

ce sujet j ai pour doctolib c'est pas

forcément pour doctolib là tout de suite

mais pour Ji dans dans le domaine de la

santé en général on on a beaucoup parlé

en fait de de la

partie documentation et soulager les

praticiens de leur tâches administrativ

qui constitue effectivement beaucoup de

temps mais on n'est pas for forcément

encore rentrer dans la partie euh

médicale à proprement parler et

l'utilisation de Ji dans ce cadrelà

c'est quelque chose que je vois arriver

à quelques années c'est pas quelque

chose pour lequel on est prêt tout de

suite mais on commence à avoir quelques

quelques retours anecdotiqu de personnes

qui n'arrivaient pas à être diagnostiqué

qui ont balancé leur dossier médical

dans chatgbt ce que je ne recommande pas

ne le faites pas euh mais qui pour le

coup ont eu un diagnostic qui s'est

avéré être le bon donc on on sent que il

y a quand même quelque chose à explorer

dans cette direction aujourd'hui le

sujet est clairement pas mature et puis

en terme de certification certifier un

LLM c'est sout très compliqué mais c'est

probablement vers ça vers ça qu'on peut

s'orienter plus tard donc sur

l'utilisation des LLM dans le domaine de

la santé je pense que c'est des choses

qui vont qui vont arriver en tout cas

qu'il faut surveiller écoute Nassim on

arrive sur les dernières questions

est-ce que tu as une rec ation de

contenu à partager à nos auditeurs alors

oui et ça va être un podcast parce que

en ce moment je cours beaucoup pour

préparer le Marathon de Paris et j'ai

besoin de longs podcast pour mes longues

sorties et un un très bon long podcast

c'est acquired et en particulier je vous

recommande les épisodes sur Nvidia ils

avaient tellement de choses à dire

qu'ils en ont fait trois plus un dédié à

Jensen donc le CEO de de Nvidia qui ils

viennent d'exploser leurs résultats au

jour où on par parle et c'est c'est

incroyable de voir comme toute cette

révolution a pu être enablée

par des

révolutions plus scientifiques sur

comment on crée des modèles comment on

les entraîne comment on construit des

modèles à des échelles phénoménal mais

aussi bah purement hardware d'avoir la

capacité de calcul pour faire ce genre

de choslà et donc toute l'histoire de

comment Nvidia on est arrivé à pouvoir

faire des des GPU ils font les GPU

NVIDIA c'est ça exactement ils font les

GPU sur lesquels les LLM sont entraînés

et sur lesquels les prédictions des LLM

sont effectuées donc l'inférence est

effectué c'est c'est assez c'est assez

fascinant donc je vous le recommande si

si vous avez un petit peu de temps je

mettrai ça dans la description qu'est-ce

que tu aimes dans la data le premier

c'est que c'est justement le fait que ce

ne soit pas sec et donc sur la partie g

c'est évident les choses changent super

vite et donc on apprend beaucoup et on a

besoin beaucoup de s'adapter et donc

c'est c'est super stimulant en fait fait

bah intellectuellement de de pouvoir euh

de pouvoir apprendre de nouvelles choses

tous les jours mais en réalité même sur

la partie euh plus Ingineering les

choses sont aussi moins stables que sur

du software engineering traditionnel où

on a quand même quelques grandes

recettes qui fonctionnent cette partie

vraiment euh alors d'essuyer les plâtres

mais au bon sens du terme c'est quelque

chose c'est quelque chose qui me

passionne euh et le le deuxième point

c'est en fait pas lié à l'activité

elle-même mais à ce qu'on en fait B cet

effet de à partir du moment où on a euh

où on a de la donnée ce sentiment que la

la lumière s'allume et puis les choses

commencent à avoir du sens on comprend

euh ce qui se passe que ce soit dans le

fonctionnement et le business de notre

entreprise euh dans certains phénomènes

qui peuvent nous aider ensuite à mettre

en place des modèles dans le produit

c'est assez euh c'est assez intéressant

et puis ça euh ça fonctionne bien avec

la méthode scientifique qui est quelque

chose qui me tient à cœur en général

qu'est-ce qui t'a le plus fait

progresser alors pour être honnête à

chaque fois qu'on pose cette question je

suis un peu un peu sec

euh et et quand je suis un peu sec je

demande à ma

femme et donc là ce qu'elle me disait

elle me connaît bien en fait c'est

plutôt une attitude générale de

d'essayer de systématiquement apprendre

des expériences pas uniquement des

échecs on a on entend souvent ça mais

des expériences en général à partir du

moment où je cesse d'apprendre bah j'ai

tendance à essayer de bah de faire autre

chose où je pourrais continuer à faire

ça donc c'est c'est plus que c'est un

driver dans dans ce qui me fait avancer

que on vare dire euh un un moment un

moment clé où je suis dit hop ça

débloque quelque chose c'est c'est plus

plus diffus plus continuel et voilà

c'est cet attrait pour l'apprentissage

et pour voir de nouvelles choses et

enfin quel est le meilleur conseil qu'on

t''est donné est-ce que j'ai droit à

deux conseils ouais allez alors un un

conseil on a fait ma femme on va faire

ma mère un conseil de ma mère sur le

fait de en fait ne pas se fermer de

portes soi-même et laisser les autres ou

l'environnement fermer les portes sur

soi souvent je j'avais tendance à me euh

mettre moi-même les limites sur les

choses à explorer ça peut être

différents moments dans ma vie où je

cherchais à la fois des opportunités

professionnelles et potentiellement

partir à l'étranger ou explore toutes

les portes tu verras cell qui reste

ouvert tu verras celle qui se ferme euh

et et en fait c'est un très très bon

c'est un très très bon conseil et et le

deuxième donc on arrête de faire ma

famille c'est Jeff Bezos euh c'est et

son fameux regret minimalization

framework donc de se dire à la à la fin

de ma vie est-ce que je regretterai de

ne pas avoir fait ça quand on se

retrouve face une décision importante on

retrouve un peu l'aspect bah continuer à

apprendre mais je pense que c'est

quelque chose de très important qui

permet de bah voilà de de se poser les

bonnes questions quand on est face à des

choix qui peuvent parfois être

cornéliens et donc celui-là j'essaie

j'essaie souvent de l'appliquer B écoute

Nassim on arrive sur la fin de cet

échange euh B peut-être dites-nous dans

l'audience ce que vous avez pensé de

cette discussion avec Nassim ce que vous

avez pensé plus spécifiquement de voilà

de de ce thème des As génératives c'est

un thème que on va essayer d'aborder de

plus en plus sur le Podcast bien entendu

parce que je pense qu'il est intéressant

donc si vous avez pensé à d'autres

questions que vous voudriez qu'on aborde

hésitez pas à me le mettre en

commentaire si vous êtes sur Youtube par

exemple ou si vous êtes sur les

plateformes audio à réagir sur le

posting DIN qu'on va faire avec Nassim

lorsqu'on sortira cet épisode

profitez-en pour vous abonner sur

YouTube sur Spotify vous êtes merci

beaucoup en tout cas Nassim d'être venu

partager ton expérience et nous

expliquer voilà un peu comment vous avez

pris ce sujet rain chez Doct lip cétait

vachement intéressant et puis je te dis

à bientôt merci Robin pour l'invitation

à bientôt