Doctolib : Déployer une Stratégie IA Générative 🚀🤖 (#127)
Summary
TLDRIn this engaging podcast episode, Nassim, Senior Director of Data and AI at Doctolib, discusses the challenges and strategies involved in implementing generative AI within the healthcare industry. The focus is on the transformative potential of AI tools like ChatGPT in medical settings, from easing administrative burdens for practitioners to enhancing patient care through advanced documentation and medical record handling. The episode also covers the technical aspects of integrating AI technologies into existing systems, the rapid evolution of AI capabilities, and Doctolib’s proactive approach in leveraging AI to revolutionize healthcare services.
Takeaways
- 🚀 Nassim, Senior Director of Data and AI at Doctolib, discusses deploying generative AI strategies, highlighting recent developments due to the influence of technologies like ChatGPT.
- 👥 Doctolib's medical assistant tool is a collection of use cases designed to streamline operations for medical practitioners by leveraging generative AI for tasks like note-taking during consultations.
- 💻 The team includes founding members and the CEO, demonstrating significant leadership involvement and a direct impact on the project's advancement.
- 📈 Rapid advancements in AI technology pose challenges as the 'truth of today' may quickly become outdated, necessitating a highly adaptable and flexible approach to project management and implementation.
- 🔧 The introduction of an internal tool named 'Docto GPT' allows Doctolib staff to access LLM securely, fostering familiarity with the tech and encouraging innovative uses within the company.
- 🌐 The Working Group formed to explore AI applications at Doctolib includes a diverse mix of roles—from engineering to legal—ensuring comprehensive coverage of ethical, technical, and practical aspects.
- 📊 Real-world applications of the AI tool at Doctolib include creating more efficient documentation workflows and potentially enhancing diagnostic processes, illustrating the practical benefits of AI in healthcare.
- 🔍 Challenges in implementing AI involve managing costs, optimizing GPU usage for model training and inference, and integrating new AI technologies with existing data infrastructure.
- 👨⚕️ The medical assistant AI focuses on reducing administrative burdens, allowing practitioners to spend more time on patient care and improving the overall quality of medical documentation.
- 🔄 Nassim emphasizes the importance of continuous learning and adapting within AI projects to keep pace with rapidly evolving technologies and to maximize their potential impact.
Q & A
What is the main focus of the medical assistant project at Doctolib?
-The medical assistant project at Doctolib is focused on creating a collection of use cases that facilitate the work of medical practitioners. It aims to generate consultation notes from the interaction between the doctor and the patient, thereby reducing administrative tasks and allowing doctors to focus more on patient care.
How does Doctolib's CEO contribute to the AI strategy?
-The CEO of Doctolib is very directly involved in the AI strategy, showing a high level of commitment and regular engagement with the project. He has spent time understanding the intricacies of neural networks and deep learning models, demonstrating a personal enthusiasm that aligns with the company's strategic direction.
What is the role of the Working Group in the development of AI at Doctolib?
-The Working Group at Doctolib was created to understand the use of Large Language Models (LLMs) within their tech stack. It aimed to identify potential use cases for LLMs within the company and has evolved to prioritize use cases that have a significant impact on users while considering the associated risks, especially in the medical field.
How does Doctolib ensure the secure and effective use of LLMs by its employees?
-Doctolib developed an internal tool called Doctolib GPT, which is based on foundational models and allows any Doctolib employee to securely access an LLM. It enables users to choose different types of LLMs for various use cases and to perform prompt engineering in a user-friendly manner.
What are some of the use cases that have emerged from the AI strategy at Doctolib?
-Some of the use cases include generating consultation notes from medical appointments, creating referral letters to specialists, and leveraging LLMs to improve the documentation process for doctors, which can enhance the quality of patient care and free up time for doctors.
How does Nassim, the Senior Director of Data and AI at Doctolib, perceive the challenges in deploying a generative AI strategy?
-Nassim sees the rapid pace of change as a significant challenge, noting that the 'truth' of today can be invalidated weeks later. This requires a highly flexible and agile approach to stay adaptable and iterate quickly based on new insights and developments in the field of AI.
What is Nassim's background prior to joining Doctolib?
-Nassim worked for 15 years in the travel industry, with about half of his career in software engineering and the other half in data-related fields, including data science, analytics, data engineering, and traditional BI. He managed the reservation engine for a part of Expedia and later transitioned into the world of data.
How has the COVID-19 pandemic impacted Nassim's previous work in the travel industry?
-The COVID-19 pandemic had a significant impact on the travel industry, leading to less favorable periods with fewer opportunities for innovation. The part of Expedia where Nassim worked was acquired, and he foresaw several years of system integration work, which he had already experienced in his career.
What motivated Nassim to transition from the travel industry to Doctolib?
-Nassim was motivated by the desire to have a direct impact on users and patients and to contribute to the healthcare system. He was attracted by the opportunities at Doctolib and the chance to work on projects that would directly benefit users, rather than focusing on internal constraints or integration projects.
What is Doctolib's approach to integrating AI into its products and services?
-Doctolib has taken a holistic approach, considering the entire lifecycle of a doctor's day and identifying areas where AI can add value. They have focused on use cases that solve real business problems and have a significant impact on users, while also considering potential risks, especially in the medical context.
How does Doctolib ensure that its use of AI aligns with its broader company strategy?
-Doctolib ensures alignment by involving representatives from various departments, including engineering, product, data science, legal, and ethics, in the development of its AI strategy. This cross-functional approach helps to consider the implications of AI from multiple perspectives and ensure that the technology is used responsibly and effectively.
Outlines
🚀 Launching Medical Assistant Projects with Doctolib
This segment introduces the development of medical assistant tools aimed at easing the workload for practitioners. The involvement of Doctolib's CEO and founders in this project is highlighted, showcasing their direct commitment to the innovation's progress. The challenge faced is the rapid evolution of technology, which can make today's solutions outdated in mere weeks. Nassim, the senior director of data and AI at Doctolib, is featured, discussing the strategic deployment of generative AI in healthcare to address these challenges.
🔍 Exploring the Generative AI Strategy at Doctolib
Nassim delves into the specifics of implementing a generative AI (Ji) strategy within Doctolib. The focus is on the impacts and opportunities revealed by AI technologies like ChatGPT. A Working Group was established to explore use cases for LLMs (Large Language Models) in their system, resulting in the creation of 'Docto GPT,' an internal tool. This tool enables employees across the company to access and utilize LLMs securely, promoting a broader understanding and integration of AI within their existing frameworks.
👨⚕️ Enhancing Healthcare with LLMs in Medical Consultations
This section describes how generative AI is used to improve documentation and efficiency in healthcare consultations. LLMs play a pivotal role in generating consultation notes, extracting medical facts, and even creating documentation for patients and referral letters. The discussion emphasizes the potential of LLMs to significantly reduce the administrative burden on practitioners, allowing them to focus more on patient care rather than paperwork.
📈 Integrating AI Technology in Doctolib's Operations
Nassim provides an overview of the technical and operational challenges in integrating AI into Doctolib's existing infrastructure. He describes the extensive cross-disciplinary team involved, ranging from engineering to legal, all contributing to the project's development. This holistic approach ensures that AI tools are not only technically sound but also fit within the regulatory and ethical frameworks necessary for healthcare applications.
🌐 Adapting to Rapid Changes in AI Technology
In this segment, the focus shifts to the broader challenges and strategies associated with managing rapidly evolving AI technologies. Nassim discusses the need for flexibility and agility in their AI initiatives, as changes in the field can quickly render current strategies obsolete. He also highlights the importance of ongoing learning and adaptation within the organization to keep pace with technological advancements.
🌟 Personal Insights and Professional Journey in AI
The final paragraph provides a personal touch, with Nassim sharing insights into his own professional journey and experiences in AI. He reflects on the continuous learning and adaptability required in the field, and shares valuable advice he received from family and mentors about maintaining an open mind and seizing opportunities without self-imposed limitations.
Mindmap
Keywords
💡Medical Assistant
💡AI Generative Strategy
💡Docto GPT
💡Use Case
💡Data Science
💡LLM (Large Language Model)
💡Prompt Engineering
💡Healthcare System
💡Teleconsultation
💡Working Group
💡GPU (Graphics Processing Unit)
Highlights
The creation of a Working Group to explore the use of Large Language Models (LLM) within the company's technology stack and identify potential use cases.
Doctolib's development of an internal tool called 'Docto GPT', allowing secure access to foundational LLM models for various use cases.
The direct involvement of the CEO and a cross-functional team in advancing the AI strategy, reflecting the company's commitment to innovation.
The identification of use cases prioritized by their impact on users, aiming to solve real problems and considering potential risks, especially in the medical field.
The emergence of 'Medical Assistant' as a collection of use cases designed to facilitate the work of medical practitioners.
The use of LLM to generate consultation notes, aiming to reduce the administrative burden on practitioners.
The importance of structured documentation to improve the quality of patient care and medical knowledge extraction.
The integration of various technologies such as speech-to-text and medical fact extraction to create a comprehensive solution.
The monitoring and feedback from internal users of Docto GPT, revealing a range of applications from idea generation to professional tasks.
The construction of an ecosystem around the use cases, including integration with existing tools like Slack and the development of professional offerings.
The challenge of rapidly evolving technology and the need for agility and continuous learning within the team.
The establishment of a core team of 10 to 15 people with diverse skills, supported by a larger group for rapid iteration and innovation.
The strategic importance of AI and LLM for Doctolib's product and the company's proactive approach to staying ahead in the field.
The potential of LLM in the medical field, including anecdotal reports of accurate diagnoses from analyzing patient records.
The future outlook on the use of AI in healthcare, with a focus on administrative relief for practitioners and the possibility of deeper medical applications.
The recommendation to listen to the 'Acquired' podcast, particularly the episodes about Nvidia, for insights into the hardware enabling AI advancements.
The passion for data driven by the constant change and the intellectual stimulation of learning new things every day.
The advice from Nassim's mother about not closing doors on oneself and allowing the environment to determine the right opportunities.
Jeff Bezos' 'regret minimization framework' as a guiding principle for making important decisions without future regrets.
Transcripts
pour donner un exemple on a commencé à
la sortie de ce Working Group à
travailler sur le medical assistant qui
est vraiment une collection de use case
qui permettent de faciliter la vie des
praticiens on a effectivement au sein de
l'équipe deux des fondateurs de doct lib
qui travaille sur ce projetl pour le
faire avancer on a une implication très
directe du CEO et de manière très
régulière le gros challenge il est
évident c'est que c'est c'est pas encore
sec les choses bougent très très très
vite et donc la vérité du jour va être
complètement invalidé de semaines plus
tard alors aujourd'hui je reçois Nassim
qui est senior director data n ai chez
doctolib La Licorne française qu'on ne
présente plus qui propose notamment une
plateforme de prise de rendez-vous avec
des médecin qui permet également de
faire de la téléconsultation aujourd'hui
Nassim va nous parler d'un de ses plus
gros challenges de ces derniers mois à
savoir comment déployer une stratégie Ia
générative aka j ai pour les
connaisseurs pour info on avait déjà eu
Kemal qui était anciennement directeur
d'Atach et d'ctolip qui était venu sur
le Podcast dans l'épisode 11 donc ça
remonte un petit peu qui nous avait
parlé un peu plus globalement de la data
chez doctolib pour ceux qui auraient
envie de creuser un peu plus et
également plus récemment Lucy qui est
venu nous parler du déploiement à
l'échelle d'un nouvel outil de Business
Intelligence notamment tableau donc je
vous mettrai bien sûr les liens en
description pour ceux qui veulent aller
voir ça hoassim ça va ça va bien Rob et
toi super écoute je suis ravi de te
recevoir ça doit remonter à 2 ans
c'était fait un déj c'est ça quelque
chose comme ça oui c'est ça et on
s'était dit qu'on ferait un quelque
chose ensemble et puis on était resté en
contact et puis enfin on arrive à faire
cette ép enfin on y est enfin on y est
donc je suis trop content peut-être pour
commencer est-ce que tu souhaites
compléter un peu sur doctoli par rapport
à ce que j'ai dit alors il y a quelques
points que je souhaiterais rajouter
parce que ça va aider en fait à mieux
comprendre ce dont on va parler juste
après donc ce qu'on connaît de doct lib
c'est la plateforme de réservation de
rendez-vous médicaux c'est la
téléconsultation c'est ce que tu as
mentionné mais évidemment de l'autre
côté du miroir on a toute une série de
logiciels pour les praticiens le plus
évident qui est lié à la plateforme de
réservation c'est la gestion de l'agenda
des praticiens donc pour pouvoir bah
gérer leur rendez-vous en fonction de
leur propres contrainte en fonction des
plages qu'ils souhaitent ouvrir pour
pouvoir optimiser leur prise de
rendez-vous mais à côté de ça on a aussi
ce qu'on appelle le logiciel clinique
qui est le logiciel que les praticiens
utilisent de façon à gérer leurs
consultation donc typiquement tout ce
qui se passe entre le moment où le
praticien demande la carte vitale et
l'insert dans le lecteur et le moment où
à la fin de la consultation on clos et
on passe à la partie facturation et
envoie des informations à la S et aux
assurances on a un logiciel qui gère
tout ça et en fait c'est plutôt sur
cette partie du logiciel doctolib qu'on
va travailler avec de l' générative donc
je voulais le mentionner parce que c'est
la partie que les auditeurs en général
ne connaissent pas du tout hormis les
praticiens qui nous utilisent excellent
bah tu fais bien du coup on va creuser
un petit peu justement comment l'
générative s'insère dans cette partie là
de des solutions de docte lib un petit
peu plus tard juste avant ça comment toi
tu t'es retrouvé senior director data
and AI chez Doct lib alors c'est
toujours une longue histoire je vais
essayer de la faire quand même assez
courte et j'ai travaillé avant de
rejoindre Doct lib 15 ans dans le voy
avec grosso modo la moitié de ma
carrière dans une partie software
engineering plus classique et la
deuxième partie euh vraiment data en
rentrant par la data science Analytics
et puis ensuite plus du Data engineering
et du BI traditionnel donc j'ai vu un
petit peu un petit peu toute la chaîne
le passage vers la data c'était
intéressant je gérais le moteur de
réservation d'une partie d'expédia donc
une agence de voyage de voyage en ligne
et ont généit énormément de données on
se doutait on avait des choses
intéressantes à faire et c'est par ce
chemin là en fait que je suis arrivé
dans le monde de la data après donc je
parlais du travel euh donc du monde du
Voyage évidemment euh le covid a eu un
impact sur ce qu'on était en mesure de
faire donc on a eu des périodes qui
étaient moins sympas que d'autres euh
avec clairement moins de perspective
pour pouvoir bah faire des choses
intéressantes on a eu aussi d'autres
d'autres aspects la la partie d'expédié
où je travaille s'est faitre racheté je
savais qu'on en avait pour quelques
années d'intégration de système à faire
fa c'est des projets qui sont très
intéressants mais j'avais déjà vu ça
dans ma carrière donc j'avais envie de
de voir aussi autre chose et c'est à ce
moment-là que bah le fameux Kemal de
l'épisode 11 m'a passé un coup de fil et
donc je me suis dit que ça serait bien
de commencer à regarder ce que Doct
proposait et ça semblait super
enthousiasment énormément d'opportunités
et puis le moyen d'avoir un véritable
impact sur les utilisateurs sur les
patients et en fait sur le système de
santé dans les pays où on opère donc
c'est assez c'est assez fantastique et
j'avais besoin de retrouver ce lien avec
l'impact sur les utilisateurs plutôt que
de repartir sur des projets
d'intégration un peu plus euh presque
exactement on est plus centré sur nos
propres contraintes plutôt que sur
fournir de la voaleur aux utilisateurs
ouais ça fait sens aujourd'hui tu as mis
en place chez doctolib la stratégie
Ji tu peux nous en dire un peu plus sur
le contexte autour de ce challenge en
fait c'est un un faisau de différentes
choses qui sont qui sont arrivées qui
sont concentré à peu près en même temps
évidemment il y a chat GPT qui a secoué
un petit peu tout le monde et qui qui a
montré qu'en fait les gérative c'était
pas simplement des modèles qui
arrivaient à faire des choses mais
c'était un produit que des utilisateurs
arrivaient à leverager pour faire des
choses utiles y compris dans un contexte
professionnel euh pour prendre un peu de
recul j'avais eu l'occasion d'utiliser
gbt3 en avant-première quand j'étais
chez expéia parce qu'on avait Sam Altman
au board et donc il avait sélectionné
quelques data scientist et quelques
personnes dans la boîte pour l'utiliser
donc les les modèles existent depuis
longtemps ils étaient pas aussi bons à
l'époque mais la vraie difficulté
c'était de trouver un usage et donc je
pense que chat GPT a montré que bah
finalement le public était sensible à
aux nouveaux usages que ce genre d'outil
permettait d'avoir donc ça ça a été un
premier point de départ évidemment les
choses ont commencé à euh à bouillonner
un petit peu côté produit on a commencé
à se demander ce qu'on pouvait ce qu'on
pouvait en faire côté é qu' on essayait
de cerner un petit peu parce que ça
change très très rapidement cerner un
petit peu ce que ça signifiait
d'utiliser ce genre d'outil là et donc
on a on a créé un Working Group pour
essayer de comprendre spécifiquement des
LLM comment les utiliser dans notre
stack et en parallèle regarder les types
de use case qu'on pourrait mettre en
place au sein de doctolib et qui
lvraerit ses outils c'est vraiment comme
ça que ça a avancé on va dire de manière
organique et puis on a eu aussi des
retours un petit peu plus topd où je
pense que tout le monde s'est rendu
compte qu'il y avait de grosses
opportunités et puis de se dire ben
voilà on on sent qu'il y a des des
besoins qui peuvent être servis par ce
genre d'outil on sent qu'il y a une
volonté du leadership d'avancer
là-dessus comment on y va c'est
intéressant de de de réfléchir à ce qui
est sorti de ce Working Group en fait il
y avait deux grands points qui en sont
sortis le premier c'est que c'est un
outil tellement nouveau qu'il faut
pouvoir le mettre dans les mains de
autant de personnes que possible au sein
de l'entreprise pour pouvoir se
familiariser et avoir vooir une bonne
idée de comment utiliser des LLM ce que
ça peut faire ce que ça ne peut pas
faire et puis comment tirer un maximum
de valeur en fait de de ces outilslà
donc pour ça on on a développé un outil
interne qui se base évidemment sur des
modèles fondationnels qui s'appelle
docto GPT et qui permet à n'importe quel
docto liber d'avoir accès à un LLM de
manière secure et de pouvoir même
choisir différents types de LLM en
fonction des use case de faire du prompt
engineering de façon un peu confortable
et donc de commencer à se faire une idée
de ce que ça permet de faire et à
destination vraiment de tout le monde
aussi bien les équipes tech and produit
que les équipes business donc ça c'était
un outcome comment est-ce qu'on met j
entre toutes les mains et comment on
permet aux gens de se familiariser avec
cetette outil le deuxième outcome qui
est sorti c'était vraiment une liste de
use case qui était priorisé à la fois
par l'impact sur nos utilisateurs donc
on voulait vraiment résoudre un problème
utilisateur et pas juste se dire B on a
un outil c'est cool comment on peut le
mettre dans le produit donc comment on
résout un problème utilisateur et
ensuite quels sont les risques
potentiels qui sont associés on
travaille dans le domaine médical une
hallucination dans le domaine médical
c'est pas la même chose qu'une
hallucination quand je demande à chat
GPT de me sortir quelques idées donc
évidemment on a pris cette composante en
considération et à la fin du de ce
Working Group là on avait quand même une
liste assez précise de use case qu'on
aimerait qu'on aimerait commencer à la
clé euh en se basant sur des vrais
problèmes métiers à résoudre tu peux
peut-être nous en illustrer un ou deux
justement de use case qui qui a commencé
à émerger du coup je sais pas quel est
le niveau de maturité que vous avez
là-dessus mais la manière dont on en
parle aujourd'hui est différente de la
manière dont on en parlait à la sortie
du Working Group où ça ressemblait un
petit peu à un patchwork de différents
types de use case potentiel maintenant
la manière dont on en parle est beaucoup
plus holistique donc pour donner un
exemple on a commencé à la sortie de ce
Working Group à travailler sur le
medical assistant qui est vraiment une
collection de use case qui permet de
faciliter la vie des praticiens donc si
on prend euh toute la chaîne donc
pendant une consultation médicale l'idée
c'est de se dire qu'on peut à partir de
l'échange entre le praticien et le
patient générer à la fois évidemment un
transcript de ce qui s'est passé mais
surtout des notes de consultation qui
permettent au praticien de documenter ce
qui s'est passé aujourd'hui les les
praticiens alors ça dépend des pays ça
dépend des spécialités ça dépend des
contextes mais en en général document
assez peu ce qui se passe dans une
consultation parce que c'est pénible il
préfère bah faire leur métier et
travailler avec les patients et et leur
apporter le meilleur soin possible
plutôt que de passer la journée à taper
sur un clavier donc ça va permettre
d'avoir de la meilleure documentation ça
va leur permettre de leur libérer du
temps et puis ensuite ça va être aussi
une brique qui nous permet de mieux
extraire de la connaissance médicale et
de la structurer dans le dossier médical
des patients pour qu'à la consultation
suivante le soin puisse être d'encore
meilleure qualité donc quand on regarde
en fait tout ça on a beaucoup de briques
une des briques c'est du LLM pour
pouvoir générer ces notes de
consultation on a d'autres briques plus
du speech to text
évidemment de l'extraction et de la
codification de faits médicaux donc
plusieurs types de modèles et c'est
vraiment un système c'est pas juste un
seul modèle qui permet de résoudre ce ce
problème particulier mais le LLM est
vraiment au cœur de ça et ensuite si on
va un petit peu plus loin on sait qu'on
aura d'autres types de documents qu'on
souhait régénérer et les LLM vont être
évidemment au cœur de la solution à ce
type de problème là que ce soit des
potentiellement de la documentation à
destination des patients potentiellement
des lettres d'adressage et cetera et
cetera et si je reviens une seconde sur
le premier élément dont tu as parlé un
peu le Doct GPT donc ça c'est
intéressant parce que je pense qu'il y a
énormément de boîtes qui ont aussi eu un
peu cette stratégie là pour aussi
simplement avoir un terrain de jeu et
faire émerger des idées peut-être
là-dessus tu as une illustration ou deux
de
d'éléments qui vous ont fait mûir grâce
à ce projet là est-ce que vous avez pris
du feedback de de vos collaborateurs qui
utilisent le plus parce que je suppose
que bon tout le monde s'est peut-être
pas jeté dessus comme dans tout produit
tu as toujours des Orly adopteur
d'autres qui mettent un peu plus de
temps enfin comment ça s'est passé un
peu cette prise en main de d'octogpt en
interne donc on a effectivement
monitorer l'usage et on se rend compte
qu'on a
environ un/art de la boîte qui lu
utilise de manière régulière donc c'est
c'est vraiment pas mal en fait les types
d'usage peuvent être très très
différents on a beaucoup d'usage de type
idéation je pense qu'on le on le fait
tous pour pouvoir générer des idées et
s'assurer que on rate pas d'opportunités
quand on est au début de du défrichage
d'un sujet on voit ce genre de use case
là qui permet de faire gagner du temps
beaucoup de génération de résumé euh
donc dans certains cas ça peut être
quand on reçoit des emails un petit peu
longs on les fait d'abord pass dans la
moulinette de docte GPT pour avoir une
idée des points saillant ça c'est des
types d'usage qui reviennent et puis on
a des des usages un petit peu
plus directement lié à l'activité
professionnelle des collaborateurs qui
là implique d'avoir vraiment du prompt
engineering et même du templating en
fait de prompt qui leur permett de
répondre à des problèmes qu'ils ont de
manière récurrente rapidement donc on a
ces ces trois grands type de use case il
y en a sans doute d'autres encore mais
c'était vraiment vraiment ce qu'on a vu
après pour passer
pour passer à l'étape d'après là on
parle vraiment de quelque chose à
destination d'utilisateur interne pour
leur propre efficacité et leur
productivité on commence à voir un
écosystème se construire autour de ce
genre de use case là typiquement on sait
que si on veut aller plus loin il va
falloir s'intégrer avec différents types
d'interfac on a déjà une intégration
avec SLAC mais on sait qu'on en aura
sans doute d'autres qui pourrai être
utile avec tous vos outils que vous
utilisez déjà au quotidien quoi dans les
différents départements exement
complètement donc sur la partie Channel
et puis sur la partie contenu euh on a
toute la partie de pouvoir bah
finalement faire du rag donc retrieval
augmented generation euh où on va
indexer du contenu pertinent pour les
collaborateurs de manière à ce qu'ils
puissent l'utiliser à travers d'octogpt
et là encore on commence à avoir des
offres plus professionnelles qui se
structurent donc doctoogpt est super
pour nous permettre de comprendre les
usages et les anticiper euh et puis
ensuite il va falloir qu'on ait une
discussion sur comment on passe à une
étape un petit peu plus industrielle
c'est intéressant je rejumpe une seconde
désolé je passe un peu du coocalan sur
la vision aussi de ce que tu nous disais
des du coup des solutions un peu plus
core product si je puis dire c'est
celles qui sont un peu plus au cœur du
produit est-ce que là-dessus il y a une
autre illustration parce que ça permet
vraiment de se projeter c'est
intéressant je trouve de voir des usages
même si c'est très spécifique au monde
médical mais c'est intéressant je pense
pour pour l'audience et tu tu parlais
parle des lettre de d'adressage
peut-être tu peux nous réillustrer juste
un deuxième exemple pour qu'on l' en
fait à la fin d'une consultation
médicale en particulier avec un
généraliste le l'issue peut être
d'adresser euh le patient à un confrère
et souvent un spécialiste pour pouvoir
faire poser un diagnostic plus avancé
des examens complémentaires et cetera et
et et en fait une une bonne partie de
leur temps peut être consacré à générer
ces lettres d'adressage euh donc c'est
des choses on se l'imagine pas mais de
pouvoir choisir en fonction du féminin
masculin euh tutoiement ou
vousouvoimement du confrère s'ils se
connaissent ou pas et puis tout un
certain nombre d'informations
pertinentes à transmettre euh dans le
courrier d'adressage euh ça peut
entraîner une complexité qui est
infernale à gérer avec des outils de
type formulaire et clickbox euh donc on
on sait qu'il y a une opportunité ici
d'améliorer l'utilisation des praticiens
et puis leur usage en faisant usage de
LLM euh pour pouvoir générer quelque
chose de plus pertinent plus rapidement
potentiellement exhaustif en tout cas le
le choix de ce qu'il faudra mettre sera
toujours laissé au praticien mais
effectivement on sait que c'est quelque
chose qu'il va falloir qu'on regarde
mais typiquement ça fait partie des
types de use case qui à terme font
partie de cette galaxie de medéical
assistant puisque ça leur permettra de
gagner du temps pour euh voilà pour
générer leur leur non en fait on peut
c'est vrai que sur si on commence à
découper vraiment le le cycle de vie
entre guillemets d'une consultante ou de
en tout cas d'une journée pour un
médecin il y en a probablement pas mal
effectivement des cas d'usage où le LLM
comme ça va pouvoir avoir de l'impact
sur du temps gagné pour qu'ils puisse
mieux se concentrer aussi sur le côté
humain de leur métier complètement c'est
c'est exactement l'objectif et en fait
la la raison pour laquelle des outils
comme les LLM peuvent vraiment aider
dans ce dans ce genre de contexte c'est
qu'en réalité quand on regarde à la fois
ce qui se passe pendant une consultation
mais l'industrie médicale énormément de
contenus non structuré généré et quand
je dis ça c'est finalement bah des notes
de consultation des rapports des
documents ça peut être de l'imagerie
aussi et donc des outils comme les LLM
permettent de nativement en fait
travailler avec ce contenu avec ces
données là et c'est pour ça qu'on a ce
genre d'adéquation là on a des
inadéquations je mentionnais typiquement
le risque d'hallucination dans un
contexte médical où bah là non c'est pas
top les choses plus déterministes
fonctionnent mieux mais c'est c'est
vraiment ce qui fait que sans essayer de
forcer le cas d'utilisation on se rend
compte qu'il y a un match entre le
besoin utilisateur et le LLM comme une
manière de le résoudre je serais curieux
que tu nous expliques un petit peu
comment vous êtes organisé pour avancer
sur ce sujet tu parlais notamment d'un
Working Group de qui il était constitué
c'est intéressant il a peut-être des
boîtes qui sont voilà un petit peu à ce
stade là et qui se demandent un peu qui
mettent à la table pour avancer vite sur
le sujet et puis maintenant que vous
êtes plus mature comment ça se structure
comment ça impacte un peu peut-être
l'équipe data probablement l'équipe tch
l'équipe produit enfin sur le Working
Group on a essayé de mettre un petit peu
tout le monde donc des représentants
d'ingineering product data science on a
eu aussi des représentants des équipes
légales éthiques parce que ce genre de
technologie ouvre aussi de nouvelles
questions et donc on veut on veut
pouvoir les prendre en compte vraiment
dès le départ donc on a essayé de de
prendre assez large pour être sûr de
pouvoir regarder la question sur toutes
ces facettes et pas uniquement sous une
facette produit ou technologique euh
donc ça ça c'était vraiment au début
quand on défrichait le sujet maintenant
si on si on parle de la partie medéical
assistant où là on est un peu plus
mature et en mode ben finalement livrer
un produit dont les LLM sont une des
composantes là on a une équipe une
équipe transverse engineering data et
product qui forment le le cœur de
l'équipe sur finalement la la création
du système mais on a aussi des
interlocuteurs dédiés que ce soit chez
les équipes sécurité les équipes légales
pour s'assurer que comme on est encore
en train de de de finalement
défricher ce sujet-là qu'on puisse avoir
des réponses rapides et des
interlocuteurs privilégiés typiquement
avoir des points de contact stables au
sein des différentes organisations de
l'entreprise permet bah de capitaliser
et puis de s'assurer qu'on est aussi
aussi efficace que possible on sait
qu'on veut itérer rapidement on sait
qu'on veut avancer vite donc c'est
vraiment du all hands on deck et
d'ailleurs quand on s'était appelé tu
m'avais dit que justement tu avais
trouvé ça assez incroyable la manière
dont doctolib prenez en main euh des
sujets qui comme ça étaient cœur et que
quand vous avez ce type de situation euh
finalement la boîte a gardé une ADN
entre guillemets start-up dans le sens
où tout le monde est capable de
peut-être se reprioriser et de se mettre
comme tu dis hens on deck pour avancer
vite y compris même des fondateurs et
cetera jeis c'est intéressant peut-être
que tu nous racontes ça complètement oui
et et en fait venant d'une entreprise un
petit peu plus mature et structurée
c'est c'est assez impressionnant en fait
de voir tout ça tout ça se mettre en
branle on a effectivement au sein de
l'équipe deux des fondateurs de docte
lib qui travaillent sur ce projet-là
pour le faire avancer on a une
implication très directe du CEO et de
manière très régulière déjà je pense que
ça l'enthousiasme personnellement mais
c'est aussi quelque chose qui est clé
pour pour l'entreprise et pour la
stratégie de l'entreprise en général il
est vraiment à fond sur le sujet donc
j'avais passé je pense 2 heures avec lui
pour lui expliquer comment fonctionnait
un réseau de neuron et je sais qu'il a
passé du temps avec des Data scientist
de mon é ipe aussi pour rentrer plus
dans le détail de comment on F tune un
modèle de Deep learning donc donc on va
assez loin et puis ça donne aussi une
idée du du sponsorship au sein du
leadership de la boîte qui nous permet
effectivement d'avancer rapidement et
côté tech comment ça fonctionne comment
ça se passe quel a été l'impact global
sur la tech sur la stack data existante
comment les nouvelles briques ont été
intégrées dans la stack existant je sais
pas si tu peux nous parler un petit peu
de cet aspect là oui je peux au moins
donner un overview parce qu'on on s'est
fait effectivement une liste de je crois
16 capabilities machine learning sur
lesquels on veut avancer on va pas faire
l'inventaire ici euh mais on en a
quelquesunes qui sont évidentes liées au
LLM sur lesquelles il a fallu qu'on
qu'on travaille et qu'on avance un petit
peu un petit peu plus rapidement de
manière évidente on a le fait d'être
capable de d'avoir des réservations de
GPU euh tout ce qu'on fait avec D LLM
que ce soit de l'inférence ou que ce
soit du fine tuning c'est des choses qui
demandent énormément de ressources et de
ressources GPU c'est quelque chose qu'on
avait pas forcément l'habitude de
manipuler euh chez docteur to lip jusque
là donc on on on a dû mettre ça en place
de manière à pouvoir à la fois avoir le
provisioning nécessaire pour faire de
l'inférence et puis pour pouvoir tester
de nouveaux modèles de nouveaux LLM
chose qu'on avait pas forcément avant
quand tu dis de l'inférence pour ceux
qui peut-être sont pas famili avec le
terme c'est tout simplement quand tu vas
vouloir faire un appel au LLM ça demande
de la ressource et ça ça s'achète ou ça
se paye après il y a différentes
manières de l'avoir si tu veux pas faire
n'importe quoi faut quand même mettre le
nez dedans et comprendre comment ça
marche pour pas non plus avoir un coup
qui explose et cetera c'est ça alors oui
effectivement le coup est quelque chose
qu'on surveille qu'on surveille mais
même si pour l'instant c'est largement
sous contrôle et ça en vaut la peine
mais les GPU c'est quelque chose de de
nouveau à manipuler et
typiquement je pense c'est plutôt en
terme
d'efficacité qu'on regarde également
s'assurer qu'on a les bons outils pour
optimiser l'utilisation des GPU qu'on a
réservé parce que ça se fait pas tout
seul il y a quelques outils à à à
manipuler pour s'assurer que ça soit
effectivement le cas tu pens CER un ou
deux comme ça juste sans qu'on rentre
dedans maispiquement le le serveur
d'inférence Triton par exemple c'est
quelque chose que quelque chose qu'on
doit utiliser et qu'on apprend à
utiliser de manière à avoir une
meilleure utilisation de GPU ensuite on
parlait de la partie rag tout à l'heure
pour faire super simple bah c'est des
documents indexés par un vecteur disons
des
chiffres il y a des bases de données qui
sont spécifiques pour résoudre ce genre
de problème là mais on a aussi un
certain nombre de bases de données qui
existaient déjà et qui font ce genre de
chos là là le la question c'était de
voir est-ce qu'on a finalement des
composants qui existent et qu'on
pourrait leverager pour faire du rag et
donc pour indexer des documents qu'on
souhaiterait utiliser avec des LLM donc
là là effectivement on a commencé à
implémentter un rag avec des outils
qu'on maîtrisait déjà ce qui permet de
effectivement d'aller plus vite et de
s'insérer mieux dans l'infrastructure
qu'on avait actuellement à quel outil tu
penses quand tu dis ça là aujourd'hui on
utilise du open search qui est quelque
chose qu'on qu'on utilise isait déjà
pour d'autres types de use case et donc
le le passage à l'utilisation dans le
cadre du rag était était quelque chose
d'assez naturel et et d'assez facile et
puis après le le dernier point c'est sur
toute la partie llms où là je pense que
tout le monde en est au tout début on a
pas mal de choses qui sont encore in
housee donc il faut qu'on regarde
comment est-ce qu'on peut industrialiser
ça un petit peu plus le faire de manière
qui soit répétable voir les types
d'outils qu'on pourrait leverager
sachant qu'il y en a pas encore
énormément et puis qu' sont aussi dans
leur euh dans leur enfance aussi donc là
là c'est un champ qui est vraiment en
train d'évoluer très très rapidement
parce que là l'enjeu pour le LLM h si tu
synthétises c'est qu c'est de s'assurer
que vous avez tout ce qui est bien en
place pour pas pour faire le monitoring
qui est lié à ses modèles pour les
suivre dans le temps pour les faire
évoluer facilement en général quand on
parle d'ops j'essaie de synthétiser
c'est c'est exactement ça donc il y a
effectivement un aspect un aspect
monitoring mais disons pour prendre un
use case très très TR simple qu'on veut
craquer mettons qu'un nouveau modèle est
réisé ou qu'on veille tester un nouveau
prompt comment on s'assure que en
cliquant sur un bouton on est capable de
rapidement savoir quelle est la
performance de ce nouveau modèle de ce
nouveau prompt et ensuite comment est-ce
qu'on peut opérationnaliser le fait de
pouvoir le mettre en production donc là
on a vraiment toute une chaîne qui
ressemble finalement à du à du
cicd dans du développement exactement
exactement quelles ont été les plus
grosses difficultés tu dir
que vous avez rencontré en tant
qu'équipe justement dans le cadre de ce
projet le gros challenge il est évident
c'est que c'est c'est pas encore sec les
choses bougent très très très vite et
donc la vérité du jour peut être
complètement invalidée de semaines plus
tard et pas juste légèrement remise en
question invalidé donc ça ça nécessite
de mettre en place ce qu'il faut pour
être pour être super flexible parce que
le brouillard de de guerre il est à 1
mois à 2 mois il est pas à 2 ans euh
donc donc on a besoin de d'être super
agile pour pouvoir pour pouvoir
rapidement apprendre etitérer et en
réalité c'est un de nos objectifs sur
les projets qu'on met en place de voir
comment est-ce qu'on peut apprendre le
plus rapidement possible et itérer parce
que c'est cet apprentissage qui nous
permettra ensuite de mieux suivre
l'évolution du domain euh plutôt que de
se dire on on fige un choix maintenant
et et on sait que les choses avancent
tellement vite que bah peut-être que on
sera complètement obsolète dans 3 mois
et une question que je me posais une
seconde tu dirais qu'il y a combien de
personnes là chez Doct lib qui qui sont
dédiés à temps plein sur ce sujet je
pense vraiment sur la sur la Core Team
on doit parler de 10 à 15 personn ok là
encore tout type de de skills confondu
data engineering
product après on a une équipe un peu
plus étendue qui sont peut-être pas à
temps plein mais qui comp pas forcément
à temps plein mais en tout cas super
réactif et dédié au projet et donc donc
ça augmente encore un petit peu le on va
dire la la taille de l'équipe qui
travaille de manière régulière dessus
mais c'est un gros effort déjà au final
15 personnes c'est une grosse quad quoi
donc oui oui oui ben on y met on y met
les moyens on pense que c'est c'est
quelque chose qui est qui est super
important pour nous juste sur les
challenges je t'ai un peu coupé tu
voulais en rajouter un ou c'est
peut-être lié au fait que les choses ne
ne ne soient pas encore sèches
mais l'intelligence artificielle en
général c'est un sujet compliqué et j a
rajouté à la fois de la complexité et de
la confusion donc ça nécessite beaucoup
beaucoup beaucoup de euh training de de
formation auprès de l'Organisation que
ce soit côté teacin de produit ou que ce
soit dans d'autres fonctions métier de
l'entreprise pour s'assurer que les les
sujets les enjeux soient bien compris et
honnêtement on voit avec les les
différentes initiatives de formation
assez large qui ont été mis en place et
qui continuent à être misise en place
que la la qualité de la discussion qu'on
peut avoir sur ces sujet là a vraiment
énormément augmenté et je pense que
c'est clé si on voit l'intelligence
artificielle et Ji comme un sujet de
Data scientist ça fonctionnera pas et
quelles sont les prochaines étapes sur
ce sujet j ai pour doctolib c'est pas
forcément pour doctolib là tout de suite
mais pour Ji dans dans le domaine de la
santé en général on on a beaucoup parlé
en fait de de la
partie documentation et soulager les
praticiens de leur tâches administrativ
qui constitue effectivement beaucoup de
temps mais on n'est pas for forcément
encore rentrer dans la partie euh
médicale à proprement parler et
l'utilisation de Ji dans ce cadrelà
c'est quelque chose que je vois arriver
à quelques années c'est pas quelque
chose pour lequel on est prêt tout de
suite mais on commence à avoir quelques
quelques retours anecdotiqu de personnes
qui n'arrivaient pas à être diagnostiqué
qui ont balancé leur dossier médical
dans chatgbt ce que je ne recommande pas
ne le faites pas euh mais qui pour le
coup ont eu un diagnostic qui s'est
avéré être le bon donc on on sent que il
y a quand même quelque chose à explorer
dans cette direction aujourd'hui le
sujet est clairement pas mature et puis
en terme de certification certifier un
LLM c'est sout très compliqué mais c'est
probablement vers ça vers ça qu'on peut
s'orienter plus tard donc sur
l'utilisation des LLM dans le domaine de
la santé je pense que c'est des choses
qui vont qui vont arriver en tout cas
qu'il faut surveiller écoute Nassim on
arrive sur les dernières questions
est-ce que tu as une rec ation de
contenu à partager à nos auditeurs alors
oui et ça va être un podcast parce que
en ce moment je cours beaucoup pour
préparer le Marathon de Paris et j'ai
besoin de longs podcast pour mes longues
sorties et un un très bon long podcast
c'est acquired et en particulier je vous
recommande les épisodes sur Nvidia ils
avaient tellement de choses à dire
qu'ils en ont fait trois plus un dédié à
Jensen donc le CEO de de Nvidia qui ils
viennent d'exploser leurs résultats au
jour où on par parle et c'est c'est
incroyable de voir comme toute cette
révolution a pu être enablée
par des
révolutions plus scientifiques sur
comment on crée des modèles comment on
les entraîne comment on construit des
modèles à des échelles phénoménal mais
aussi bah purement hardware d'avoir la
capacité de calcul pour faire ce genre
de choslà et donc toute l'histoire de
comment Nvidia on est arrivé à pouvoir
faire des des GPU ils font les GPU
NVIDIA c'est ça exactement ils font les
GPU sur lesquels les LLM sont entraînés
et sur lesquels les prédictions des LLM
sont effectuées donc l'inférence est
effectué c'est c'est assez c'est assez
fascinant donc je vous le recommande si
si vous avez un petit peu de temps je
mettrai ça dans la description qu'est-ce
que tu aimes dans la data le premier
c'est que c'est justement le fait que ce
ne soit pas sec et donc sur la partie g
c'est évident les choses changent super
vite et donc on apprend beaucoup et on a
besoin beaucoup de s'adapter et donc
c'est c'est super stimulant en fait fait
bah intellectuellement de de pouvoir euh
de pouvoir apprendre de nouvelles choses
tous les jours mais en réalité même sur
la partie euh plus Ingineering les
choses sont aussi moins stables que sur
du software engineering traditionnel où
on a quand même quelques grandes
recettes qui fonctionnent cette partie
vraiment euh alors d'essuyer les plâtres
mais au bon sens du terme c'est quelque
chose c'est quelque chose qui me
passionne euh et le le deuxième point
c'est en fait pas lié à l'activité
elle-même mais à ce qu'on en fait B cet
effet de à partir du moment où on a euh
où on a de la donnée ce sentiment que la
la lumière s'allume et puis les choses
commencent à avoir du sens on comprend
euh ce qui se passe que ce soit dans le
fonctionnement et le business de notre
entreprise euh dans certains phénomènes
qui peuvent nous aider ensuite à mettre
en place des modèles dans le produit
c'est assez euh c'est assez intéressant
et puis ça euh ça fonctionne bien avec
la méthode scientifique qui est quelque
chose qui me tient à cœur en général
qu'est-ce qui t'a le plus fait
progresser alors pour être honnête à
chaque fois qu'on pose cette question je
suis un peu un peu sec
euh et et quand je suis un peu sec je
demande à ma
femme et donc là ce qu'elle me disait
elle me connaît bien en fait c'est
plutôt une attitude générale de
d'essayer de systématiquement apprendre
des expériences pas uniquement des
échecs on a on entend souvent ça mais
des expériences en général à partir du
moment où je cesse d'apprendre bah j'ai
tendance à essayer de bah de faire autre
chose où je pourrais continuer à faire
ça donc c'est c'est plus que c'est un
driver dans dans ce qui me fait avancer
que on vare dire euh un un moment un
moment clé où je suis dit hop ça
débloque quelque chose c'est c'est plus
plus diffus plus continuel et voilà
c'est cet attrait pour l'apprentissage
et pour voir de nouvelles choses et
enfin quel est le meilleur conseil qu'on
t''est donné est-ce que j'ai droit à
deux conseils ouais allez alors un un
conseil on a fait ma femme on va faire
ma mère un conseil de ma mère sur le
fait de en fait ne pas se fermer de
portes soi-même et laisser les autres ou
l'environnement fermer les portes sur
soi souvent je j'avais tendance à me euh
mettre moi-même les limites sur les
choses à explorer ça peut être
différents moments dans ma vie où je
cherchais à la fois des opportunités
professionnelles et potentiellement
partir à l'étranger ou explore toutes
les portes tu verras cell qui reste
ouvert tu verras celle qui se ferme euh
et et en fait c'est un très très bon
c'est un très très bon conseil et et le
deuxième donc on arrête de faire ma
famille c'est Jeff Bezos euh c'est et
son fameux regret minimalization
framework donc de se dire à la à la fin
de ma vie est-ce que je regretterai de
ne pas avoir fait ça quand on se
retrouve face une décision importante on
retrouve un peu l'aspect bah continuer à
apprendre mais je pense que c'est
quelque chose de très important qui
permet de bah voilà de de se poser les
bonnes questions quand on est face à des
choix qui peuvent parfois être
cornéliens et donc celui-là j'essaie
j'essaie souvent de l'appliquer B écoute
Nassim on arrive sur la fin de cet
échange euh B peut-être dites-nous dans
l'audience ce que vous avez pensé de
cette discussion avec Nassim ce que vous
avez pensé plus spécifiquement de voilà
de de ce thème des As génératives c'est
un thème que on va essayer d'aborder de
plus en plus sur le Podcast bien entendu
parce que je pense qu'il est intéressant
donc si vous avez pensé à d'autres
questions que vous voudriez qu'on aborde
hésitez pas à me le mettre en
commentaire si vous êtes sur Youtube par
exemple ou si vous êtes sur les
plateformes audio à réagir sur le
posting DIN qu'on va faire avec Nassim
lorsqu'on sortira cet épisode
profitez-en pour vous abonner sur
YouTube sur Spotify vous êtes merci
beaucoup en tout cas Nassim d'être venu
partager ton expérience et nous
expliquer voilà un peu comment vous avez
pris ce sujet rain chez Doct lip cétait
vachement intéressant et puis je te dis
à bientôt merci Robin pour l'invitation
à bientôt
Browse More Related Video
![](https://i.ytimg.com/vi/ll5LY7wI_Xc/hq720.jpg)
Can AI Catch What Doctors Miss? | Eric Topol | TED
![](https://i.ytimg.com/vi/ttnVhGURmNQ/hq720.jpg?sqp=-oaymwEmCIAKENAF8quKqQMa8AEB-AH-CYAC0AWKAgwIABABGBkgYih_MA8=&rs=AOn4CLA-W8sMQriwf8VojMGc_FsxDb6K_g)
Know what a Medical Virtual Assistant from the Global Medical VA’s Managing Director, George Cortes
![](https://i.ytimg.com/vi/lrBXyV7y9yI/hq720.jpg)
Meet ROBO-DOC - The World’s First AI Hospital Unveiled With (Robot Doctors)
![](https://i.ytimg.com/vi/1fwsbNwU_ts/hq720.jpg?v=65fb45cc)
AI Generativa
![](https://i.ytimg.com/vi/XMh4c5UMpQE/hq720.jpg)
Insights for Doctors to Build Successful Businesses | Doctor’s Day | Ft. Shashank ND, CEO of Practo
![](https://i.ytimg.com/vi/N3wJwz97b8A/hq720.jpg)
The future of AI in medicine | Conor Judge | TEDxGalway
5.0 / 5 (0 votes)