50 Day 2024 - Stephan Hadinger (AWS) & Julien Simon (Hugging Face)
Summary
TLDRこのスクリプトでは、オープンソースのAIモデルのトレーニングと活用に関する議論が行われています。Hugging FaceとAWSがパートナーシップを結んでおり、多くの小さなモデルを提供しています。スクリプトでは、大きなモデルではなく、ファインチューニングされたオープンソースモデルを使ってビジネスに適したソリューションを見つける方法が紹介されています。専門的な知識がなくても、効果的なAIモデルを迅速に展開し、コスト効率を意識した最適なモデルを見つけ出すことが議論の核心です。
Takeaways
- 😀 ライブラリとしてHugging FaceとLia Open SourceがAI分野で重要な役割を果たしている。
- 🚀 AWSとHugging Faceはパートナーシップを持ち、AIモデルのトレーニングと展開を支援している。
- 📈 AI分野ではパフォーマンスを競う一方で、コストと効率も重要な要素となっている。
- 🌐 Hugging FaceのHubでは、日々の追加で数十数千の事前トレーニング済みモデルが提供されている。
- 🛠️ オープンソースツールとモデルを使用することで、開発者と企業は迅速かつコスト効率的に最新のAIモデルを導入することができる。
- 💡 AIモデルの選択は、組織のニーズと予算に応じて行われることが望ましい。
- 🔍 大規模モデルと比較して、より小さなオープンソースモデルはコスト効率が良く、応答速度も速い。
- 🛑 モデルの選択とトレーニングには、事前に明確なユースケースと目標を持つことが重要である。
- 🔧 モデルのファインチューニングは、特定のビジネスニーズに合わせてモデルを最適化するプロセスである。
- 🌟 Hugging Faceはモデルのデプロイメントとテストを容易にし、コミュニティによる採用が広がっている。
Q & A
「lia open source」とは何ですか?
-「lia open source」とは、Hugging Faceが推進するオープンソースのAI技術の一つで、独自のモデルをトレーニングすることができるプラットフォームです。
AWSとHugging Faceはどのような関係を持っていますか?
-AWSとHugging Faceはパートナー企業であり、数年間合作してきました。Hugging FaceはAWS上でモデルをトレーニングすることができるようになりました。
オープンソースのAIモデルはどのようにして企業や開発者に役立ちますか?
-オープンソースのAIモデルは、企業や開発者が既存のモデルをダウンロードし、自分のニーズに合わせて調整することができるため、開発コストを削減し開発期間を短縮できます。
大きなAIモデルと小さなAIモデルでは何が違いますか?
-大きなAIモデルは多くのパラメータを持ち、学習コストが非常に高い一方で、小さなAIモデルはパラメータが少なく、学習コストが低く、より高速に動作することが可能です。
Hugging Faceの「hub」とは何ですか?
-Hugging Faceの「hub」は、50万以上の事前トレーニング済みモデルをホストしているウェブサイトであり、開発者が簡単にモデルをダウンロードして利用することができる場所です。
AIモデルの「fine-tuning」とは何を意味しますか?
-「fine-tuning」とは、既存のAIモデルを特定のタスクやデータセットに対してさらにトレーニングすることで、そのモデルの性能を向上させるプロセスです。
AIモデルをスケールアップする際には何を考慮する必要がありますか?
-スケールアップする際には、モデルのコスト効率、パフォーマンス、応答速度、および特定のビジネスニーズに合わせた最適化を考慮する必要があります。
オープンソースモデルと商業モデルの間にはどのような違いがありますか?
-オープンソースモデルは誰でも自由に利用でき、カスタマイズ可能である一方で、商業モデルは特定の企業が提供し、より高度な機能やサポートが提供されることがありますが、通常は有料です。
AIモデルの選択とトレーニングにおいて、何が最も重要な要素ですか?
-最も重要な要素は、明確なユースケースの定義と、それに適したモデルの選択です。また、モデルのトレーニングとファインチューニングは、ビジネスニーズに合わせて行う必要があります。
AI技術を導入する際の失敗する企業の特徴は何ですか?
-失敗する企業は、ユースケースを明確に定義せずに技術の可能性に焦点を当てたり、長期の戦略を策定するのに時間をかかりすぎる傾向があります。
Outlines
🤖 AIモデルとオープンソースの活用
スティーブンとジュリアンはHugging FaceとAWSのパートナーシップを通じて、オープンソースのAIモデルをどのようにトレーニングし、ビジネスに活用できるかを説明します。彼らはAI技術の進歩と様々な企業が提供するモデルの数を触れ、特にオープンソースモデルの利点を強調しています。また、大きなモデルと小さなモデルのトレーニングコストの違いについても議論しており、ビジネスにとってコスト効率が良く、専門性の高いモデルを選択することが重要だと述べています。
💡 AIモデルの選択とコスト管理
スティーブンはビジネスにおけるAIモデルの選択とそれに伴うコスト管理の重要性を語ります。多くの企業が大規模なモデルを用いて高いコストを負担する一方で、効果が期待通りになかなか得られないという問題を指摘しています。その解決策として、ビジネスのニーズに合わせたオープンソースの小さなモデルを選択し、必要に応じてファインチューニングを行うことを提案しています。
🛠️ AIモデルの最適化とプラットフォームの選択
ジュリアンはAIモデルの最適化とプラットフォームの選択に関するアドバイスを提供しています。特定のビジネスケースに適したモデルを選択し、コストとパフォーマンスのバランスを考慮して最適なプラットフォームを選ぶことが重要だと述べています。また、モデルのファインチューニングを通じて、より高い精度とパフォーマンスを達成することができると強調しています。
🌐 AI技術の多様性と持続可能性
スティーブンはAI技術の多様性とそれに伴う持続可能性の問題について話しています。様々な種類のAIモデルやハードウェアの選択肢があり、それぞれの利点を理解することがビジネスにとって重要だと述べています。また、AIの運用においては、データのセキュリティとプライバシーの確保も重要であり、オープンソースモデルはそれらの観点でも優れているとしています。
🚀 AIプロジェクトのスタート方法とヒント
ジュリアンはAIプロジェクトを始める際のアプローチとヒントを共有しています。ビジネスニーズを明確にし、適切なAIモデルを選び始めることが成功の鍵だと述べています。また、オープンソースツールを活用して迅速にモデルをテストし、評価し、最適化することが推奨されています。プロジェクトを始める際には、官僚主義や長期間の委員会を避け、実践的なアプローチをとることが重要だとアドバイスしています。
Mindmap
Keywords
💡オープンソース
💡AIモデル
💡ファインチューニング
💡クラウドパートナー
💡モデルのスケーラビリティ
💡トレーニングコスト
💡ハイパフォーマンス
💡プロンプトエンジニアリング
💡モデルの選択
💡ハイブリッドモデル
Highlights
Hugging Face est le promoteur de Lia open source et la collaboration avec Stéphan pour aider à comprendre comment Lia peut aider à entraîner des modèles sur AWS.
Le développement de modèles de plus grande taille et la course à la performance peuvent masquer d'autres aspects importants comme les modèles plus petits et open source.
Les coûts d'apprentissage des modèles à 7 milliards de paramètres sont extrêmement élevés, atteignant des dizaines de millions d'euros.
L'importance de fine-tuning des modèles open source pour créer des solutions personnalisées qui sont plus abordables et efficaces.
Hugging Face héberge plus de 500 000 modèles pré-entraînés sur leur site web, le Hub, avec un ajout continu de nouveaux modèles.
Les modèles pré-entraînés sont créés par divers acteurs tels que des grandes entreprises, des start-ups, des laboratoires de recherche et des universités.
La facilité de téléchargement et de mise en œuvre rapide des modèles pré-entraînés pour diverses tâches telles que le traitement du langage naturel et la vision artificielle.
L'accent mis sur la démocratisation de l'IA et la simplification de l'accès aux modèles d'état de l'art pour les développeurs et les entreprises.
Les défis rencontrés par les clients qui choisissent de grands modèles pour résoudre des problèmes spécifiques et les conséquences sur les coûts.
L'importance de la compréhension des cas d'utilisation spécifiques pour choisir le modèle approprié et éviter les coûts prohibitifs.
Les conseils pour les clients sur la transition d'un grand modèle à des modèles open source plus ciblés, en commençant par définir clairement le cas d'utilisation.
L'utilisation de techniques de fine-tuning et de réentraînement pour améliorer la performance des modèles sur des données spécifiques.
L'optimisation des performances et des coûts techniques et financiers grâce à l'utilisation de modèles plus petits et moins coûteux.
L'impact de la sortie du modèle Lama 2 et sa capacité à surperformer d'autres modèles généraux comme GPT 3.5 et GPT 4 dans des domaines spécifiques.
L'importance de la diversité des modèles et des accélérateurs pour répondre aux besoins variés en matière de formation et d'inférence.
Les efforts pour réduire la consommation électrique et les coûts grâce à l'optimisation des performances des modèles sur les GPU et CPU.
Les trois grandes questions posées aux DSI concernant la qualité des modèles, la sécurité et l'utilisation efficace des ressources.
Le conseil de commencer à tester des modèles pour évaluer leur pertinence et leur performance sans se préoccuper immédiatement de la réglementation ou de la bureaucratie.
Transcripts
[Applaudissements]
[Musique]
bonjour à tous alors je vous ai on était
caché là derrière donc j'ai pas vu qui a
levé la main qui n'a pas levé la main
donc je vais refaire je faire dans
l'utre sens qui a déjà utilisé chat GPT
ok ça va donc l' génératif ça ça vous
parle qui a déjà créé sa propre a son
propre
modèle et qui pense que c'est facile de
créer son propre modè
ah tu es tout seul Julien B alors il y a
du boulot alors vas-y explique-nous un
petit peuot bonjour à
tous effectivement effectivement hugging
face est le le promoteur de de Lia open
source et avec Stéphan aujourd'hui on va
essayer de vous expliquer en quoi lia en
général et lia Open Source en
particulier peut vous aider à à
entraîner vos vos propres modèles et
comment bien le faire sur AWS puisque on
a la chance d'être partenaire depuis
plusieurs années oui et de se connaître
aussi et connare euh ouais ouais et et
donc en fait c'est il y a y a tout de un
foisonnement autour des modèles alors
vous en connaissez certains même déjà
dans les deux semaines qui précédentes
Mistral a lancé ses nouveaux modèles qui
sont disponibles sur Amazon sur Amazon
bedrock euh ce dimanche là entropique a
lancé Claude i euh qui d'ailleurs
d'après les benchmarks leur benchmark
sur perform gpt4 donc il y a toujours
cette cette cette course à la
performance mais mais du coup ça occulte
peut-être aussi un autre aspect donc on
a ces très très larges modèles et quand
je parlait tout à l'heure de créer vos
propres modèles on va pas parler de ces
modèles à 7 milliards de paramètres et
autres ou enfin le coût d'apprentissage
se chiffre quand même en dizaines de
millions d'euros voire plus mais
finalement tout un un autre pan qui sont
des modèles beaucoup plus petits
essentiellement open source et sur
lequel ça vous donne cette laattitude de
fine tuner de faire quelque chose qui
qui qui qui vous ressemble et et je
crois que c'est pas si difficile en tout
cas c'est pas aussi difficile que
certains croient non c'est pas aussi
difficile que certains le croient le
domaine effectivement Stéphan tu l'as
dit avance très vite alors il avance
très vite sur les modèles commerciaux
les modèles
fermés j'ai l'impression qu'il avance
encore plus vite dans le monde de l'open
source tu peux donner quelques chiffres
peut-être oui alors sur huging face sur
le le le site web deging face qu'on
appelle le hub aujourd'hui on héberge
plus d'un demiillion de modèle
pré-entraîné euh donc plus de 500000 on
en ajoute des centaines peut-être même
des milliers par jour le le le rythme
est assez freiné donc des modèles qui
sont pré-entraînés par leurs
créateurs qui peuvent être des grandes
entreprises de la tech qui peuvent être
des start-ups qui peuvent être des labos
de recherche des université et vous
pouvez en quelques secondes télécharger
ces modèles et les mettre en œuvre pour
un ensemble de tâches comme du
traitement du langage naturel de la
traduction du résumé de texte des
questions-réponses euh évidemment de
l'IA génératif des chatbot mais aussi de
la vision artificielle de la
reconnaissance
d'image de la synthèse vocale de la
reconnaissance vocale enfin la liste est
est sans fin et et c'est vraiment cette
cette profusion de modèle la combinaison
de cette profusion de modèle et de de
des outils Open Source et en particulier
des tils open sourceing face qui permet
à à la communauté au sens large les
développeurs les entreprises de de
déployer rapidement des modèles à l'état
de l'art et quand je dis rapidement ça
peut être en quelques heures en quelques
jours je dirais c'est ça dépend à quelle
vitesse vous allez en général euh et et
et de et d'ajouter des capacités d' à
leurs applications à des à des coûts
raisonnables avec des efforts
raisonnables et sans avoir besoin
d'avoir une équipe de 200 s chercheurs
euh voilà donc c'est vraiment la on
parle souvent de démocratisation de de
l'a bon pourquoi pas je préfère parler
de de simplification et
d'accélération pour que finalement quel
que soit la taille de votre organisation
quel que soit son niveau de maturité
quel que soit son niveau d'expertise
elle puisse aussi utiliser ces modèles
construit par les les experts mondiaux
mais de manière simple on va peut-être
revenir un petit peu sur finalement la
la la première expérience alors que vous
soyez dans dans une start-up dans une
une grande entreprise c'est finalement
par où on démarre et et c'est vrai qu'on
a cette chance de de de rencontrer
énormément de clients et et très souvent
il y a cette idée je vais prendre je
vais choisir un modèle et je vais tout
résoudre avec ce modèle là je vais faire
une confession ça ça marche pas
exactement comme ça et en fait on on
s'aperçoit on a beaucoup de retours de
clients qui ont démarré sur différents
des des des très très larges modèles qui
ont essayé de les utiliser un peu à
toutes les sauces les résultats sont pas
forcément aussi spectaculaires qu'ils
aimeraient mais surtout il y a quelque
chose qui vient souvent les mordre à ce
moment-là c'est le prix de la facture tu
as peut-être quelques quelques anecdotes
là-dessus euh oui j'en ai j'en ai
quelquesunes c'est un thème c'est un
thème assez récurrent alors le le dans
la technologie le le le myth du couteau
suisse est assez fort alors stéphane et
moi sommes encore des jeunes des jeunes
hommes mais on a dans les quelques
années qu'on a passé dans la tech on
sait qu'il y a pas de couteau suisse il
y a pas de langage universel il y a pas
de base de données universel il y a pas
d'équipement réseau universel il y a pas
d'IA et de modèle universel c'est voilà
c'est c'est une tromperie pour pour être
clair ça ça marche jamais comme ça et et
effectivement moi je rencontre aussi
beaucoup de beaucoup de clients et et
j'entends régulièrement alors on a
essayé on a essayé de bâtir des solution
avec les modèles alors d'Open he puisque
que c'était les premiers sur le marché
il faut les féliciter pour ça on a fait
des proof of concept on a découvert
notre problème on a éduqué nos équipes
et nos et nos Exec sur liya donc tout ça
est très positif on était très
content et puis on a voulu passer ce ce
prototype en production en l'ouvrant à
des dizaines des centaines peut-être
même des milliers
d'utilisateurs et et ensuite on a reçu
la facture à la fin du mois et et
souvent étonnamment le chiffre qui
revient
souvent c'est le chiffre de 50000
dollars ouais et alors on pourrait
l'expliquer pourquoi on n pas le temps
aujourd'hui mais effectivement le le
coût de ces modèles à l'échelle devient
assez vite prohibitif et en tout cas ne
ne vous fournit aucun retour sur
investissement et donc c'est très bien
de faire de l'IA encore faut-il savoir
pourquoi et encore faut-il
savoir si on veut économiser de l'argent
ou si on veut générer du revenu mais
dans un cas comme dans l'autre avec de
telles factures il va vous falloir une
sacrée une sacrée innovation pour
justifier le coût et donc c'est souvent
là que les clients tirent sur la se tire
sur la prise et se mettent à réfléchir
en dire et se disent qu'est-ce qu'on
peut faire d'autre comment est-ce qu'on
peut avoir une expérience utilisateur de
très bonnne qualité mais avec des couts
raisonnables et une maîtrise complète de
ce qui se passe alors peut-être pour
recentrer un petit peu et je suis pas en
train de dire qu'il faut surtout pas
utiliser des très très larges modèles au
contraire mais en tout cas c'est un ça
reste un un phénomène itératif
exploratoire et c'est absolument parfait
de commencer par des très grands modèles
des clot 3 des
Mistral il y en a beaucoup beaucoup
d'autres euh ça permet de dégrossir ça
permet de tester un petit peu leou ils
sont très faciles à mettre en très facil
littéralement en quelques minutes ou
quelques heur vous avez déjà un
prototype qui fonctionne ça permet de
valider le modèle et ensuite se pose la
question de comment passer à l'échelle
comment euh ce modèle qu'on a utilisé
pour quelques personnes on va le faire
pour potentiellement une entreprise de
100000 personnes et là on on rentre dans
effectivement cette cette optimisation
et c'est là où le fait d'utiliser des
modèles plus petits ont deux avantages
évidents le premier c'est que ça coûte
moins cher donc ça devient compatible
avec un hroi le deuxième qui est moins
connu en général c'est que c'est
également ils sont plus rapides c'est et
dans certains cas on a des exemples on a
un service qui s'appelle Connect de
centre d'appel où on fait de de las
générative pour aller bien sûr faire de
la transcription donc le modèle comprend
ce qui est ce qui est dit et faire aussi
de la génération en temps réel de
recommandation pour l'agent qui est au
téléphone s'il faut attendre 15 secondes
ou 10 secondes que la recommandation
arrive c'est trop tard la discussion est
déjà passée passée à autre chose donc
quels sont tes tes conseils final pour
qu'un
client fait fasse cette transition
finalement d'un d'un d'un très large
modèle à des modèles Open Source plus
ciblés le premier point c'est d'être
très clair sur le cas d'usage alors ça
paraît évident mais le nombre de clients
que je peux encore croiser et qui me
sortte ma phrase préférée qui est je
veux savoir de je veux voir de quoi la
technologie est capable et et et encore
un peu trop élevé à mon goût et ça c'est
la meilleure façon d'échouer donc il
faut avoir un objectif clair donc on
peut se dire voilà moi j'ai besoin d'un
modèle qui en en en quasi temps réel on
va dire en 500 millisecondes et capable
de me générer une réponse à une question
que me pose un client au téléphone et
cetera et cetera quelque chose de cadré
quelque chose de
concret avec une bonne compréhension du
domaine est-ce que on parle du domaine
financier est-ce qu'on parle du
domaine euh automobile est-ce qu'on
parle d'autres choses donc quel genre de
question on va poser au modèle avoir une
idée du coût qu'on est prêt à supporter
avoir une idée de l'échelle à laquelle
on va devoir fonctionner et cetera donc
il y a un ensemble de paramètres déjà
qui sont important tout c'est pas
essentiel de de tout connaître à la
virgule près mais il faut déjà cadrer ça
une fois qu'on a ça on peut commencer à
à tester les meilleurs modèles open
source du marché euh si on peut appeler
ça un marché euh donc on va les trouver
sur le hingf on a d'ailleurs bâti un ce
qu'on appelle le leaderboard donc il y a
un classement maintenu en permanence
avec les meilleurs modèles les
benchmarks les performances techniques
et cetera donc ça permet déjà de guider
le meilleurs modèle alors ça ça ça
change ça change je va pas dire tous les
jours mais ça change ça change souvent
oui ça change souvent et et et et et en
fonction de ces différents paramètres
voilà on va dire moi en fonction de mes
coûts en fonction de mon
échelle bah peut-être que je vais
d'abord commencer par des petits modèles
parce que peut-être qu'un petit modèle
est suffisant pour pour répondre à des
questions hyper ciblées voilà je fais du
support client sur des forfaits
téléphoniques et je ferai que ça je vais
pas faire de recette de cuisine je vais
pas faire de question d'astronomie donc
assez intuitivement on comprend que si
on a un un un domaine métier
étroit mais sur lequel on a besoin
d'énormément de profondeur on va pas
avoir besoin d'un modèle généraliste
gigantesque gigantesque qui lui alors
sera hyper large mais assez assez peu
profond et en fait c'est cette c'est
cette c'est ça qu'il faut comprendre
assez tôt et ensuite expérimenter avec
les meilleurs modèles les tester les
évaluer sur vos données et peut-être à
un moment ce que tu disais au début les
f tuner donc les réentraîner un petit
peu sur vos données pour
que ben ils comprennent toutes les
nuances de vos forfaits téléphonique de
vos conditions de vente et cetera et
cetera et c'est ce process itératif qui
permet d'arriver à une solution où on a
la meilleure performance du modèle en
terme de pertinence et un coût
performance technique et financier
optimisé donc j'ai un peu triché tout à
l'heure en disant créer son propre
modèle en fait il s'agit de de fine
tuning de de modèle existant mais
d'après toi on peut arriver sur un
domaine très précis au même niveau voire
mieux qu'un qu'un modèle généraliste ah
oui depuis en fait cette cette question
là et on y a répondu depuis juilletaoût
de l'année dernière donc en juillet août
il y a eu juillet il y a eu un jalon
assez important qui était la la sortie
du modèle Lama 2 qui a été publié par
MTA ma qui fait beaucoup de choses
extrêmement intéressantes dans le dans
le li open source et assez vite on a vu
des versions de Lama 2 y compris des
petites versions donc fine tuner donc
réentraîner sur des domaines
précis et on les a vu très vite
surperformé GPT 3.5 donc d'Open a
euh voire même dans certains cas gpt4
donc depuis voilà moins cher est
beaucoup moins cher puisque là on parle
de modèle qui font on va dire 13
milliards 30 milliards de paramètres
donc c'est-à-dire entre 10 et 20 fois
plus petit que ce qu'on suppose être GPT
3.5 et gpt4 puisque ils nous disent
pas et et donc vous vous pouvez imaginer
quand on travaille avec un modèle qui
est littéralement 20 fois plus petit
donc quand je dis 20 fois plus petit ça
veut dire qu'il occupe 20 fois moins
d'espace en mémoire sur votre GPU ou sur
votre sur votre serveur et donc
forcément l'économie de coût euh et la
capacité à skel est ce ce modèle va être
va être importante voilà je rebondis sur
les GPU bon qu' a un peu de tension sur
le marché le marché des GPU je t'ai déjà
entendu parler vent je t'ai déjà entendu
parler également de de nouveaux
algorithmes et de mécanismes de
compression pour finalement le CPU n'est
pas complètement mort c'est ça
absolument pas donc NVIDIA a fait un
excellent travail pour convaincre la
planète que on pouvait pas faire dia
sans sans
GPU alors comme on dit en anglais we
back to differ
on travaille chez hugingf avec alors on
travaille avec des partenaires cloud AWS
étant le le plus important pour nous
mais on travaille aussi avec des
partenaires hardware on travaille avec
Intel on travaille avec
AMD on travaille avec d'autres d'autres
sociétés et on on travaille avec eux sur
l'optimisation des performances des
modèles sur leur
plateforme GPU et CPU et moi je vois
beaucoup de clients qui font donc de
l'inférence donc qui utilisent ces
modèles qui prédisent avec ces modèles
sur les plateformes pu et et pour des
cas d'usage où la latence de prédiction
est moins sensible il y a beaucoup de
processus qui sont des processus on va
dire backofice qui travaille en mode
voilà en mode asynchrone et cetera où
finalement il y a pas vraiment un
utilisateur qui attend la réponse en
temps réel et ben on arrive à des une
fois de plus à des coûts performances
parce que la performance seule n'a aucun
sens ce qui compte c'est le coût
performance on arrive à des niveaux de
cooup performance qui sont vraiment
excellents et et même je dirais dans
l'absolu à des niveaux de performance
technique de de latence de prédiction
qui sont tout à fait correctes moi j'ai
vu des chatbots qui tombent bien sur CPU
parce qu'ils ont été effectivement
optimisés compressés avec des techniques
un peu un peu savantes mais qui sont
facilité par nos outils Open Source donc
le une fois de plus le on a commencé par
dire il y a pas le modèle couteau suisse
bah vous savez quoi il y a pas non plus
le l'accélérateur couteau suisse donc il
faudra un panel de modèle et il faudra
un panel de de puces alors il faudra des
gros GPU tu as pas cité les puces d'ws
voilà j'y arrive j'yarrive il faudra des
des grosses puces ou des en tout cas des
puces puissantes pour entraîner les
modèles et a WS en a il faudra une autre
gamme de puces pour prédire donc faire
de l'inférence avec ces modèles ça
pourra être des GPU des CPU ou les puces
WS donc Stéphane je sens parler dans 10
secondes et puis il y aura aussi
probablement des puces plus petites qui
fonctionneront pour sur vos laptops sur
vos téléphones portables et cetera et
cetera donc voilà une fois de plus la
technologie c'est pas un truc il y a
c'est pas une seule solution je sais
bien on fait du marketing on essaie de
convaincre mais dans mon monde dans les
trancheres les choses sont plus
complexes et il y a toujours plein de
solutions possibles puisque tu par
puisque tu me tends une perche c'est un
domaine très actif et je reviens un peu
sur les les trois points de tout à
l'heure c'està-dire les trois grandes
questions que les DSI me pose toujours
sur l' générative un comment vérifier la
qualité la véracité des réponses faire
soit qu' a pas d'hallucination que ce ne
soit pas toxique donc la qualité des
modèles est surtout du fine tuning du
prompt engineering du rag il y a
beaucoup de technologie pour ça il y a
des solutions le deuxième c'est la
sécurité alors ça on a toujours géré ça
avec des modèles qui sont isolés
privatisé et sur lequel finalement quel
soit le modèle que ce soit du Amazon
bedrock que ce soit du hugging face dans
AWS et ainsi de suite vos données ne
sont qu'à vous n'appartiennent qu'à vous
ne sont partagés avec personne et
surtout pas avec les créateurs de
modèles ça ça c'est clair c'est c'est
c'est net c'est précis le troisième
point qui est la la bonne utilisation
des ressources que ça coûte pas trop
cher ça c'est un premier
aspect on est aussi on a aussi fiy
Partners impact et aussi que ça ne
consomme pas trop d'électricité c'est
absolument vital et ce qui est
intéressant c'est que les deux sont
fortement corrélés et que si on arrive à
baisser la consommation électrique en
fait ça coûte moins cher et c'est un
domaine où nous sommes aussi très actifs
puisque nous avons deux puces
inferenticia pour l'inférence et trénium
pour l'apprentissage notre but avec ces
puces c'est de diviser par deux la
consommation électrique par rapport au
puce que tu as cité et pareil pareil sur
le prix et ça reste aussi bah et ce qui
est intéressant c'est que c'est vraiment
un fonctionnement main dans la main à la
fois des créateurs de modèles et des
algorithmes et des des de ceux qui font
l'électronique pour arriver à à à
finalement au meilleur des deux mondes
euh peut-être pour terminer bah
finalement si on revient et pour
l'audience Julien c'est quoi pour toi le
le conseil pour bien démarrer là tout de
suite on a un besoin et finalement
commentmarer alors alors comment ne pas
démarrer déjà ah l'autre question alors
comment ne pas démarrer alors je l'ai
déjà dit tout à l'heure euh hein je veux
savoir de quoi la technologie est
capable là vous ben vous retournez
prendre un café puis vous réfléchissez
encore un petit peu
euh la deuxième façon de pas démarrer
c'est euh de réunir un comité de
gouvernance d'IA pendant 6 mois euh
voilà ça c'est pas c'est pas ça sert à
rien oui il y a la régulation oui euh ça
a un certain intérêt on a on a pas le
temps de détailler euh oui vous devrez
cocher un certain nombre de cases si
vous êtes soumis à cette régulation mais
ça c'est un truc à faire en parallèle
donc ce qu'il faut faire c'est commener
à tester ce soir voilà donc vous trouvez
vous priorisez avec vos équipes business
deux trois
scénarios et et puis vous commencez à
regarder des modèles sur étagère qui
peuvent être une solution et vous
commencez à les tester tout de suite et
vous commencez à à vous faire un avis
sur ce qui marche ce qui marche et
ensuite quelle est la prochaine étape et
ça une fois de plus pourquoi huging face
a un certain succès pourquoi est-ce que
on a à peu près 100 % de de d'adoption
dans le dans la communauté machine
learning ea tout simplement parce que
les outils qu'on construit ils
permettent ça voilà et ils permettent de
télécharger les modèles de commencer à
les tester en en en quelques minutes
voilà donc on a notre propre service de
déploiement de modèle vous pouvez aussi
les déployer sur AWS c'est tout aussi
simple on génère même le code que vous
devez exécuter pour les déployer donc
vous pouvez commencer à tester à évaluer
dans votre bac à sable et et à vous
faire une idée et puis ensuite voilà
tester différents
modèles et peut-être ensuite commencer à
les entraîner commencer à les
spécialiser et avancer mais de manière
concrète voilà pas avec des comités de
gouvernance ou je sais pas quoi ça c'est
bon la la machine
bureaucratique oui il faudra s'en
occuper mais tant que vous avez pas
troué trouver un ou deux modèles qui
sont très prometteurs pour résoudre
votre problème ça sert à rien de se
poser la question de comment on va
cocher les cases de la régulation ou
comment on va faire plaisir à nos
équipes de compliance voilà donc donc ça
c'est vraiment la clé moi je vois les
clients qui échouent c'est ce he c'est
ceux qui qui tournent en haut parce
qu'ils ont pas réfléchi vraiment au cas
d'usage et puis ceux qui veulent faire
une stratégie à 5 ans alors que ils ont
un ou de mois d'évaluation à commencé
tout de suite voilà le reste c'est nous
qui nous en occupons avec nos open
source et avec nos partenaires donc l'an
prochain on revient il y aura beaucoup
plus de bras levés sur utilisation
d'Open Source et de de modèle merci
beaucoup merci à T merci beaucoup
[Musique]
Voir Plus de Vidéos Connexes
Tsuzumi
【徹底解剖:OpenAI 日本進出の4つの狙い】①技術開発/②セールス拠点/③ルールメイキング④人材採用/顧客獲得戦争と人材獲得競争/日本にとってのメリットとリスク【Algomatic大野峻典】
Dify AI: Create LLM Apps In SECONDS with NO Code FOR FREE! Flowise 2.0?
周りの人の上をいく!生成AIプロンプトの裏技大公開!「教えて.AI」でプロが作った高品質プロンプト使い放題!
Run ANY Open-Source Model LOCALLY (LM Studio Tutorial)
Overcoming the Complexities of Generative AI
5.0 / 5 (0 votes)