50 Day 2024 - Stephan Hadinger (AWS) & Julien Simon (Hugging Face)

Summary

このスクリプトでは、オープンソースのAIモデルのトレーニングと活用に関する議論が行われています。Hugging FaceとAWSがパートナーシップを結んでおり、多くの小さなモデルを提供しています。スクリプトでは、大きなモデルではなく、ファインチューニングされたオープンソースモデルを使ってビジネスに適したソリューションを見つける方法が紹介されています。専門的な知識がなくても、効果的なAIモデルを迅速に展開し、コスト効率を意識した最適なモデルを見つけ出すことが議論の核心です。

Takeaways

• 😀 ライブラリとしてHugging FaceとLia Open SourceがAI分野で重要な役割を果たしている。
• 🚀 AWSとHugging Faceはパートナーシップを持ち、AIモデルのトレーニングと展開を支援している。
• 📈 AI分野ではパフォーマンスを競う一方で、コストと効率も重要な要素となっている。
• 🌐 Hugging FaceのHubでは、日々の追加で数十数千の事前トレーニング済みモデルが提供されている。
• 🛠️ オープンソースツールとモデルを使用することで、開発者と企業は迅速かつコスト効率的に最新のAIモデルを導入することができる。
• 💡 AIモデルの選択は、組織のニーズと予算に応じて行われることが望ましい。
• 🔍 大規模モデルと比較して、より小さなオープンソースモデルはコスト効率が良く、応答速度も速い。
• 🛑 モデルの選択とトレーニングには、事前に明確なユースケースと目標を持つことが重要である。
• 🔧 モデルのファインチューニングは、特定のビジネスニーズに合わせてモデルを最適化するプロセスである。
• 🌟 Hugging Faceはモデルのデプロイメントとテストを容易にし、コミュニティによる採用が広がっている。

Q & A

「lia open source」とは何ですか？

「lia open source」とは、Hugging Faceが推進するオープンソースのAI技術の一つで、独自のモデルをトレーニングすることができるプラットフォームです。

AWSとHugging Faceはどのような関係を持っていますか？

AWSとHugging Faceはパートナー企業であり、数年間合作してきました。Hugging FaceはAWS上でモデルをトレーニングすることができるようになりました。

オープンソースのAIモデルはどのようにして企業や開発者に役立ちますか？

オープンソースのAIモデルは、企業や開発者が既存のモデルをダウンロードし、自分のニーズに合わせて調整することができるため、開発コストを削減し開発期間を短縮できます。

大きなAIモデルと小さなAIモデルでは何が違いますか？

大きなAIモデルは多くのパラメータを持ち、学習コストが非常に高い一方で、小さなAIモデルはパラメータが少なく、学習コストが低く、より高速に動作することが可能です。

Hugging Faceの「hub」とは何ですか？

Hugging Faceの「hub」は、50万以上の事前トレーニング済みモデルをホストしているウェブサイトであり、開発者が簡単にモデルをダウンロードして利用することができる場所です。

AIモデルの「fine-tuning」とは何を意味しますか？

「fine-tuning」とは、既存のAIモデルを特定のタスクやデータセットに対してさらにトレーニングすることで、そのモデルの性能を向上させるプロセスです。

AIモデルをスケールアップする際には何を考慮する必要がありますか？

スケールアップする際には、モデルのコスト効率、パフォーマンス、応答速度、および特定のビジネスニーズに合わせた最適化を考慮する必要があります。

オープンソースモデルと商業モデルの間にはどのような違いがありますか？

オープンソースモデルは誰でも自由に利用でき、カスタマイズ可能である一方で、商業モデルは特定の企業が提供し、より高度な機能やサポートが提供されることがありますが、通常は有料です。

AIモデルの選択とトレーニングにおいて、何が最も重要な要素ですか？

最も重要な要素は、明確なユースケースの定義と、それに適したモデルの選択です。また、モデルのトレーニングとファインチューニングは、ビジネスニーズに合わせて行う必要があります。

AI技術を導入する際の失敗する企業の特徴は何ですか？

失敗する企業は、ユースケースを明確に定義せずに技術の可能性に焦点を当てたり、長期の戦略を策定するのに時間をかかりすぎる傾向があります。

Outlines

00:00

🤖 AIモデルとオープンソースの活用

スティーブンとジュリアンはHugging FaceとAWSのパートナーシップを通じて、オープンソースのAIモデルをどのようにトレーニングし、ビジネスに活用できるかを説明します。彼らはAI技術の進歩と様々な企業が提供するモデルの数を触れ、特にオープンソースモデルの利点を強調しています。また、大きなモデルと小さなモデルのトレーニングコストの違いについても議論しており、ビジネスにとってコスト効率が良く、専門性の高いモデルを選択することが重要だと述べています。

05:01

💡 AIモデルの選択とコスト管理

スティーブンはビジネスにおけるAIモデルの選択とそれに伴うコスト管理の重要性を語ります。多くの企業が大規模なモデルを用いて高いコストを負担する一方で、効果が期待通りになかなか得られないという問題を指摘しています。その解決策として、ビジネスのニーズに合わせたオープンソースの小さなモデルを選択し、必要に応じてファインチューニングを行うことを提案しています。

10:03

🛠️ AIモデルの最適化とプラットフォームの選択

ジュリアンはAIモデルの最適化とプラットフォームの選択に関するアドバイスを提供しています。特定のビジネスケースに適したモデルを選択し、コストとパフォーマンスのバランスを考慮して最適なプラットフォームを選ぶことが重要だと述べています。また、モデルのファインチューニングを通じて、より高い精度とパフォーマンスを達成することができると強調しています。

15:03

🌐 AI技術の多様性と持続可能性

スティーブンはAI技術の多様性とそれに伴う持続可能性の問題について話しています。様々な種類のAIモデルやハードウェアの選択肢があり、それぞれの利点を理解することがビジネスにとって重要だと述べています。また、AIの運用においては、データのセキュリティとプライバシーの確保も重要であり、オープンソースモデルはそれらの観点でも優れているとしています。

20:04

🚀 AIプロジェクトのスタート方法とヒント

ジュリアンはAIプロジェクトを始める際のアプローチとヒントを共有しています。ビジネスニーズを明確にし、適切なAIモデルを選び始めることが成功の鍵だと述べています。また、オープンソースツールを活用して迅速にモデルをテストし、評価し、最適化することが推奨されています。プロジェクトを始める際には、官僚主義や長期間の委員会を避け、実践的なアプローチをとることが重要だとアドバイスしています。

Keywords

💡オープンソース

オープンソースとは、ソフトウェアのソースコードが公開されており、誰でも自由に使用・改変・再配布が可能なソフトウェアのことです。ビデオでは、オープンソースのモデルがどのようにして企業や開発者に効果的に使われているかについて話されています。例えば、「hugging face」というオープンソースのプラットフォームは、多くの開発者がトレーニング済みのモデルをダウンロードして使用することができる場所として紹介されています。

💡AIモデル

AIモデルとは、人工知能を用いて学習させたモデルのことであり、ビデオでは特に自然言語処理や画像認識などのタスクをこなすことができるものを指しています。ビデオでは、様々なAIモデルがオープンソースで提供され、開発者がそれらをファインチューニングして特定のニーズに合わせて調整することができると説明されています。

💡ファインチューニング

ファインチューニングは、事前にトレーニングされたAIモデルに対して、さらに特定のタスクやデータセットに合わせてトレーニングを施すことを指します。ビデオでは、オープンソースのモデルをファインチューニングして、ビジネスの特定のニーズに合わせたソリューションを提供するプロセスが議論されています。

💡クラウドパートナー

クラウドパートナーとは、クラウドサービスを提供する企業とのパートナーシップを意味します。ビデオではAWS（Amazon Web Services）というクラウドサービスプロバイダーとのパートナーシップが言及されており、彼らはオープンソースのAIモデルを効果的にトレーニングし、デプロイするために重要な役割を果たしているとされています。

💡モデルのスケーラビリティ

スケーラビリティとは、システムやモデルが規模を拡大し、より多くのユーザーやデータを処理できる能力を指します。ビデオでは、大規模なモデルと比較して、オープンソースのモデルはスケーラビリティが高いとされており、企業がそれらをより大きな規模で利用することでコスト効率よくサービスを提供できると説明されています。

💡トレーニングコスト

トレーニングコストとは、AIモデルをトレーニングするために必要な時間、リソース、および費用のことを指します。ビデオでは、大規模なモデルのトレーニングコストが非常に高くなることが問題視されており、オープンソースのモデルを利用することでコストを削減できると示唆されています。

💡ハイパフォーマンス

ハイパフォーマンスは、非常に高い性能や効率を持つことを意味します。ビデオでは、特定のオープンソースモデルがハイパフォーマンスを発揮し、大きなモデルと比較しても優れた結果を出すことが可能とされていると強調されています。

💡プロンプトエンジニアリング

プロンプトエンジニアリングは、AIモデルに入力するテキスト（プロンプト）を効果的に設計することによって、モデルの応答を改善する技術的なアプローチです。ビデオでは、プロンプトエンジニアリングがモデルの品質と関連性を高めるための重要な要素として触れられています。

💡モデルの選択

モデルの選択とは、特定の問題やタスクに対して最適なAIモデルを選定するプロセスです。ビデオでは、ビジネスのニーズに合わせて最適なオープンソースモデルを選択することが重要であり、リーダーボードを通じてモデルのパフォーマンスを比較し、選択するプロセスが議論されています。

💡ハイブリッドモデル

ハイブリッドモデルとは、複数のモデルや技術を組み合わせて最適な結果を出すことを目指したアプローチです。ビデオでは、ハイブリッドモデルがどのようにして異なるニーズに対応し、効果的なソリューションを提供することができるかが説明されており、さまざまなハードウェアとソフトウェアの組み合わせが重要であると強調されています。

Highlights

Hugging Face est le promoteur de Lia open source et la collaboration avec Stéphan pour aider à comprendre comment Lia peut aider à entraîner des modèles sur AWS.

Le développement de modèles de plus grande taille et la course à la performance peuvent masquer d'autres aspects importants comme les modèles plus petits et open source.

Les coûts d'apprentissage des modèles à 7 milliards de paramètres sont extrêmement élevés, atteignant des dizaines de millions d'euros.

L'importance de fine-tuning des modèles open source pour créer des solutions personnalisées qui sont plus abordables et efficaces.

Hugging Face héberge plus de 500 000 modèles pré-entraînés sur leur site web, le Hub, avec un ajout continu de nouveaux modèles.

Les modèles pré-entraînés sont créés par divers acteurs tels que des grandes entreprises, des start-ups, des laboratoires de recherche et des universités.

La facilité de téléchargement et de mise en œuvre rapide des modèles pré-entraînés pour diverses tâches telles que le traitement du langage naturel et la vision artificielle.

L'accent mis sur la démocratisation de l'IA et la simplification de l'accès aux modèles d'état de l'art pour les développeurs et les entreprises.

Les défis rencontrés par les clients qui choisissent de grands modèles pour résoudre des problèmes spécifiques et les conséquences sur les coûts.

L'importance de la compréhension des cas d'utilisation spécifiques pour choisir le modèle approprié et éviter les coûts prohibitifs.

Les conseils pour les clients sur la transition d'un grand modèle à des modèles open source plus ciblés, en commençant par définir clairement le cas d'utilisation.

L'utilisation de techniques de fine-tuning et de réentraînement pour améliorer la performance des modèles sur des données spécifiques.

L'optimisation des performances et des coûts techniques et financiers grâce à l'utilisation de modèles plus petits et moins coûteux.

L'impact de la sortie du modèle Lama 2 et sa capacité à surperformer d'autres modèles généraux comme GPT 3.5 et GPT 4 dans des domaines spécifiques.

L'importance de la diversité des modèles et des accélérateurs pour répondre aux besoins variés en matière de formation et d'inférence.

Les efforts pour réduire la consommation électrique et les coûts grâce à l'optimisation des performances des modèles sur les GPU et CPU.

Les trois grandes questions posées aux DSI concernant la qualité des modèles, la sécurité et l'utilisation efficace des ressources.

Le conseil de commencer à tester des modèles pour évaluer leur pertinence et leur performance sans se préoccuper immédiatement de la réglementation ou de la bureaucratie.

Transcripts

[Applaudissements]

[Musique]

bonjour à tous alors je vous ai on était

caché là derrière donc j'ai pas vu qui a

levé la main qui n'a pas levé la main

donc je vais refaire je faire dans

l'utre sens qui a déjà utilisé chat GPT

ok ça va donc l' génératif ça ça vous

parle qui a déjà créé sa propre a son

propre

modèle et qui pense que c'est facile de

créer son propre modè

ah tu es tout seul Julien B alors il y a

du boulot alors vas-y explique-nous un

petit peuot bonjour à

tous effectivement effectivement hugging

face est le le promoteur de de Lia open

source et avec Stéphan aujourd'hui on va

essayer de vous expliquer en quoi lia en

général et lia Open Source en

particulier peut vous aider à à

entraîner vos vos propres modèles et

comment bien le faire sur AWS puisque on

a la chance d'être partenaire depuis

plusieurs années oui et de se connaître

aussi et connare euh ouais ouais et et

donc en fait c'est il y a y a tout de un

foisonnement autour des modèles alors

vous en connaissez certains même déjà

dans les deux semaines qui précédentes

Mistral a lancé ses nouveaux modèles qui

sont disponibles sur Amazon sur Amazon

bedrock euh ce dimanche là entropique a

lancé Claude i euh qui d'ailleurs

d'après les benchmarks leur benchmark

sur perform gpt4 donc il y a toujours

cette cette cette course à la

performance mais mais du coup ça occulte

peut-être aussi un autre aspect donc on

a ces très très larges modèles et quand

je parlait tout à l'heure de créer vos

propres modèles on va pas parler de ces

modèles à 7 milliards de paramètres et

autres ou enfin le coût d'apprentissage

se chiffre quand même en dizaines de

millions d'euros voire plus mais

finalement tout un un autre pan qui sont

des modèles beaucoup plus petits

essentiellement open source et sur

lequel ça vous donne cette laattitude de

fine tuner de faire quelque chose qui

qui qui qui vous ressemble et et je

crois que c'est pas si difficile en tout

cas c'est pas aussi difficile que

certains croient non c'est pas aussi

difficile que certains le croient le

domaine effectivement Stéphan tu l'as

dit avance très vite alors il avance

très vite sur les modèles commerciaux

les modèles

fermés j'ai l'impression qu'il avance

encore plus vite dans le monde de l'open

source tu peux donner quelques chiffres

peut-être oui alors sur huging face sur

le le le site web deging face qu'on

appelle le hub aujourd'hui on héberge

plus d'un demiillion de modèle

pré-entraîné euh donc plus de 500000 on

en ajoute des centaines peut-être même

des milliers par jour le le le rythme

est assez freiné donc des modèles qui

sont pré-entraînés par leurs

créateurs qui peuvent être des grandes

entreprises de la tech qui peuvent être

des start-ups qui peuvent être des labos

de recherche des université et vous

pouvez en quelques secondes télécharger

ces modèles et les mettre en œuvre pour

un ensemble de tâches comme du

traitement du langage naturel de la

traduction du résumé de texte des

questions-réponses euh évidemment de

l'IA génératif des chatbot mais aussi de

la vision artificielle de la

reconnaissance

d'image de la synthèse vocale de la

reconnaissance vocale enfin la liste est

est sans fin et et c'est vraiment cette

cette profusion de modèle la combinaison

de cette profusion de modèle et de de

des outils Open Source et en particulier

des tils open sourceing face qui permet

à à la communauté au sens large les

développeurs les entreprises de de

déployer rapidement des modèles à l'état

de l'art et quand je dis rapidement ça

peut être en quelques heures en quelques

jours je dirais c'est ça dépend à quelle

vitesse vous allez en général euh et et

et de et d'ajouter des capacités d' à

leurs applications à des à des coûts

raisonnables avec des efforts

raisonnables et sans avoir besoin

d'avoir une équipe de 200 s chercheurs

euh voilà donc c'est vraiment la on

parle souvent de démocratisation de de

l'a bon pourquoi pas je préfère parler

de de simplification et

d'accélération pour que finalement quel

que soit la taille de votre organisation

quel que soit son niveau de maturité

quel que soit son niveau d'expertise

elle puisse aussi utiliser ces modèles

construit par les les experts mondiaux

mais de manière simple on va peut-être

revenir un petit peu sur finalement la

la la première expérience alors que vous

soyez dans dans une start-up dans une

une grande entreprise c'est finalement

par où on démarre et et c'est vrai qu'on

a cette chance de de de rencontrer

énormément de clients et et très souvent

il y a cette idée je vais prendre je

vais choisir un modèle et je vais tout

résoudre avec ce modèle là je vais faire

une confession ça ça marche pas

exactement comme ça et en fait on on

s'aperçoit on a beaucoup de retours de

clients qui ont démarré sur différents

des des des très très larges modèles qui

ont essayé de les utiliser un peu à

toutes les sauces les résultats sont pas

forcément aussi spectaculaires qu'ils

aimeraient mais surtout il y a quelque

chose qui vient souvent les mordre à ce

moment-là c'est le prix de la facture tu

as peut-être quelques quelques anecdotes

là-dessus euh oui j'en ai j'en ai

quelquesunes c'est un thème c'est un

thème assez récurrent alors le le dans

la technologie le le le myth du couteau

suisse est assez fort alors stéphane et

moi sommes encore des jeunes des jeunes

hommes mais on a dans les quelques

années qu'on a passé dans la tech on

sait qu'il y a pas de couteau suisse il

y a pas de langage universel il y a pas

de base de données universel il y a pas

d'équipement réseau universel il y a pas

d'IA et de modèle universel c'est voilà

c'est c'est une tromperie pour pour être

clair ça ça marche jamais comme ça et et

effectivement moi je rencontre aussi

beaucoup de beaucoup de clients et et

j'entends régulièrement alors on a

essayé on a essayé de bâtir des solution

avec les modèles alors d'Open he puisque

que c'était les premiers sur le marché

il faut les féliciter pour ça on a fait

des proof of concept on a découvert

notre problème on a éduqué nos équipes

et nos et nos Exec sur liya donc tout ça

est très positif on était très

content et puis on a voulu passer ce ce

prototype en production en l'ouvrant à

des dizaines des centaines peut-être

même des milliers

d'utilisateurs et et ensuite on a reçu

la facture à la fin du mois et et

souvent étonnamment le chiffre qui

revient

souvent c'est le chiffre de 50000

dollars ouais et alors on pourrait

l'expliquer pourquoi on n pas le temps

aujourd'hui mais effectivement le le

coût de ces modèles à l'échelle devient

assez vite prohibitif et en tout cas ne

ne vous fournit aucun retour sur

investissement et donc c'est très bien

de faire de l'IA encore faut-il savoir

pourquoi et encore faut-il

savoir si on veut économiser de l'argent

ou si on veut générer du revenu mais

dans un cas comme dans l'autre avec de

telles factures il va vous falloir une

sacrée une sacrée innovation pour

justifier le coût et donc c'est souvent

là que les clients tirent sur la se tire

sur la prise et se mettent à réfléchir

en dire et se disent qu'est-ce qu'on

peut faire d'autre comment est-ce qu'on

peut avoir une expérience utilisateur de

très bonnne qualité mais avec des couts

raisonnables et une maîtrise complète de

ce qui se passe alors peut-être pour

recentrer un petit peu et je suis pas en

train de dire qu'il faut surtout pas

utiliser des très très larges modèles au

contraire mais en tout cas c'est un ça

reste un un phénomène itératif

exploratoire et c'est absolument parfait

de commencer par des très grands modèles

des clot 3 des

Mistral il y en a beaucoup beaucoup

d'autres euh ça permet de dégrossir ça

permet de tester un petit peu leou ils

sont très faciles à mettre en très facil

littéralement en quelques minutes ou

quelques heur vous avez déjà un

prototype qui fonctionne ça permet de

valider le modèle et ensuite se pose la

question de comment passer à l'échelle

comment euh ce modèle qu'on a utilisé

pour quelques personnes on va le faire

pour potentiellement une entreprise de

100000 personnes et là on on rentre dans

effectivement cette cette optimisation

et c'est là où le fait d'utiliser des

modèles plus petits ont deux avantages

évidents le premier c'est que ça coûte

moins cher donc ça devient compatible

avec un hroi le deuxième qui est moins

connu en général c'est que c'est

également ils sont plus rapides c'est et

dans certains cas on a des exemples on a

un service qui s'appelle Connect de

centre d'appel où on fait de de las

générative pour aller bien sûr faire de

la transcription donc le modèle comprend

ce qui est ce qui est dit et faire aussi

de la génération en temps réel de

recommandation pour l'agent qui est au

téléphone s'il faut attendre 15 secondes

ou 10 secondes que la recommandation

arrive c'est trop tard la discussion est

déjà passée passée à autre chose donc

quels sont tes tes conseils final pour

qu'un

client fait fasse cette transition

finalement d'un d'un d'un très large

modèle à des modèles Open Source plus

ciblés le premier point c'est d'être

très clair sur le cas d'usage alors ça

paraît évident mais le nombre de clients

que je peux encore croiser et qui me

sortte ma phrase préférée qui est je

veux savoir de je veux voir de quoi la

technologie est capable et et et encore

un peu trop élevé à mon goût et ça c'est

la meilleure façon d'échouer donc il

faut avoir un objectif clair donc on

peut se dire voilà moi j'ai besoin d'un

modèle qui en en en quasi temps réel on

va dire en 500 millisecondes et capable

de me générer une réponse à une question

que me pose un client au téléphone et

cetera et cetera quelque chose de cadré

quelque chose de

concret avec une bonne compréhension du

domaine est-ce que on parle du domaine

financier est-ce qu'on parle du

domaine euh automobile est-ce qu'on

parle d'autres choses donc quel genre de

question on va poser au modèle avoir une

idée du coût qu'on est prêt à supporter

avoir une idée de l'échelle à laquelle

on va devoir fonctionner et cetera donc

il y a un ensemble de paramètres déjà

qui sont important tout c'est pas

essentiel de de tout connaître à la

virgule près mais il faut déjà cadrer ça

une fois qu'on a ça on peut commencer à

à tester les meilleurs modèles open

source du marché euh si on peut appeler

ça un marché euh donc on va les trouver

sur le hingf on a d'ailleurs bâti un ce

qu'on appelle le leaderboard donc il y a

un classement maintenu en permanence

avec les meilleurs modèles les

benchmarks les performances techniques

et cetera donc ça permet déjà de guider

le meilleurs modèle alors ça ça ça

change ça change je va pas dire tous les

jours mais ça change ça change souvent

oui ça change souvent et et et et et en

fonction de ces différents paramètres

voilà on va dire moi en fonction de mes

coûts en fonction de mon

échelle bah peut-être que je vais

d'abord commencer par des petits modèles

parce que peut-être qu'un petit modèle

est suffisant pour pour répondre à des

questions hyper ciblées voilà je fais du

support client sur des forfaits

téléphoniques et je ferai que ça je vais

pas faire de recette de cuisine je vais

pas faire de question d'astronomie donc

assez intuitivement on comprend que si

on a un un un domaine métier

étroit mais sur lequel on a besoin

d'énormément de profondeur on va pas

avoir besoin d'un modèle généraliste

gigantesque gigantesque qui lui alors

sera hyper large mais assez assez peu

profond et en fait c'est cette c'est

cette c'est ça qu'il faut comprendre

assez tôt et ensuite expérimenter avec

les meilleurs modèles les tester les

évaluer sur vos données et peut-être à

un moment ce que tu disais au début les

f tuner donc les réentraîner un petit

peu sur vos données pour

que ben ils comprennent toutes les

nuances de vos forfaits téléphonique de

vos conditions de vente et cetera et

cetera et c'est ce process itératif qui

permet d'arriver à une solution où on a

la meilleure performance du modèle en

terme de pertinence et un coût

performance technique et financier

optimisé donc j'ai un peu triché tout à

l'heure en disant créer son propre

modèle en fait il s'agit de de fine

tuning de de modèle existant mais

d'après toi on peut arriver sur un

domaine très précis au même niveau voire

mieux qu'un qu'un modèle généraliste ah

oui depuis en fait cette cette question

là et on y a répondu depuis juilletaoût

de l'année dernière donc en juillet août

il y a eu juillet il y a eu un jalon

assez important qui était la la sortie

du modèle Lama 2 qui a été publié par

MTA ma qui fait beaucoup de choses

extrêmement intéressantes dans le dans

le li open source et assez vite on a vu

des versions de Lama 2 y compris des

petites versions donc fine tuner donc

réentraîner sur des domaines

précis et on les a vu très vite

surperformé GPT 3.5 donc d'Open a

euh voire même dans certains cas gpt4

donc depuis voilà moins cher est

beaucoup moins cher puisque là on parle

de modèle qui font on va dire 13

milliards 30 milliards de paramètres

donc c'est-à-dire entre 10 et 20 fois

plus petit que ce qu'on suppose être GPT

3.5 et gpt4 puisque ils nous disent

pas et et donc vous vous pouvez imaginer

quand on travaille avec un modèle qui

est littéralement 20 fois plus petit

donc quand je dis 20 fois plus petit ça

veut dire qu'il occupe 20 fois moins

d'espace en mémoire sur votre GPU ou sur

votre sur votre serveur et donc

forcément l'économie de coût euh et la

capacité à skel est ce ce modèle va être

va être importante voilà je rebondis sur

les GPU bon qu' a un peu de tension sur

le marché le marché des GPU je t'ai déjà

entendu parler vent je t'ai déjà entendu

parler également de de nouveaux

algorithmes et de mécanismes de

compression pour finalement le CPU n'est

pas complètement mort c'est ça

absolument pas donc NVIDIA a fait un

excellent travail pour convaincre la

planète que on pouvait pas faire dia

sans sans

GPU alors comme on dit en anglais we

back to differ

on travaille chez hugingf avec alors on

travaille avec des partenaires cloud AWS

étant le le plus important pour nous

mais on travaille aussi avec des

partenaires hardware on travaille avec

Intel on travaille avec

AMD on travaille avec d'autres d'autres

sociétés et on on travaille avec eux sur

l'optimisation des performances des

modèles sur leur

plateforme GPU et CPU et moi je vois

beaucoup de clients qui font donc de

l'inférence donc qui utilisent ces

modèles qui prédisent avec ces modèles

sur les plateformes pu et et pour des

cas d'usage où la latence de prédiction

est moins sensible il y a beaucoup de

processus qui sont des processus on va

dire backofice qui travaille en mode

voilà en mode asynchrone et cetera où

finalement il y a pas vraiment un

utilisateur qui attend la réponse en

temps réel et ben on arrive à des une

fois de plus à des coûts performances

parce que la performance seule n'a aucun

sens ce qui compte c'est le coût

performance on arrive à des niveaux de

cooup performance qui sont vraiment

excellents et et même je dirais dans

l'absolu à des niveaux de performance

technique de de latence de prédiction

qui sont tout à fait correctes moi j'ai

vu des chatbots qui tombent bien sur CPU

parce qu'ils ont été effectivement

optimisés compressés avec des techniques

un peu un peu savantes mais qui sont

facilité par nos outils Open Source donc

le une fois de plus le on a commencé par

dire il y a pas le modèle couteau suisse

bah vous savez quoi il y a pas non plus

le l'accélérateur couteau suisse donc il

faudra un panel de modèle et il faudra

un panel de de puces alors il faudra des

gros GPU tu as pas cité les puces d'ws

voilà j'y arrive j'yarrive il faudra des

des grosses puces ou des en tout cas des

puces puissantes pour entraîner les

modèles et a WS en a il faudra une autre

gamme de puces pour prédire donc faire

de l'inférence avec ces modèles ça

pourra être des GPU des CPU ou les puces

WS donc Stéphane je sens parler dans 10

secondes et puis il y aura aussi

probablement des puces plus petites qui

fonctionneront pour sur vos laptops sur

vos téléphones portables et cetera et

cetera donc voilà une fois de plus la

technologie c'est pas un truc il y a

c'est pas une seule solution je sais

bien on fait du marketing on essaie de

convaincre mais dans mon monde dans les

trancheres les choses sont plus

complexes et il y a toujours plein de

solutions possibles puisque tu par

puisque tu me tends une perche c'est un

domaine très actif et je reviens un peu

sur les les trois points de tout à

l'heure c'està-dire les trois grandes

questions que les DSI me pose toujours

sur l' générative un comment vérifier la

qualité la véracité des réponses faire

soit qu' a pas d'hallucination que ce ne

soit pas toxique donc la qualité des

modèles est surtout du fine tuning du

prompt engineering du rag il y a

beaucoup de technologie pour ça il y a

des solutions le deuxième c'est la

sécurité alors ça on a toujours géré ça

avec des modèles qui sont isolés

privatisé et sur lequel finalement quel

soit le modèle que ce soit du Amazon

bedrock que ce soit du hugging face dans

AWS et ainsi de suite vos données ne

sont qu'à vous n'appartiennent qu'à vous

ne sont partagés avec personne et

surtout pas avec les créateurs de

modèles ça ça c'est clair c'est c'est

c'est net c'est précis le troisième

point qui est la la bonne utilisation

des ressources que ça coûte pas trop

cher ça c'est un premier

aspect on est aussi on a aussi fiy

Partners impact et aussi que ça ne

consomme pas trop d'électricité c'est

absolument vital et ce qui est

intéressant c'est que les deux sont

fortement corrélés et que si on arrive à

baisser la consommation électrique en

fait ça coûte moins cher et c'est un

domaine où nous sommes aussi très actifs

puisque nous avons deux puces

inferenticia pour l'inférence et trénium

pour l'apprentissage notre but avec ces

puces c'est de diviser par deux la

consommation électrique par rapport au

puce que tu as cité et pareil pareil sur

le prix et ça reste aussi bah et ce qui

est intéressant c'est que c'est vraiment

un fonctionnement main dans la main à la

fois des créateurs de modèles et des

algorithmes et des des de ceux qui font

l'électronique pour arriver à à à

finalement au meilleur des deux mondes

euh peut-être pour terminer bah

finalement si on revient et pour

l'audience Julien c'est quoi pour toi le

le conseil pour bien démarrer là tout de

suite on a un besoin et finalement

commentmarer alors alors comment ne pas

démarrer déjà ah l'autre question alors

comment ne pas démarrer alors je l'ai

déjà dit tout à l'heure euh hein je veux

savoir de quoi la technologie est

capable là vous ben vous retournez

prendre un café puis vous réfléchissez

encore un petit peu

euh la deuxième façon de pas démarrer

c'est euh de réunir un comité de

gouvernance d'IA pendant 6 mois euh

voilà ça c'est pas c'est pas ça sert à

rien oui il y a la régulation oui euh ça

a un certain intérêt on a on a pas le

temps de détailler euh oui vous devrez

cocher un certain nombre de cases si

vous êtes soumis à cette régulation mais

ça c'est un truc à faire en parallèle

donc ce qu'il faut faire c'est commener

à tester ce soir voilà donc vous trouvez

vous priorisez avec vos équipes business

deux trois

scénarios et et puis vous commencez à

regarder des modèles sur étagère qui

peuvent être une solution et vous

commencez à les tester tout de suite et

vous commencez à à vous faire un avis

sur ce qui marche ce qui marche et

ensuite quelle est la prochaine étape et

ça une fois de plus pourquoi huging face

a un certain succès pourquoi est-ce que

on a à peu près 100 % de de d'adoption

dans le dans la communauté machine

learning ea tout simplement parce que

les outils qu'on construit ils

permettent ça voilà et ils permettent de

télécharger les modèles de commencer à

les tester en en en quelques minutes

voilà donc on a notre propre service de

déploiement de modèle vous pouvez aussi

les déployer sur AWS c'est tout aussi

simple on génère même le code que vous

devez exécuter pour les déployer donc

vous pouvez commencer à tester à évaluer

dans votre bac à sable et et à vous

faire une idée et puis ensuite voilà

tester différents

modèles et peut-être ensuite commencer à

les entraîner commencer à les

spécialiser et avancer mais de manière

concrète voilà pas avec des comités de

gouvernance ou je sais pas quoi ça c'est

bon la la machine

bureaucratique oui il faudra s'en

occuper mais tant que vous avez pas

troué trouver un ou deux modèles qui

sont très prometteurs pour résoudre

votre problème ça sert à rien de se

poser la question de comment on va

cocher les cases de la régulation ou

comment on va faire plaisir à nos

équipes de compliance voilà donc donc ça

c'est vraiment la clé moi je vois les

clients qui échouent c'est ce he c'est

ceux qui qui tournent en haut parce

qu'ils ont pas réfléchi vraiment au cas

d'usage et puis ceux qui veulent faire

une stratégie à 5 ans alors que ils ont

un ou de mois d'évaluation à commencé

tout de suite voilà le reste c'est nous

qui nous en occupons avec nos open

source et avec nos partenaires donc l'an

prochain on revient il y aura beaucoup

plus de bras levés sur utilisation

d'Open Source et de de modèle merci

beaucoup merci à T merci beaucoup

[Musique]