The Sad Reality of AI Job Market w/ ML Engineer

Summary

Dans ce script de vidéo, un ingénieur en apprentissage automatique partage ses expériences et les prévisions du marché de l'emploi dans l'IA. Il discute des malentendus courants autour de l'IA, la difficulté de l'intégration des modèles ML dans les infrastructures des entreprises et les compétences manquantes dans les formations académiques. Il met en lumière l'importance de l'ingénierie de l'intégration et de la maintenance des modèles, ainsi que l'émergence des compétences en ingénierie de prompt pour les modèles génératifs d'IA.

Takeaways

• 🎓 L'auteur a choisi de suivre une maîtrise pendant l'essor de l'IA, sachant que le domaine était en pleine croissance.
• 📈 Il y a eu une forte demande pour les ingénieurs en apprentissage automatique et la science des données, mais celle-ci a diminué en 2023, suite à une surévaluation de l'IA en 2022.
• 🤖 La communauté a une tendance à surestimer les capacités de l'IA comme étant une solution miracle, ce qui n'est pas le cas.
• 🏢 Les entreprises ont souvent besoin d'ingénieurs qui peuvent non seulement créer des modèles de machine learning, mais aussi les intégrer efficacement dans leur infrastructure existante.
• 💼 Les salaires des ingénieurs en apprentissage automatique sont élevés, et leur productivité doit justifier ces coûts.
• 🔍 L'intégration de l'IA dans les entreprises est un défi majeur, nécessitant des compétences d'ingénierie pour gérer les pipelines de données et l'hébergement des modèles.
• 👨‍🏫 L'éducation traditionnelle en apprentissage automatique se concentre plus sur la théorie que sur les compétences pratiques nécessaires pour l'industrie.
• 📉 En 2023, les postes de machine learning ont diminué, tandis que ceux liés à l'intelligence artificielle générative et à l'ingénierie de prompts ont augmenté.
• 🛠️ L'ingénierie de prompts est une compétence clé pour tirer le meilleur parti des modèles de l'IA, et elle n'est pas souvent enseignée dans les écoles.
• 🔄 La maintenance des modèles de machine learning est importante, car leur performance peut dériver avec le temps si elle n'est pas surveillée et retraînée.
• 🧐 L'auteur a découvert par lui-même l'importance de l'ingénierie de prompts en utilisant des modèles de l'IA pour résoudre des problèmes techniques complexes.

Q & A

Quelles étaient les attentes initiales de Tanner concernant l'industrie de l'IA lorsqu'il a commencé son master?

Tanner pensait qu'il terminerait son master au moment parfait, avec une forte demande pour des ingénieurs en apprentissage automatique, ce qui lui permettrait de décrocher un emploi facilement, de gagner beaucoup d'argent et de prendre sa retraite dans dix ans.

Quels sont les malentendus courants sur l'IA que Tanner a rencontrés dans son travail?

Un malentendu courant est que l'IA est une solution miracle qui peut augmenter rapidement les revenus de l'entreprise. En réalité, il est beaucoup plus difficile de créer une valeur durable avec l'IA qu'on ne le pense.

Pourquoi Tanner pense-t-il que les entreprises ont embauché massivement en 2022?

Les entreprises ne voulaient pas être laissées pour compte dans la course à l'IA, elles ont donc embauché massivement sans nécessairement savoir comment utiliser ces talents, par crainte que leurs concurrents ne les devancent.

Quelles compétences sont souvent négligées dans les programmes universitaires en IA, selon Tanner?

Les programmes universitaires se concentrent souvent sur la théorie et les mathématiques avancées nécessaires pour la recherche, mais négligent les compétences pratiques nécessaires pour intégrer les modèles dans les infrastructures complexes des entreprises.

Quel est l'impact de la formation axée sur la théorie par rapport à la formation axée sur la pratique, selon Tanner?

Une formation axée sur la théorie prépare mieux les étudiants à poursuivre des études académiques ou de recherche, mais ne les prépare pas suffisamment à appliquer leurs compétences de manière pratique dans l'industrie.

Comment Tanner a-t-il découvert l'ingénierie de prompts (prompt engineering)?

Tanner a découvert l'ingénierie de prompts en essayant de comprendre un bloc de code complexe avec l'aide de chatGPT. Cela a changé sa perception de l'utilité de chatGPT et l'a poussé à apprendre à mieux formuler ses requêtes.

Pourquoi Tanner pense-t-il que l'intégration des modèles d'IA est plus compliquée que leur création?

L'intégration des modèles d'IA est complexe car elle nécessite de l'ingénierie pour héberger le modèle, gérer les pipelines de données, assurer des prédictions rapides et surveiller les performances du modèle au fil du temps.

Quelles sont les nouvelles tendances en matière d'emplois en IA en 2023, selon Tanner?

En 2023, les emplois liés à l'IA générative et à l'ingénierie de prompts ont augmenté, tandis que la demande pour les ingénieurs en apprentissage automatique a diminué. Les compétences en chatGPT et l'ingénierie de prompts sont particulièrement recherchées.

Comment Tanner gère-t-il les attentes irréalistes des entreprises concernant l'IA?

Tanner explique aux entreprises que la création de valeur avec l'IA est plus difficile qu'elles ne le pensent et nécessite des compétences pratiques en ingénierie, pas seulement en modélisation.

Quel conseil Tanner donne-t-il à ceux qui veulent améliorer leurs compétences en ingénierie de prompts?

Tanner conseille d'expérimenter avec chatGPT pour voir ce qu'il peut faire, d'apprendre des techniques avancées d'ingénierie de prompts et de s'inspirer du travail de prompters expérimentés.

Outlines

00:00

🤖 L'engouement pour l'IA et ses déceptions

Dans le premier paragraphe, l'interviewé partage son expérience personnelle en tant qu'ingénieur en apprentissage automatique et scientifique des données. Il parle de l'engouement actuel pour l'IA et comment il a anticipé une demande forte pour les ingénieurs en apprentissage automatique après son diplôme. Cependant, la réalité s'est avérée différente, avec une demande accrue pour des postes exigeant une expérience avancée et des publications. Il souligne également que la demande a diminué en 2023, contrairement à l'engouement de 2022, et que les entreprises ont souvent des attentes irréalistes concernant l'IA, considérant souvent cette technologie comme une solution miracle. Il met en lumière les défis de l'intégration de l'IA dans les entreprises et la nécessité de compétences pratiques pour déployer l'IA de manière durable et efficace.

05:02

🔌 L'intégration de l'IA : un défi majeur

Le deuxième paragraphe se concentre sur les défis de l'intégration de l'IA dans les infrastructures des entreprises. L'interviewé explique que l'IA n'est pas une solution universelle et que son intégration nécessite des compétences d'ingénierie. Il aborde les questions de l'hébergement des modèles, la gestion des pipelines de données, la nécessité de nettoyer et de stocker les données, et la performance des modèles. Il souligne également l'importance de la surveillance continue des modèles et de la planification de leur réentraînement. L'interviewé critique l'éducation traditionnelle qui ne prépare pas les étudiants aux réalités de l'industrie et met en avant l'évolution des rôles dans le domaine de l'IA, notamment l'augmentation des postes liés à l'intelligence artificielle générative et à l'ingénierie de prompts.

10:02

💡 L'ingénierie de prompts : une compétence émergente

Dans le troisième paragraphe, l'interviewé partage son parcours personnel dans l'ingénierie de prompts, une compétence qui est devenue cruciale dans l'utilisation des modèles d'IA. Il raconte comment il a découvert par hasard les capacités de chatGPT pour aider à comprendre le code et comment cela a changé sa perception de l'IA. Il décrit son apprentissage des techniques d'ingénierie de prompts et comment cela a augmenté sa productivité et sa compréhension des modèles d'IA. L'interviewé insiste sur l'importance de l'apprentissage continu et de l'adaptation aux nouvelles compétences requises dans le domaine de l'IA, soulignant que l'ingénierie de prompts est une compétence universelle qui peut être appliquée à de nombreuses tâches professionnelles.

Keywords

💡Intelligence Artificielle (IA)

L'Intelligence Artificielle (IA) est un domaine de l'informatique qui vise à créer des machines capables de réaliser des tâches qui nécessitent normalement l'intelligence humaine, telles que la reconnaissance de la parole, la vision par ordinateur et la résolution de problèmes. Dans le script, l'IA est abordée comme un sujet de préoccupation majeur pour les entreprises qui cherchent à innover et à se démarquer sur le marché, mais aussi comme une source de malentendus et de défis dans la mise en œuvre réelle.

💡Machine Learning

Le Machine Learning est une branche de l'IA qui utilise des algorithmes pour permettre aux ordinateurs d'apprendre à partir de données sans être explicitement programmés. Dans le script, il est mentionné comme une compétence en demande pour les ingénieurs qui travaillent sur des projets d'IA, mais aussi comme un domaine où les attentes peuvent être déçues en raison de la difficulté de mettre en œuvre des modèles dans des environnements réels.

💡Data Scientist

Un Data Scientist est un professionnel qui analyse des données volumineuses pour extraire des informations utiles et prendre des décisions éclairées. Dans le script, le rôle du Data Scientist est associé à celui de l'ingénieur en apprentissage automatique, soulignant l'importance de la gestion des données et de l'analyse statistique dans le développement d'applications IA.

💡Attentes

Les attentes dans le script se réfèrent aux anticipations et aux espérances des employeurs et des employés concernant les capacités et les performances de l'IA. Il est souligné que ces attentes peuvent être déçues en raison de la complexité de l'intégration de l'IA dans les entreprises et des défis associés à la gestion des modèles d'apprentissage automatique.

💡Intégration

L'intégration dans le script fait référence au processus de mise en place des modèles d'apprentissage automatique dans les infrastructures existantes des entreprises. Il est souligné que cette étape est souvent plus complexe que prévu et nécessite des compétences techniques spécifiques pour s'assurer que les modèles fonctionnent correctement et apportent une valeur ajoutée.

💡Modèles d'Apprentissage Automatique

Les modèles d'apprentissage automatique sont des algorithmes utilisés pour analyser des données et faire des prédictions. Dans le script, ils sont mentionnés comme un élément clé dans le développement de solutions IA, mais aussi comme une source de défis en termes de maintenance et d'intégration dans les systèmes informatiques des entreprises.

💡Infrastructure

L'infrastructure dans le script se réfère aux systèmes et aux processus techniques qui permettent de supporter les applications IA. Il est souligné que l'hébergement, la gestion des données et la maintenance des modèles sont des aspects cruciaux qui doivent être pris en compte pour garantir la performance et la stabilité des solutions IA.

💡Maintenance

La maintenance dans le script fait référence à la gestion continue des modèles d'apprentissage automatique pour s'assurer qu'ils restent performants et pertinents. Il est souligné que cela nécessite une surveillance régulière et des mises à jour fréquentes pour adapter les modèles aux changements dans les données et les exigences des utilisateurs.

💡Éducation Académique

L'éducation académique est mentionnée dans le script comme un moyen d'acquérir les connaissances théoriques nécessaires pour travailler dans le domaine de l'IA. Cependant, il est souligné que cette formation peut ne pas être suffisamment pratique pour préparer les étudiants à la réalité du travail dans les entreprises, où des compétences plus techniques et de gestion sont souvent requises.

💡Prompt Engineering

Le Prompt Engineering est une technique utilisée pour optimiser les interactions avec des systèmes d'IA, en particulier les assistants virtuels comme chatGPT. Dans le script, il est présenté comme une compétence en croissance et essentielle pour tirer le meilleur parti des modèles IA, en apprenant à formuler des questions et des instructions de manière à obtenir des réponses précises et utiles.

Highlights

The speaker anticipated a booming job market in AI upon graduation, expecting high demand and lucrative salaries, but reality did not meet those expectations.

AI and machine learning hype in 2022 led to inflated expectations, with many companies rushing to hire in the field, only to face a dip in demand in 2023.

Companies sought experienced AI professionals to build new teams, but the demand was not sustained, leading to a challenging job market for new graduates.

A common misconception is that AI is a 'silver bullet' for business growth, but integrating AI into a company's infrastructure is more complex than expected.

The speaker emphasizes the importance of not only building AI models but also the engineering skills required to integrate and maintain them within a company's ecosystem.

Educational institutions may not adequately prepare students with the practical skills needed for industry, focusing more on theory and academic research.

The speaker discusses the gap between academic training and the real-world application of AI, highlighting the need for a broader skill set.

AI job roles saw a decline in 2023, but generative AI and prompt engineering emerged as growing fields, with chatGPT becoming a valuable skill.

Prompt engineering is a widely applicable skill that can significantly increase productivity across various job roles.

The speaker's personal experience with prompt engineering began with using chatGPT to understand complex code, leading to a deeper exploration of its capabilities.

Learning to effectively use AI tools like chatGPT involves understanding how to craft prompts to extract the most value.

The speaker's experience with chatGPT revealed the importance of prompt engineering in controlling the output and avoiding 'hallucinations' in responses.

Experimenting with different prompt settings can lead to varied results, indicating the need for careful consideration in AI tool usage.

The speaker discusses the shift of AI professionals from academia to industry, driven by financial incentives and the allure of working with cutting-edge technology.

The importance of monitoring and maintaining AI models over time to ensure continued performance and relevance is highlighted.

The speaker reflects on the need for continuous learning and adaptation in the field of AI, as traditional education may not fully equip professionals for industry demands.

A course on advanced prompt engineering is mentioned, indicating a growing interest and need for specialized training in this area.

Transcripts

I'm timing this perfectly, I'm gonna finish up

in a year, or when I graduate, there'll just

be 50 people begging to get the job, and I'll

make a million dollars and retire in 10 years.

And Tanner, hi, you're part of

Simpline's team and you're a machine

learning engineer and data scientist.

I'm really curious first about the recent AI hype.

In your experience, everything what you see

as a machine learning engineer, what are

common misconceptions people have about AI?

Also, how do you manage those expectations when

you have to work on a project or with a client?

Yeah, so there's, I can either speak to my

recent experience as someone trying to get a job

in this space and then maybe we can translate

to them more about what the job entails.

So yeah, this did, it was very

fortuitous timing for me to be a

graduate around this time of AI hype.

Machine learning was definitely

growing in popularity when I made

the transition to the master.

That was a deliberate career move.

And then when I was halfway through my

degree, chatGPT came out, and all the image

generators got really popular, and the hype

was enormous, and I thought, great, I'm

timing this perfectly, I'm gonna finish

up in a year, or when I graduate, they'll

just be 50 people begging to give me a job.

And I'll make a million

dollars and retire in 10 years.

And that reality came

crashing down pretty quickly.

And I think the primary reason is that people,

when I was looking for a job, every company

wanted someone to either start their AI team and

they wanted someone with 10 years of experience.

Publications, PhD that sort of thing.

So everyone wants machine learning engineering.

Everyone wants AI, even if

they might not know how.

It's so in line with, uh,

Stanford AI Index Report.

The common misconception is that, oh

my God, everyone is hiring in AI, but

actually the boom was really in 2022.

And then 2023 saw across the board,

meaning it's not just U.S., but also other

countries having like a dip in demand.

From the report, they highlighted

that big tech companies cut on

their staff and we saw big layoffs.

For me, the other one kind of obvious was that

people probably already hired their machine

learning engineers and build teams in 2022.

And that demand was not as big as in 2023.

What is your feeling why

these job positions are down?

And, yeah, obviously senior

positions are in demand.

I just think it's probably

a combination of factors.

I think you are correct in the sense that

companies who maybe are a bit more rash

with their decisions, didn't want to be

left behind, didn't want to be left out.

and just started hiring like crazy and probably

said we'll figure out what to do with them later.

But if we don't hire our competitors

will, we don't want to be left behind.

I think another aspect of it is that a lot

of people think AI is like a silver bullet,

where all you have to do is just hire a couple

people like me and say "here's some data,

go build something", and then you're going

to increase your company revenue by 30%.

And that is simply not the case.

I think it's a lot.

Harder than companies realize to

actually build sustainable value for

a company, especially a large company.

And this is one of the problems in the

industry and I think one of the problems

with how machine learning is taught.

I was taught a lot of theory about machine

learning and AI, getting down to the

nitty gritty of the math, really how it

works, talking pretty high level linear

algebra, calculus, probabilistics, and

then theory on how these large models work.

And that's all well and good for doing

a research project for your degree.

It's fine for academia, but in the real

world, you need someone who can not only

design a model and play around with the

parameters until you get a good prediction

on your test set, but actually integrate

that into a generally pretty sophisticated

and complicated company infrastructure.

And that is the whole other set of skills that

most people don't actually learn in school

or really in other applications as well.

Because people may go in with very solid knowledge

and ability in terms of actually building models.

They're much more ignorant about how to actually

take a model that works and then integrate

it into a company's software ecosystem.

And then maintain that model to the point

where it can actually produce substantial

value for a company that it's worked for.

Exorbitant price that these companies are paying.

Salaries are quite high as well.

The productivity of the modeling

has to justify the salary.

To us at synthminds.ai that it's in

alignment what we saw in really 2023

to be honest, that everyone wanted AI.

But what we found that when you come

in a company, they have all these

existing softwares, all the processes.

Not really even data strategy in that sense.

And then they're like, Oh,

just do this magical thing.

And what becomes that, the

integration becomes the challenge.

I like what you bring up, uh, the integration,

because that's, I don't think that's much

talked about, because everyone is focused

as just machine learning solves everything.

Yeah.

And the integration is way more complicated

than people, I think, understand.

And that's why there's actually a big

push in the fields, in terms of company,

they want people who are not just data

scientists, who aren't just tinkerers with

models, but people who are also engineers.

And I think that's why it's a machine learning

engineer, not just whipping up a model

with PyTorch and getting good results on a

predictive task and saying, okay, job well done.

So we can create a model into an

infrastructure, means you have to host this

somewhere, same way you host a website.

You have to figure out how the

data pipeline is going to work.

Are you ingesting data continuously,

streaming it every now and then?

How do you clean the data?

How do you store the data?

How do you then pass your data to the model?

For a lot of companies, the time it takes

to make a prediction critical may say,

if you need a prediction fast, that is

an engineering concern as well, because a

lot of times these models are quite slow.

So it's another engineering to figure out how

are we going to handle millions of predictions

at scale and still make sure the customer,

the end user, is It's predicting quickly.

How do you monitor a model?

It changes over time and your model

was trained on data from a year ago.

Eventually your model performance, there's a

good chance it drifts in a negative direction

as in the performance gets worse over time.

So how do you make sure you're

monitoring the model's predictions

and then do you have a plan to retrain the model?

And these are all kinds of things that you don't

learn usually at school, maybe at class, you

don't learn it with other educational resources.

They're arguably more important

than being really good at creating a

predictive model in the first place.

Before machine learning engineers, would go

into academia, like doing research, where

all that theory can actually be applied and

you can be tinkering with just math problems.

But now, um, there is a, I think from 35 percent

to 70 percent growth for engineers to actually

go into industry, because this is where money

is, this is where compute is, and it's much

more interesting, but the traditional education,

not necessarily prepared for this shift, right?

I'm sure it's better at other schools

and probably better at institutions that

are more geared towards engineering,

like engineering institutions.

They probably teach you more of

these practical skills virtually.

I went to the McGill University, and then I also

went to the research institute for my master's

called Montreal Institute of Engineering.

Learning Algorithm, called MILA.

And both of these institutions

care primarily about academia.

They are trying to prepare their students

to transition after this degree, to the

next degree in their academic career.

So, they want to prepare you to do a PhD.

They don't necessarily want to prepare you to go

take your skill and apply it at a large company.

Which is why they focus so heavily on

the theory, and things that are important

for publishing scientific paper, and

less so on the actual practical skills.

And I imagine this is not just an

issue in institutions I was at.

Probably across the board in academia.

As I mentioned to you that machine learning

roles, they actually fell percentage wise in 2023.

The roles that emerged and is actually growing

is generative artificial intelligence, chatGPT,

being a skill requirement on a job post.

Prompt engineering closely followed that,

and what was impressive to me that prompt

engineering, there were more jobs in prompt

engineering than in generative adversarial

networks as a requirement of the scale.

Yeah, that's not necessarily surprising to me.

GANs are a specific subclass of deep

learning model with specific applications.

I'm wondering, maybe a company has

used a GAN internally, and then HR knew

that and just said, okay, you can be an

expert job, but it's pretty specific.

Whereas, prompt engineering, even there is a cat!

It.

I'm keeping this.

It's the last bit of train of thought.

Oh, prompt engineering is universally useful

for pretty much any job, because these models

are so phenomenal, and just with a little

bit of know how to use them, you You can

increase your productivity in so many facets

of your work with pretty minimal effort.

So it's definitely a more widely applicable and

universal skill than something as niche as GANs.

What was your kind of intro

into prompt engineering?

Was it part of your education?

Was it existing term around?

It was definitely not a

formal part of my education.

My education, for my master's, focused on

theory and machine engineering requirements..

Developing models will apply

toward that sort of thing.

Personally, I first became aware of

it, I'd say halfway through my degree.

I remember one time I was really struggling

with understanding this block of code.

And I believe it was a block of code for

calculating a prior for a diffusion model that

we had to code from scratch in deep learning.

So I was really struggling with it, and

my wife just said, Can't you just put code

in the chatGPT and have it explain it?

And I said, I think that works with simple things,

but it's, you know, it's pretty high level.

It's essentially applied mathematical programming

through a pretty complicated mathematical process.

I was very skeptical, but I said,

what the heck, let me try it.

I put it in, I said, hey, explain it.

And I was blown away how perfectly and

intuitively it was able to take something

so technical, something so daunting

and unapproachable to someone like me.

Who has a solid math background, but

it's not super advanced compared to the

people really working in this field.

And that was the lightbulb moment for

me, where I realized, okay, maybe I

need to get rid of my preconceived

notions about chatGPT can and can't do.

And if I believe that it even has a

small chance that it can help me with

the task, I'm just going to try it.

And more often than not, it doesn't always work,

but more often than not, it's going to immediately

indicate to me that there is some value here.

And then you get in the process of, okay,

is it not working because it can't do this?

Or is it not working because you're not giving

it the proper instructions to get it to do it?

That was personally my progression.

So once I got to that point, I said, okay,

now I need to get better at telling chatGPT,

which is what I was using, how to help me.

And then you start reading stuff.

Personally, I've learned a lot from

people here at Synthminds because

there's incredible prompters here.

And they really, just when I thought I was

getting good at prompt engineering, look

at some of the work that people are doing.

And I say, okay, I actually have no idea.

These people really know their stuff.

They're going way deeper than I thought possible.

And then, yeah, I'd say once you get to

that point, You've done the easy stuff, but

then you really have to learn the techniques

for how to extract that extra value.

And once you dedicate yourself to learning,

even basic prompt engineering can take you way

further than blindly typing in the chatGPT.

Hi, Video Editing Goddard here.

I promise to you, Tanner

was not forced to say this.

But I think this is a great

opportunity to tell you.

The second cohort of chatGPT and beyond advanced

prompt engineering is starting on July 29th.

It is a three week long live course where

we teach advanced prompting techniques

such as meta prompting and multi role

prompting so your chatGPT can prompt itself.

The course is project based, so if you are

interested, use code GOTTAGO for 10 percent off.

I have to say, like, For me, personally,

prompting ruined my experience with chatGPT.

It completely removed the magic.

And I vividly remember that I was

asking a question and I, I just

thought, okay, so just statistics.

So I'm asked this question

once and I got this answer.

What if I just ask the same question?

Do I get the same answer?

And I was just curious how

same answer can be change.

Then I learned about temperature and

like top P and stuff like that, but it

dawned to me like, okay, so if I'm playing

with different settings, but what if I

ask the same question a thousand times?

And then I saw hallucinations that magically

appear, so I plugged, um, plugged API

to Google Sheets and I was just like,

same question dragged itself down and it

was like, oh, so it's just almost luck?

What answer I get?

Or, can I control what answer I get?

And this was like, you know, I started

playing with different variables.

I remember we were debating very long, is

it better to say, act as the copywriter?

Or act as blog writer.

What gives better results?

Anyway, so I'm going on tangent here, but

it's always for me fascinating to hear

people's experience with prompt engineering.

Yeah, but what you were doing sounds

like that could be like a master thesis.

That's a really interesting way to try to

break it down and study it and analyze it.