Should you still learn to code? (ft. Devin)

Luke Barousse
21 Mar 202409:31

Q & A

  • Was ist Devon und was verspricht es?

    -Devon ist ein vollständig autonomer Bot, der mit Werkzeugen wie einer Programmierumgebung und einem Browser ausgestattet ist. Es kann mit einfachen Anweisungen reagieren, Aktionen in einfache Aufgaben unterteilen, das Internet durchsuchen, Code schreiben und sogar Fehler beheben.

  • Wie wird Devon in der Praxis eingesetzt?

    -Devon wird verwendet, um Probleme wie das Beheben von Software-Fehlern oder das Durchführen von Datenanalysen zu lösen. Es kann auch als wirtschaftlicher Analyst tätig werden, indem es zum Beispiel BIP-Trends untersucht und Tabellen erstellt.

  • Was bedeutet die Einführung von Devon für die zukünftige Arbeitswelt?

    -Devon könnte die Arbeitswelt verändern, indem es bestimmte Aufgaben im Bereich der Softwareentwicklung und Datenanalyse übernimmt. Es zeigt jedoch auch, dass ein Mensch immer noch erforderlich ist, um Probleme zu identifizieren und zu leiten, die Devon lösen soll.

  • Welche Rolle spielt der Mensch in der Zusammenarbeit mit Devon?

    -Der Mensch spielt eine zentrale Rolle, indem er Devon leitet, ihm Probleme zuweist und ihm detaillierte Anweisungen gibt. Devon kann dann iterativ Anwendungen entwickeln oder Probleme lösen.

  • Was ist der Unterschied zwischen Devon und anderen Modellen auf dem Markt?

    -Devon hat eine höhere Fähigkeit, echte GitHub-Probleme zu lösen, mit einer Quote von 14% im Vergleich zu anderen Modellen, die im besten Fall bei etwa 2% liegen. Es veranschaulicht, dass es zwar Fortschritte gibt, aber noch nicht in der Lage ist, alle Aufgaben zu erledigen.

  • Wie wird Devon im Vergleich zu anderen Modellen bewertet?

    -Im Vergleich zu anderen Modellen zeigt Devon eine bessere Leistung bei der Lösung von realen GitHub-Problemen. Es erfordert jedoch noch eine Menge an Anweisungen, um komplexe Aufgaben zu bewältigen.

  • Was ist die Rolle von Corsera in diesem Video?

    -Corsera ist der Sponsor des Videos und bietet ein Sonderangebot für seine Plus-Abonnements, das Zugang zu über 7.000 Lernprogrammen einschließlich des Google Data Analytics Certificate gibt.

  • Was ist das Google Data Analytics Certificate und warum wird es empfohlen?

    -Das Google Data Analytics Certificate ist ein Kurs, der Aspizken wie SQL, Programmiersprachen, Visualisierungstools und Tabellenkalkulationen behandelt. Es ist für Anfänger in der Datenanalyse empfohlen und bietet ein umfassendes Verständnis des Berufsbildes.

  • Welche Technologien werden in Zukunft in der Datenanalyse genutzt?

    -Zukünftige Datenanalyse wird möglicherweise Python und Bibliotheken nutzen, die Agenten für große Sprachmodelle erstellen, um komplexere Probleme zu lösen.

  • Was zeigt die Demonstration von Claude als Wirtschaftsanalyst?

    -Claude demonstrierte die Fähigkeit, BIP-Trends zu untersuchen, Tabellen zu erstellen, Transkriptionen von Diagrammen durchzuführen und maschinelles Lernen zur Vorhersage von BIP zu verwenden. Es zeigte auch, wie es Parallelität in der Datenanalyse nutzen kann, um Analysen für mehrere Länder durchzuführen.

  • Was ist die Kritik an Devon und ähnlichen Technologien?

    -Die Kritik an Devon und ähnlichen Technologien liegt in der Übertreibung ihrer Fähigkeiten, die oft von Finanzierungsbedürfnissen der Unternehmen getrieben wird. Obwohl es Fortschritte gibt, können sie noch nicht alle Aufgaben erledigen, die ein Mensch bewältigen kann.

Outlines

00:00

🤔 Wird das Programmieren in der Zukunft noch wichtig sein?

Die zukünftigen Jobs werden sich stark verändern, und der CEO des drittwertvollsten Unternehmens behauptet, dass es wichtig ist, dass Kinder Computerwissenschaften lernen. Diese These wird jedoch in Frage gestellt, da neue Technologien wie Devon, ein vollautonomer Bot, auf den Markt kommen. Devon kann komplexe Aufgaben lösen, indem es das Internet durchsucht, codiert und detaillierte Analysen liefert. Die Demonstrationen zeigen, dass Devon sowohl im Bereich Software-Engineering als auch in der Datenanalyse tätig sein kann, was die langfristige Jobsicherheit der Menschen bedrohen könnte. Dennoch benötigt Devon immer noch menschliche Anleitung, um zu wissen, welche Probleme es lösen soll. Trotz beeindruckender Fähigkeiten bleiben einige Bedenken hinsichtlich der Notwendigkeit menschlicher Eingriffe bestehen.

05:01

💻 Coursera: Ein Muss für angehende Datenanalysten

Das Video hebt die Vorteile von Coursera hervor, insbesondere für angehende Datenanalysten. Der Google Data Analytics Certificate Kurs wird empfohlen, da er alle Kerntechnologien wie SQL, Programmiersprachen und Visualisierungstools abdeckt. Der Sprecher teilt seine persönlichen Erfahrungen mit Coursera und betont, dass es eine wertvolle Ressource ist, um Kenntnisse in Datenanalyse und künstlicher Intelligenz zu vertiefen. Ein besonderes Angebot von Coursera wird vorgestellt, das 100 $ Rabatt auf ein Jahresabonnement gewährt. Die kontinuierliche Nutzung von Coursera zur Verbesserung des Wissens über AI-Anwendungen in der Datenanalyse wird hervorgehoben.

Mindmap

Keywords

💡Devon

Devon ist in dem Skript als ein vollständig autonomer Bot präsentiert, der mit Werkzeugen wie einer Programmierumgebung und einem Browser ausgestattet ist. Er kann, basierend auf einfachen Anweisungen, komplexe Aufgaben durchführen, einschließlich des Lösens von Programmierfehlern und des Durchführens von Datenanalysen. Das Konzept von Devon ist zentral für das Videothema, das die zukünftige Arbeitswelt und die Rolle von KI in der Softwareentwicklung und Datenanalyse diskutiert.

💡Programmieren

Das Konzept des Programmierens ist im Skript als eine Fähigkeit thematisiert, die traditionell für essentiell gehalten wird, um in der zukünftigen Arbeitswelt erfolgreich zu sein. Allerdings wird argumentiert, dass die Bedeutung des Programmierens relativiert werden könnte, aufgrund der Entwicklung von KI-Technologien wie Devon, die die Fähigkeit haben, Aufgaben zu übernehmen, die normalerweise von Programmierern durchgeführt werden.

💡KI-Softwareingenieur

Der Begriff 'KI-Softwareingenieur' bezieht sich auf Devon, der als erstes AI-Programm dargestellt wird, welches die Fähigkeit hat, Softwareentwicklungsaufgaben zu erledigen. Im Video wird dies als ein Beispiel für die zukünftige Arbeitsweise in der Softwareentwicklung angeführt, was zeigt, wie KI die Grenzen traditioneller Berufsbilder verschiebt.

💡Datenanalyse

Datenanalyse ist ein zentrales Thema im Skript, das durch die Diskussion über Devon und seine Fähigkeit, Daten zu analysieren und zu interpretieren, hervorgehoben wird. Im Video wird gezeigt, wie Devon in der Lage ist, Datenanalyseaufgaben durchzuführen, was die Frage aufwirft, wie KI die Rolle von Datenanalysten in der Zukunft verändern könnte.

💡Maschinelles Lernen

Maschinelles Lernen ist ein Teilbereich der KI, der im Skript erwähnt wird, als Devon in der Lage ist, Modelle zu fine-tuning und Daten zu analysieren. Diese Fähigkeit zeigt, wie KI in der Zukunft möglicherweise die Art und Weise, wie wir mit Daten arbeiten, revolutionieren wird.

💡GitHub

GitHub wird im Skript als eine Plattform erwähnt, auf der Devon Lösungen für Probleme sucht und Codes findet, die er zur Problembehandlung verwendet. Dies verdeutlicht die Rolle von Open-Source-Projekten und -Plattformen bei der Entwicklung von KI-Technologien.

💡Bug-Lösung

Der Begriff 'Bug-Lösung' bezieht sich auf die Fähigkeit von Devon, Programmierfehler zu identifizieren und zu beheben. Im Video wird gezeigt, wie Devon iterativ vorgehend einen Bug in einem Code findet und behebt, was zeigt, wie KI in der Softwareentwicklung helfen kann.

💡Claude

Claude ist in dem Skript als ein weiteres Beispiel für fortschrittliche KI-Technologien vorgestellt, die als Wirtschaftsanalyst tätig ist. Es wird gezeigt, wie Claude Daten sammelt, visualisiert und analysiert, um wirtschaftliche Trends zu interpretieren, was die zukünftige Rolle von KI in der Wirtschaftsanalyse aufzeigt.

💡Monte-Carlo-Simulation

Die Monte-Carlo-Simulation ist eine Methode, die im Skript erwähnt wird, um mit Claude wirtschaftliche Prognosen zu erstellen. Diese Simulationsmethode zeigt, wie KI in Kombination mit statistischen Modellen verwendet werden kann, um zukünftige Entwicklungen abzuschätzen.

💡Wirtschaftsanalyse

Die Wirtschaftsanalyse ist ein zentrales Thema im Skript, das durch die Diskussion über Claude und seine Fähigkeit, wirtschaftliche Daten zu sammeln und zu interpretieren, hervorgehoben wird. Im Video wird gezeigt, wie Claude in der Lage ist, wirtschaftliche Analysen durchzuführen, was die Frage aufwirft, wie KI die Rolle von Wirtschaftsanalysten in der Zukunft verändern könnte.

💡Corsera

Corsera wird im Skript als Sponsor erwähnt und bietet ein Programm an, das für Datenanalytiker relevant ist. Das Google Data Analytics Certificate, das von Corsera angeboten wird, ist ein Beispiel für die Bedeutung von Bildung und lebenslanges Lernen in der heutigen digitalen Arbeitswelt.

Transcripts

play00:00

that nerds our jobs in the future are

play00:02

going to be a lot different the CEO of

play00:04

the third most valuable company made

play00:06

this bold claim um almost everybody who

play00:09

sits on a stage like this would tell you

play00:11

it is vital that your children learn

play00:14

computer

play00:16

science um everybody should learn how to

play00:18

program and in fact it's almost exactly

play00:21

the opposite so is it even worth your

play00:23

time learning how to program well in

play00:25

this I'm going to be exploring a few new

play00:27

technologies that just came out in order

play00:30

to answer that question last week the

play00:32

world was introduced to Devon a fully

play00:34

autonomous bot equipped with tools like

play00:36

a coding environment and browser with

play00:38

this it can basically take over the

play00:39

world providing it with only a simple

play00:41

prompt it gets to work putting together

play00:43

a plan of action breaking up what it

play00:45

needs to do into simple tasks it starts

play00:47

by browsing the internet to make you

play00:49

feel more confident that its answers

play00:50

aren't going to be hallucinations then

play00:52

jumps into some light coding to make you

play00:54

even feel less secure about your

play00:56

long-term job security and then after it

play00:58

fixes a quick bug it provides this

play01:00

groundbreaking analysis that you can

play01:02

provide to your boss as your own work so

play01:04

let's break Devon down it's advertised

play01:06

as the first AI software engineer

play01:09

there's a lot of problems with that

play01:10

we'll get to that but let's actually

play01:12

look at some of the use cases they've

play01:13

used it for now all these demonstrations

play01:15

were done by employees of cognition so

play01:18

to be fair there haven't been a lot of

play01:19

outside tests of this tool anyway in

play01:21

this case the engineer wants to fix a

play01:23

bug in the code he provides some pretty

play01:25

detailed instructions and Devon gets to

play01:27

work now one of the impressive things

play01:29

from this demo was it used as an

play01:31

iterative approach so Deon here actually

play01:34

wrote uh actually added a print

play01:36

statement to debug the outputs uh and

play01:39

the uh inputs to the failing test reran

play01:42

the tests and actually found which case

play01:44

was wrong which is actually a second bug

play01:47

that Devon found and it then went and

play01:49

updated the code to fix this second bug

play01:53

and with that demo you may be like Luke

play01:54

I'm a data nerd not a software engineer

play01:57

this thing's just troubleshooting code

play01:59

bases and not actually performing data

play02:00

analytics so I have nothing to worry

play02:02

about with my job well if you recall

play02:03

from that first example that I showed

play02:05

Devon did do data analysis additionally

play02:08

they had a demo showcasing well as they

play02:11

stated today I'm going to show you an AI

play02:13

training in AI which is not only meta

play02:16

but also shows that this is not just

play02:18

geared towards software Engineers but

play02:20

also has the potential defect Us in data

play02:22

science now this followed a similar

play02:24

approach as we've seen before of

play02:25

downloading the code and in this case

play02:27

going through and fine-tuning a model

play02:29

which after about an hour it's only

play02:30

about 4% done with training and

play02:32

conveniently there's no conclusion on

play02:34

what happened with the training now one

play02:36

of the most impressive exercises that

play02:37

demon demonstrated was the ability to

play02:40

actually make money it was provided with

play02:41

a problem from upward which side note

play02:44

how are you going to calculate hourly

play02:45

rates whenever AIS work almost

play02:47

instantaneous anyway this thing was

play02:49

looking at making inferences with a

play02:51

computer vision model that's fancy talk

play02:53

in this case as all it really wanted to

play02:54

do was label potholes on a Road Devon

play02:57

got to work and the first thing I noted

play02:58

was some of the packages were out of day

play03:00

so it updated it which then it found a

play03:01

bug in the code which wasn't supposed to

play03:03

be there and once again it used that

play03:04

print statement approach in order to

play03:06

find it I'll be honest I don't know why

play03:08

it's not using a debugger so finally

play03:09

after this it gets into running the

play03:11

model and providing a detailed report on

play03:13

it and even provides some screenshot

play03:15

examples of it working in action along

play03:17

with this final write up in a text file

play03:20

that overviews the work and also the

play03:22

conclusions that it came to not going to

play03:24

lie if I received this on upwork I'd be

play03:26

pretty impressed so there's a Core theme

play03:27

that Devon is following that I found in

play03:29

all these examples some human is unhappy

play03:31

because it doesn't know how to solve a

play03:33

problem so it all flows that to Devon

play03:35

who gets to work Devon then in all these

play03:37

cases went and pulled this GitHub

play03:39

repository after it found a solution

play03:41

working in an iterative approach and

play03:43

reported back to the human I love you

play03:44

Devon which should no longer be unhappy

play03:46

and this demonstrates an important point

play03:48

you still need a human in the mix in

play03:51

order to guide Devon onto what problems

play03:53

it needs to be solving oh wait what's

play03:57

this GitHub introduces a new tool in

play04:00

order to automatically fix code this new

play04:02

feature promises that this new system

play04:04

can remediate more than 2third of the

play04:06

vulnerabilities that it finds often

play04:08

without the developers having to edit

play04:10

any code

play04:11

themselves okay scratch that on human

play04:14

intervention all right before we go

play04:15

further we need to pay some bills and

play04:17

give a shout out to the sponsor of this

play04:18

video corsera which is having a special

play04:21

deal right now now the number one course

play04:23

that I recommend for aspiring data

play04:25

analyst is the Google data analytics

play04:27

certificate this covers not only what

play04:28

it's like to be a data analyst but also

play04:30

goes into all the core Technologies you

play04:33

need to know including SQL programming

play04:35

languages Vis tools and spreadsheets

play04:38

it's where I recommend anyone new to

play04:39

that analytics start and I've made a

play04:41

number of videos interviewing those that

play04:43

have taken this to better understand the

play04:44

value of this certificate now right now

play04:46

corsera is offering a heck of a deal

play04:48

where you can receive $100 off your

play04:50

yearly subscription to corsera plus

play04:53

which works out to being less than a

play04:55

dollar a day with this it not only gives

play04:56

you access to the Google certificate but

play04:58

also 7,000 other learning programs

play05:01

including a ton of resources on my

play05:03

favorite programming language now I'm

play05:04

not just recommending corsera because it

play05:06

was a sponsor of this video I've

play05:08

actually personally paid for a corsera

play05:10

plus and used it for my learnings as

play05:12

shown by this receipt more recently I've

play05:14

been using this to improve my knowledge

play05:16

on applying AI in data analytics

play05:18

specifically I've been working through a

play05:20

lot of different courses and I just

play05:21

completed this project based course on

play05:23

using Python's Lang chain for analyzing

play05:26

your own data which we're going to go

play05:28

into more detail in a bit of what

play05:29

Technologies I'm going to be covering

play05:31

over the next year all right thanks

play05:33

again to corsera for sponsoring this

play05:35

video and let's get back to it so how

play05:37

does Devon actually perform in a

play05:39

comparative test to other common models

play05:42

and these results were testing whether

play05:44

it can resolve real world GitHub issues

play05:47

Devon got a whopping 14% which you're

play05:49

probably like Luke that's nowhere near

play05:51

100% that's like 3 and 20 how the heck

play05:54

is it going to actually do my job but if

play05:56

you look at the best model in the market

play05:57

today it's only at around 2 % so it's a

play06:01

little bit better personally I think

play06:02

this graph answers on whether you should

play06:04

learn coding or not it's not solving all

play06:06

the issues today or tomorrow but we're

play06:08

on a positive trajectory to maybe one

play06:10

day be at 100% but not anytime soon now

play06:13

the other thing that reassures me from

play06:14

this is that I don't know if you noticed

play06:16

this from those videos that I showed

play06:17

earlier but for complex tasks Devon

play06:20

takes a fair bit of prompting and by

play06:22

fair I mean a lot and this case I feel

play06:24

the engineer had to go into an enormous

play06:26

amount of detail in order to specify how

play06:28

it wanted it to solve its problem which

play06:31

with this level of specifity I think

play06:33

even the free version of chat gbt could

play06:34

solve it and that's where I think we are

play06:36

with this technology today yeah although

play06:38

they're claiming that Devon is first AI

play06:40

software engineer Auto GPT which has

play06:42

been around for almost a year now has

play06:44

been doing a lot of the same things but

play06:46

doesn't get as nearly as much virality

play06:48

as Devon did which coincidentally is

play06:50

happening almost in tandem when these

play06:51

type of companies are raising funding

play06:53

like cognition did last week I want to

play06:55

be clear I'm not trying to on Devon

play06:57

and say it's a bad tool in fact I think

play06:59

quite opposite I think they've done

play07:00

incredible advancements and we're moving

play07:02

in the right direction but these type of

play07:05

Technologies can be overhyped and is

play07:08

driven by funding now there's another

play07:10

announcement last week that I feel is

play07:11

more relevant to us data nerds and it

play07:13

deals with this model which is only

play07:15

second to open ai's GPT 4 the team at

play07:18

anthropic released this video on Claude

play07:20

working as an economic analyst they

play07:22

prompted it to look up GDP trends for

play07:24

the US and write a markdown table of the

play07:27

estimates which you got to work

play07:28

transcribing this screenshot of a graph

play07:31

of the GDP from there they went to

play07:33

evaluate how accurate those

play07:35

transcriptions were so it had the model

play07:37

plot those transcribed values in this

play07:39

interactive plot and then after having

play07:42

provided the model the actual results it

play07:44

plotted them side by side so how

play07:46

accurate is Claude at using the vision

play07:49

model for transcription we tried it with

play07:51

a large sample of madeup GDP graphs and

play07:53

its transcription accuracy was within

play07:55

11% on average which not bad but

play07:58

probably can be improve so then they

play08:00

moved into having Claude use machine

play08:02

learning in order to predict GDP in this

play08:05

case using a Monte Carlo simulation and

play08:08

just like most people thinks the US

play08:09

economy is going to be just fine for the

play08:11

next few years but really none of this

play08:13

was impressive until I saw this where it

play08:15

asked Claude to perform in an analysis

play08:17

of the world's economy looking at more

play08:19

than just one country in this case

play08:21

although they didn't disclose it it

play08:22

looks like they were using some sort of

play08:24

large language model framework in order

play08:27

to implement agents which all of these

play08:30

agents were working in parallel

play08:32

collecting all the data they needed for

play08:34

these top countries and processing it

play08:37

pretty dang impressive for the final

play08:39

results it provided these pie charts

play08:42

comparing the two values side note I was

play08:44

a little disappointed with this because

play08:45

pie charts are actually really bad at

play08:46

comparing values but nonetheless it not

play08:48

only provided an analysis it also

play08:51

provided a final summary detailing how

play08:54

the major countries planed a fair over

play08:55

the next few years now I thought this

play08:57

was more impressive because it

play08:58

demonstrated how you can actually use

play09:01

coding such as python to perform an

play09:03

analysis with a large language model and

play09:06

frankly this is where I see analytics

play09:07

going into the future personally I'm

play09:09

going to be exploring more on this

play09:10

channel how to use things like python in

play09:13

conjunction with libraries that build

play09:15

out agents for large language models to

play09:17

solve more complex problems all right as

play09:20

always you got value out this video

play09:21

smash that like button and if you'd like

play09:22

to learn more about how to start coding

play09:24

in data analytics I just made this

play09:26

tutorial right here on how to learn SQL

play09:28

all right with that see you in the next

play09:30

one