AI just officially took our jobs… I hate you Devin

Fireship
13 Mar 202404:13

Summary

TLDRこのスクリプトは、100年以内に家族の三代がロボットによって置き換えられる様子から始まり、プログラミングが新しい識字能力であると啓発します。しかし、DevonというAIが登場し、ソフトウェアエンジニアリングの未来を脅かす可能性があるかどうかを探求します。Devonは、実際の開発者ツールにアクセスし、問題を解決するためのコードを書くことができます。GitHubのベンチマークにおいて、DevonはGPT 4よりも大幅に高い成功率を示しており、将来的にはさらに進化する可能性があると示唆しています。一方で、AIが全てを解決するわけではなく、複雑な問題では反効果になる可能性があることも指摘しています。

Takeaways

  • 👨‍🌾 100年前、あなたの曾祖父は農場で働いていましたが、ロボットに置き換えられました。
  • 🏭 祖父はデトロイトの自動車工場で働いていましたが、同じくロボットに置き換えられました。
  • 🍔 父はマクドナルドのシェフになりましたが、彼もロボットに置き換えられました。
  • 👨‍💻 あなたは同じ運命を避けるためにプログラミングに進路を選びましたが、Pythonを学ぶことが新しい識字能力だと言われています。
  • 🚀 co-pilotやgp4のようなツールが少しずつコードを書くようになり、DevonというAIが登場しました。
  • 🔄 Devonはツールを通じてコードを書くことで、無限のフィードバックループで問題を解決しようとします。
  • 🤖 Devonは実際のソフトウェアエンジニアのように動作し、GoogleやStack Overflowで解決策を見つけ、APIドキュメントを参照しながらコードを書きます。
  • 📈 Devonはソフトウェアエンジニアリングベンチマークで他のツールを破り、GitHubの問題を解決する確率が大幅に向上しました。
  • 🔢 しかし、Devonはまだほとんどのソフトウェアエンジニアを置き換えるほどの能力を持っていないようです。
  • 🌐 DevonはGoogleのAlpha Coderのように並列ですべてのことを行うことで、競争プログラマーの85%を勝ち越すことができ、将来的には一つのジョブを投稿してから10分後には千種類のアプリが提案されるかもしれません。
  • 💡 Devonは新しい技術を学び、アプリを構築・デプロイし、既存のコードベースのバグを修正し、自身のAIモデルをトレーニングできます。
  • 🏢 Cognition LabsはSilicon Valleyの重鎮企業家から資金提供を受けており、業界での競争を繰り広げています。
  • 💬 AIツールは単純な問題には非常に有用ですが、より複雑な問題に直面すると、コードをより悪化させる可能性があるため、注意が必要です。

Q & A

  • 「デヴォン」とは何ですか?

    -「デヴォン」は、開発者のツールを使ってコードを書き、問題を解決することができるAIソフトウェアエンジニアです。

  • デヴォンはどのように問題を解決しますか?

    -デヴォンは、ウェブでAPIドキュメントを検索し、コードを書き、実行し、エラーを修正し、このプロセスを繰り返して問題を解決します。

  • デヴォンの性能は他のツールと比較してどうですか?

    -ソフトウェアエンジニアリングのベンチマークテストで、デヴォンは他のツールよりも高い性能を示し、GitHubの問題を13.86%の確率で解決しています。

  • デヴォンはどのようにして開発されましたか?

    -デヴォンは、人間のソフトウェアエンジニアに似た方法で開発ツールを使用し、問題解決する能力を持つAIとして、認識ラボによって開発されました。

  • デヴォンの開発にはどのような投資家が関与していますか?

    -デヴォンの開発には、ピーター・ティールのファウンダーズ・ファンド、ストライプのコライソン兄弟など、シリコンバレーの重要な投資家が関与しています。

  • 「デヴォン」が開発者の仕事に与える影響は?

    -「デヴォン」は開発者の仕事を自動化する能力があり、ソフトウェアエンジニアリングの将来に大きな変化をもたらす可能性がありますが、まだ完全には代替できるレベルには達していません。

  • デヴォンが解決できる問題の種類は?

    -デヴォンは、APIドキュメントの検索、コードの記述、エラーの修正など、ソフトウェア開発に関連する様々な問題を解決することができます。

  • デヴォンはどのようにしてAI技術の進歩を示していますか?

    -デヴォンは、開発ツールの使用、問題解決プロセスの自動化、ソフトウェアエンジニアリングのベンチマークでの高い性能を通じて、AI技術の進歩を示しています。

  • 将来的に「デヴォン」はソフトウェアエンジニアを完全に置き換える可能性がありますか?

    -デヴォンの性能は向上していますが、ソフトウェアエンジニアを完全に置き換えるにはまだ至っておらず、将来的な可能性は不確かです。

Outlines

00:00

🤖 AIとソフトウェアエンジニアリングの未来

この段落は、テクノロジーによって職を失った家族の歴史を紹介し、現在のソフトウェアエンジニアリングの危機について議論しています。主人公の先祖はロボットに仕事を奪われ、主人公自身もプログラミングの世界に進出しますが、AIの進化によりその未来も不確かになります。Devonという新しいAIツールは、従来のソフトウェアエンジニアリングツールを大幅に上回る能力を持ち、実際の開発作業を自動化し始めています。このAIは問題を自動で解決し、継続的に改善を重ねる能力を持ち、現在の技術者に代わる存在と見なされています。また、この段落では、技術進歩の速度が人類の仕事をどのように変えていくか、そしてそれが人類にとってどのような意味を持つのかについて考察しています。さらに、Silicon Valleyのスタートアップや投資家がこの技術に大きな関心を持っていること、そしてそれが将来的にプログラマーの仕事をどう変えるかについても触れています。しかし、AIが単純なタスクは処理できるものの、複雑な問題に対してはまだ効果的ではないという現状も指摘しています。最後に、もしプログラミングのスキルが時代遅れになったとしても、新たなソリューションが提案されています。

Mindmap

Keywords

💡software engineering

ソフトウェアエンジニアリングは、計算機ソフトウェアの開発、テスト、デプロイメントを担当する専門職です。このビデオでは、ソフトウェアエンジニアがロボットやAIによって置き換えられる可能性について述べられています。特に、DevonというAIソフトウェアエンジニアが開発されたことで、従来のエンジニアリングプロセスに大きな変化がもたらされる可能性が示唆されています。

💡AI

AIは、人工知能の略です。これは、人間の思考や行動を模倣し、より複雑なタスクを自動化することができる技術です。ビデオでは、AIがソフトウェアエンジニアの仕事を徐々に取代し、新しい職業の誕生をもたらす可能性について説明されています。

💡Devon

Devonは、Cognition Labsによって開発された最初のAIソフトウェアエンジニアです。このAIは、実際のソフトウェアエンジニアのように問題を解決することができます。インターネットを検索し、APIドキュメントを参照し、コードを書くことができます。ビデオでは、Devonがソフトウェアエンジニアリングの基準を突破し、新しい技術の可能性を示すとされています。

💡GitHub

GitHubは、ソフトウェア開発者がコードをホストし、共有し、変更を追跡するためのオンラインプラットフォームです。ビデオでは、GitHub上で実際に起きた問題を解決する能力が、AIソフトウェアエンジニアの能力を評価する基準の一つとなっています。

💡parallel processing

パラレル処理は、複数のタスクを同時に実行することを意味します。このビデオでは、GoogleのAlpha Coderがパラレル処理を用いて多数の解決策を生成し、その中で最も優れたものを選択する能力を持っていることを示しています。これにより、AIが問題解決においてより効率的になる可能性が示されています。

💡job market

ジョブマーケットは、労働者が職を探求し、雇用者が人材を採用する場所を指します。ビデオでは、AIがソフトウェアエンジニアの職業に大きな影響を与える可能性があり、将来的にはジョブマーケットの動向が変化する可能性が示されています。

💡VC funding

VC fundingは、ベンチャーキャピタルの投資を意味します。これは、スタートアップ企業に対して資本金を提供し、成長を促進することを目的とした金融的な支援です。ビデオでは、Silicon Valleyの投資家がAI技術を開発し、プログラマーを置き換えることに興味を持っていることを示しています。

💡machine learning

機械学習は、コンピューターシステムが経験を通じて学び、より良い予測や行動を行う能力を獲得する技術です。ビデオでは、Devonが自身のAIモデルをトレーニングし、ソフトウェア開発タスクを遂行する上で、機械学習を活用していることが示されています。

💡code report

コードレポートは、ソフトウェア開発の進捗や品質に関する報告です。このビデオでは、コードレポートとして名付けられたメディアが、AI技術がソフトウェアエンジニアリングに与える影響を調査し、報道しています。

💡gene therapy

遺伝子療法は、遺伝子を操作することで疾患を治療する技術です。ビデオの終盤では、ジョークとして提される遺伝子療法は、AIによるスキルの置き換えを回避するための解決策として言及されています。

💡self-driving cars

自動運転車は、人間の操作なしで運転することができる車です。ビデオでは、自動運転車が世界を変えるという期待と実際の成果のギャップを指して、AI技術の発展における類似する可能性を示唆しています。

Highlights

100 years ago, the user's great-grandfather worked on a farm before being replaced by robots.

The user's grandfather worked in a car factory in Detroit, which was later automated by robots.

The user's father was a McDonald's chef, who was also eventually replaced by robots.

The user chose programming to avoid being replaced by robots, considering coding as the new literacy.

Co-pilot and GP4 are AI tools that have started to write code, indicating a shift in the software engineering landscape.

Devon is an AI that takes over tooling to write code in an infinite feedback loop, significantly improving on software engineering benchmarks.

Devon has access to the same developer tooling as a human, enabling it to solve problems like a real software engineer.

Devon can create a plan of action based on product manager requirements and then proceed to write and test code.

AI tools like Devon and Auto GPT are improving, with Devon currently solving GitHub issues 13.86% of the time.

Devon is outperforming GPT 4 on real-world GitHub issues, indicating a potential shift in the capability of AI in software engineering.

Google's Alpha Coder beats 85% of competitive programmers by generating and selecting the best solutions in parallel.

Devon is already doing real jobs on Upwork and getting paid, suggesting that AI is becoming a competitor in the job market.

Cognition Labs, the developers of Devon, is backed by significant Silicon Valley investors, indicating the potential for AI in software engineering.

Other stealth startups like Magic and Dodev are also working on AI software engineering tools, highlighting a growing trend in the industry.

Despite the advancements, AI tools are currently limited to solving simple problems and can be counterproductive for more complex tasks.

The user humorously suggests a gene therapy pill as a solution to maintaining coding skills in the face of AI advancement.

The transcript concludes with a satirical view on the future of software engineering and the impact of AI on jobs.

Transcripts

play00:00

100 years ago my great-grandfather

play00:02

worked on a farm then he got replaced by

play00:04

robots my grandfather went on to work in

play00:06

a car factory in Detroit he got replaced

play00:08

by robots my father went on to become a

play00:10

McDonald chef but he too was replaced by

play00:12

robots I didn't want to suffer the same

play00:14

fate so I got into programming they said

play00:16

coding is the new literacy and everyone

play00:18

needs to Learn Python but then co-pilot

play00:20

started writing a little bit of code gp4

play00:22

started writing a lot of code but then

play00:24

yesterday Devon burst onto the scene an

play00:26

AI that takes over our tooling to write

play00:28

code in an infinite feedback loop in

play00:29

today to video we'll find out if this

play00:31

little named Devon is the final death

play00:33

blow for software engineering or if it's

play00:35

yet another hyped up pile of garbage

play00:36

designed to milk what's left of the VC

play00:38

money in this latest AI hyp cycle it is

play00:40

March 13th 2024 and you're watching the

play00:42

code report the software Engineers right

play00:44

now are absolutely terrified begging the

play00:46

developers of Devon to stop what they're

play00:48

doing human software Engineers over at

play00:50

cognition Labs have developed a machine

play00:52

that they're calling the first AI

play00:53

software engineer it has access to all

play00:55

the same developer tooling that you do

play00:57

like a terminal a browser a code editor

play00:59

and so on and that means it can solve

play01:00

problems like a real software engineer

play01:02

by Googling until you find a blog or

play01:04

stack Overflow answer that you can copy

play01:06

and paste into your code a product

play01:08

manager can give Devon some requirements

play01:09

and it will respond by creating a plan

play01:11

of action then it goes to the web to get

play01:13

some API documentation then it starts

play01:15

writing some code then it runs it it

play01:17

gets an error it fixes its code and

play01:19

continues doing this in an infinite Loop

play01:21

until it solves the original problem

play01:23

it's similar to tools like Auto GPT

play01:25

where an llm is the base technology but

play01:27

you give it the ability to perform

play01:28

actions and then react to the feedback

play01:30

that you get from those actions Devon is

play01:32

already smashing other tools on the

play01:34

software engineering Benchmark which is

play01:36

a test that determines if AI can solve

play01:37

real world issues on GitHub generally

play01:39

speaking AI sucks really hard at this

play01:41

Benchmark GPT 4 only gets the job done

play01:44

1.74% of the time while Devon is

play01:46

currently sitting at 13.86% that's a

play01:49

huge Improvement but a tool that can

play01:51

only solve GitHub issues 133% of the

play01:53

time is not quite good enough to replace

play01:54

most software Engineers today although

play01:56

this number will likely improve in the

play01:57

future if things are going to get really

play01:59

lit though when tools like this start

play02:00

doing everything in parallel like

play02:02

Google's Alpha coder which currently

play02:03

beats 85% of competitive programmers and

play02:06

it does that by using an llm to generate

play02:08

thousands of possible solutions in

play02:10

parallel then picks the best one in the

play02:12

future you'll be able to post a job just

play02:14

like you would on upwork and 10 minutes

play02:15

later Devon will come back with a

play02:17

thousand different apps and you can

play02:18

choose the best one in fact Devon is

play02:20

already doing real jobs on upwork and

play02:22

getting paid for it so I guess that

play02:24

makes it official they took our jobs

play02:26

your job your job your job can learn new

play02:30

technologies it can build and deploy

play02:32

apps it can fix bugs and existing code

play02:34

bases train its own AI models train its

play02:36

own AI models train its own AI models

play02:38

and do all kinds of other stuff pretty

play02:40

impressive and the company itself is

play02:42

backed by Peter the's Founders fund

play02:43

along with the Callis and brothers from

play02:45

stripe and a bunch of other Heavy

play02:46

Hitters from Silicon Valley and

play02:48

cognition is not the only stealth

play02:49

startup in this game there's also magic

play02:51

dodev which has been funded with over

play02:53

100 million and has a shared investor of

play02:55

elad Gill who's also made investments

play02:57

into mistal and perplexity AI it's naive

play02:59

to think think that Silicon Valley

play03:00

doesn't want to replace programmers they

play03:02

absolutely do and whoever does it first

play03:04

is going to make a ton of money but

play03:06

there's really no point in being a dumer

play03:08

for one there's a very high probability

play03:10

that this technology will be like

play03:11

self-driving cars or 3D printing which

play03:13

promise to revolutionize the world but

play03:15

in the grand scheme of things never

play03:16

delivered on those promises currently

play03:18

the only thing that Devon can do is bang

play03:20

out crappy little demos and anyone

play03:22

that's used AI tools over the last year

play03:24

know that they're extremely useful for

play03:25

simple problems but as soon as you get

play03:27

into more complex problems they become

play03:29

counterproductive and end up hurting

play03:30

your code more than helping it however

play03:32

there's a lot of smart people who think

play03:34

that problem will be solved like Jensen

play03:35

Wong recently made this bombshell

play03:37

statement it is our job to create

play03:39

Computing technology such that nobody

play03:42

has to program everybody in the world is

play03:44

now a programmer this is a miracle of

play03:46

artificial intelligence but even if

play03:48

Devon succeeds and coding becomes an

play03:50

archaic skill there is a solution to

play03:52

that depressing outcome and that of

play03:53

course is the one daily pill I'm working

play03:55

on with fiser it's a dimethyl tryptamine

play03:57

based gene therapy that rewires your

play03:59

brain for optimal coding performance

play04:01

common side effects may include headache

play04:02

diarrhea geometric hallucinations ego

play04:04

death and physical death so don't let

play04:05

the robots take your job ask your doctor

play04:07

if getting fir ship pilled is right for

play04:09

you this has been the code report thanks

play04:11

for watching and I will see you in the

play04:12

next one

Rate This

5.0 / 5 (0 votes)

関連タグ
AI革命ソフトウェア工学Devon自動プログラミングGitHub問題技術革新就業市場繊維性予測サイリコンバレー未来展望