Your Right to Repair AI Systems | Rumman Chowdhury | TED
Summary
TLDRこのスクリプトでは、人工知能(AI)が農業に導入され、技術が農民の生活を変える一方で、修理権の問題が生じていることを描いています。AIは作物収量予測や害虫除去に使われていますが、修理権の制限により、農民は自分の農業機械を修理することが難しくなりました。これに対して、農民がプログラミングを学び、ハッカーと協力して自己修理を行っています。修理権の議論は、AIを含むすべての技術分野に拡大するべきだと主張しています。AIの信頼性向上には、人々がシステムにフィードバックを与え、改善に貢献できる「レッドチーム」の手法が有効で、AIの開発者とユーザーの間のフィードバックループを強化する必要があると述べています。
Takeaways
- 🤖 農業と人工知能の組み合わせが意外な共同体を形成している。
- 🌾 現代の農業はコンピュータビジョンや人工知能を用いて作物の収穫予測や害虫の除去を行う。
- ⚠️ 技術の進歩が農民に不都合をもたらしており、特にジョンディーアのスマートトラクターがその例。
- 🛠️ 農民が自らの機械を修理することが法律で禁止され、修理にはライセンスを持つ技術者が必要とされた。
- 💻 農民の中にはプログラミングを学び、ハッカーと協力して自らのシステムを修復する者たちが現れた。
- 🔓 DEFCONで行われたハッキングデモンストレーションは技術の脆弱性と所有権の重要性を示した。
- 🛠️ 「修理の権利」運動は、所有する技術品の修理権を主張する社会運動であり、人工知能にもその権利が必要である。
- 📊 人工知能への不信感が世界的に広がっていると示される最新の調査結果。
- 🔍 人々は、自分のデータが許可なく収集され、システムの構築に用いられることに気づいている。
- 🔄 フィードバックループの改善が、AIシステムの開発者とユーザーの間に必要である。
- 🎯 レッドチームングは、AIシステムの欠陥を見つけるための手法であり、世界最大のテック企業と協力して行われている。
- 🏥 AIエージェントの例として、医療エージェントが家族の健康を管理する可能性があるが、修理権がなければ信頼は築けない。
- 🛡️ 人工知能の利点を最大限に引き出すためには、人々の参加を開発プロセスに取り入れることが不可欠である。
Q & A
現代の農業にはどのような技術が使われていますか?
-現代の農業ではコンピュータビジョンが作物の収量を予測するのに使われ、人工知能が害虫の特定と排除に使われ、予測分析が極端な天候条件を予測するのに役立ちます。
ジョンディーアが導入したスマートトラクターはどのような問題を引き起こしましたか?
-ジョンディーアがスマートトラクターを導入したことで、農民が自分のトラクターを修理することが法的に禁止され、ライセンスされた技術者が必要なため、修理のために数週間待つ必要があり、作物が腐敗し、害虫が蔓延するリスクがありました。
「修理の権利」とはどのような運動ですか?
-「修理の権利」運動は、技術品を所有している人々が、それが故障した場合でも修理する権利を持つべきだと主張するものです。これは、トラクターからスマート歯ブラシ、洗濯機まで、所有している技術品に適用されます。
AIにおける「修理の権利」の重要性は何ですか?
-AIにおける「修理の権利」は、人々がAIシステムを信頼し、自分の生活に役立てるために、システムが故障した場合に問題を特定し、修正することができるようにすることに重要です。
AI技術に対する公衆の信頼が低下する理由は何ですか?
-公衆の信頼が低下する理由としては、自分のデータが許可を得ずに収集され、彼らがシステムの構築に関与していないことが挙げられます。また、システムが故障した場合にどこに問い合わせるかも不明瞭です。
レッドチームングとはどのようなプロセスですか?
-レッドチームングは、軍事やサイバーセキュリティ分野で使用されるプロセスで、外部の専門家がシステムへの侵入を試みることで、防御をテストし、問題が発生する場所を特定し、修正する方法を見つけることができます。
AIシステムが故障した場合、どのような問題が発生する可能性がありますか?
-AIシステムが故障した場合、モデルが誤作動したり現実を誤表したりする可能性があり、歴史的に正確でない写真を表示するなど、意図しない結果をもたらす場合があります。
レッドチームングはどのようにしてAIモデルを改善するのに役立つか?
-レッドチームングは、専門家の意見を集め、AIモデルの欠陥や誤りを見つけ、修正することで、モデルを改善するのに役立ちます。これにより、モデルがより多くの人々にとって適切で有用なものになるように調整できます。
建築家の視点からAIが建物の設計にどのように影響を与えるかについて、レッドチームングはどのような結果を得ましたか?
-建築家のレッドチームングの結果、AIが現代美術館の仕様を設計する能力を持っているとは言えず、建築家は物理や材料科学、建築コードを理解し、感情を呼び起こすデザインを作成する必要があることが明らかになりました。
AIの信頼性に関する建築家の最大の懸念は何ですか?
-建築家の最大の懸念は、AIシステムが彼らの仕事や自由に影響を与える可能性がある場合、システムの失敗を修正できないという信頼性の問題です。彼らは建築物の失敗によって免許を取り消されるか、罰金を受けるか、甚だしきには刑務所に入ることがあるためです。
「修理の権利」がAIシステムにどのように適用される可能性があるか説明してください。
-「修理の権利」は、基本的なテストを実行する診断ボードを持っている場合や、第三者と協力してシステムのパッチを作成し、改善する方法を提供する場合に適用される可能性があります。また、農民のようにプログラミングを学んで自分のシステムを微調整することも可能です。
人工知能の利点を最大限に引き出すためには、どのようなことが必要ですか?
-人工知能の利点を最大限に引き出すためには、開発プロセスに人々を参加させ、彼らがAIを自分にとって有益なものにするためのツールを提供することが必要です。技術者は一人ではできないため、皆さんと協力して実現する必要があります。
Outlines
🤖 AIと農業の奇妙な組み合わせ
この段落では、人工知能(AI)と農業という、一見異なる2つのテーマがどのように絡み合って現代の農業に貢献しているかが語られています。コンピュータビジョンや予測分析が農作物の収量予測や害虫除去、極端な天候条件の予測に使われている一方で、農民たちはこの技術に遠ざけられています。特に、2017年にジョンディーアがスマートトラクターを導入したことで、農民が自分の機械を修理することが法的に禁止され、修理のために何週間も待つ必要があったと話題に。それに対して、農民の中には自分でプログラミングを学び、ハッカーと協力して自分のシステムを修理するパッチを作成する者たちが現れました。これは違法であるが、「修理の権利」という運動が始まりました。この運動は、所有する技術機器を自分で修理する権利を持つべきだと主張しており、AIにもその権利が拡大されるべきだと述べています。
🔍 AIの「修理の権利」とフィードバックループの重要性
2つ目の段落では、AIの「修理の権利」を拡大することの重要性が強調されています。AIの進歩にも関わらず、公衆の信頼は低下傾向にあると、最近の調査結果が示しています。著者は、AI開発者として技術的最適化と人々のフィードバックループの必要性を提唱しています。レッドチームングという手法が紹介され、これは軍事やサイバーセキュリティ分野で使われてきた手法で、システムの脆弱性を探り出し改善するのに役立ちます。著者は、この手法を用いてAIモデルの誤りを発見し、修正することで、より多くの人々にとって機能するAIモデルを開発しています。また、建築家や病原学者と協力して、AIシステムの信頼性に関する問題も検出し、解決しています。しかし、建築家たちがAIシステムに信頼を寄せるためには、システムの誤りを見つけて修正できる「修理の権利」が必要であると述べています。最後に、人工知能の次の波であるアジェンティックAIが人間の代理者のように働くことができるかどうかについて語り、修理の権利がAIの信頼性にとって不可欠であると結び付けています。
Mindmap
Keywords
💡人工知能
💡農民
💡コンピュータビジョン
💡予測分析
💡ジョンディーア
💡修理権
💡レッドチーム
💡アジャイルAI
💡信頼性
💡フィードバックループ
Highlights
现代农业实际上涉及许多技术,包括使用计算机视觉预测作物产量和人工智能识别并消除害虫。
预测分析帮助预测极端天气条件,如干旱或飓风。
2017年,约翰迪尔公司推出的智能拖拉机使得农民无法自行修理,必须使用授权技术员。
农民通过学习编程并与黑客合作,创建补丁修复自己的系统。
在DEFCON大会上,Sick Codes展示了如何入侵约翰迪尔拖拉机,显示技术的脆弱性。
“维修权”运动主张如果拥有技术产品,如拖拉机或智能牙刷,应有权在损坏时进行维修。
公众对人工智能的信心正在下降,许多人担心AI技术对他们的生活产生负面影响。
人们感觉在AI系统的开发中被忽视,他们对系统如何构建没有发言权。
需要在AI系统开发者和用户之间建立更好的反馈循环。
红队演练是一种测试系统防御的方法,可以发现并修复问题。
与伦敦皇家学会合作,通过红队演练发现并修复了AI模型在COVID错误信息防护上的漏洞。
建筑师通过红队演练表达了对AI系统的信任问题,他们担心无法修复AI系统的错误。
建筑师希望AI系统能够与他们互动,提供反馈和设计建议。
信任是建筑师和其他专业人士在采用AI系统时面临的最大问题。
代理型AI系统是人工智能的一个真正转折点,关系到我们是否保留人类代理权。
为了实现人工智能的承诺好处,我们需要将人们纳入开发过程。
红队演练和与用户的对话使我们意识到,我们应该构建工具,使人们能够使AI对他们有益。
Transcripts
I want to tell you a story
about artificial intelligence and farmers.
Now, what a strange combination, right?
Two topics could not sound more different from each other.
But did you know that modern farming actually involves a lot of technology?
So computer vision is used to predict crop yields.
And artificial intelligence is used to find,
identify and get rid of insects.
Predictive analytics helps figure out extreme weather conditions
like drought or hurricanes.
But this technology is also alienating to farmers.
And this all came to a head in 2017
with the tractor company John Deere when they introduced smart tractors.
So before then, if a farmer's tractor broke,
they could just repair it themselves or take it to a mechanic.
Well, the company actually made it illegal
for farmers to fix their own equipment.
You had to use a licensed technician
and farmers would have to wait for weeks
while their crops rot and pests took over.
So they took matters into their own hands.
Some of them learned to program,
and they worked with hackers to create patches to repair their own systems.
In 2022,
at one of the largest hacker conferences in the world, DEFCON,
a hacker named Sick Codes and his team
showed everybody how to break into a John Deere tractor,
showing that, first of all, the technology was vulnerable,
but also that you can and should own your own equipment.
To be clear, this is illegal,
but there are people trying to change that.
Now that movement is called the “right to repair.”
The right to repair goes something like this.
If you own a piece of technology,
it could be a tractor, a smart toothbrush,
a washing machine,
you should have the right to repair it if it breaks.
So why am I telling you this story?
The right to repair needs to extend to artificial intelligence.
Now it seems like every week
there is a new and mind-blowing innovation in AI.
But did you know that public confidence is actually declining?
A recent Pew poll showed that more Americans are concerned
than they are excited about the technology.
This is echoed throughout the world.
The World Risk Poll shows
that respondents from Central and South America and Africa
all said that they felt AI would lead to more harm than good for their people.
As a social scientist and an AI developer,
this frustrates me.
I'm a tech optimist
because I truly believe this technology can lead to good.
So what's the disconnect?
Well, I've talked to hundreds of people over the last few years.
Architects and scientists, journalists and photographers,
ride-share drivers and doctors,
and they all say the same thing.
People feel like an afterthought.
They all know that their data is harvested often without their permission
to create these sophisticated systems.
They know that these systems are determining their life opportunities.
They also know that nobody ever bothered to ask them
how the system should be built,
and they certainly have no idea where to go if something goes wrong.
We may not own AI systems,
but they are slowly dominating our lives.
We need a better feedback loop
between the people who are making these systems,
and the people who are best determined to tell us
how these AI systems should interact in their world.
One step towards this is a process called red teaming.
Now, red teaming is a practice that was started in the military,
and it's used in cybersecurity.
In a traditional red-teaming exercise,
external experts are brought in to break into a system,
sort of like what Sick Codes did with tractors, but legal.
So red teaming acts as a way of testing your defenses
and when you can figure out where something will go wrong,
you can figure out how to fix it.
But when AI systems go rogue,
it's more than just a hacker breaking in.
The model could malfunction or misrepresent reality.
So, for example, not too long ago,
we saw an AI system attempting diversity
by showing historically inaccurate photos.
Anybody with a basic understanding of Western history
could have told you that neither the Founding Fathers
nor Nazi-era soldiers would have been Black.
In that case, who qualifies as an expert?
You.
I'm working with thousands of people all around the world
on large and small red-teaming exercises,
and through them we found and fixed mistakes in AI models.
We also work with some of the biggest tech companies in the world:
OpenAI, Meta, Anthropic, Google.
And through this, we've made models work better for more people.
Here's a bit of what we've learned.
We partnered with the Royal Society in London to do a scientific,
mis- and disinformation event with disease scientists.
What these scientists found
is that AI models actually had a lot of protections
against COVID misinformation.
But for other diseases like measles, mumps and the flu,
the same protections didn't apply.
We reported these changes,
they’re fixed and now we are all better protected
against scientific mis- and disinformation.
We did a really similar exercise with architects at Autodesk University,
and we asked them a simple question:
Will AI put them out of a job?
Or more specifically,
could they imagine a modern AI system
that would be able to design the specs of a modern art museum?
The answer, resoundingly, was no.
Here's why, architects do more than just draw buildings.
They have to understand physics and material science.
They have to know building codes,
and they have to do that
while making something that evokes emotion.
What the architects wanted was an AI system
that interacted with them, that would give them feedback,
maybe proactively offer design recommendations.
And today's AI systems, not quite there yet.
But those are technical problems.
People building AI are incredibly smart,
and maybe they could solve all that in a few years.
But that wasn't their biggest concern.
Their biggest concern was trust.
Now architects are liable if something goes wrong with their buildings.
They could lose their license,
they could be fined, they could even go to prison.
And failures can happen in a million different ways.
For example, exit doors that open the wrong way,
leading to people being crushed in an evacuation crisis,
or broken glass raining down onto pedestrians in the street
because the wind blows too hard and shatters windows.
So why would an architect trust an AI system with their job,
with their literal freedom,
if they couldn't go in and fix a mistake if they found it?
So we need to figure out these problems today, and I'll tell you why.
The next wave of artificial intelligence systems, called agentic AI,
is a true tipping point
between whether or not we retain human agency,
or whether or not AI systems make our decisions for us.
Imagine an AI agent as kind of like a personal assistant.
So, for example, a medical agent might determine
whether or not your family needs doctor's appointments,
it might refill prescription medications, or in case of an emergency,
send medical records to the hospital.
But AI agents can't and won't exist
unless we have a true right to repair.
What parent would trust their child's health to an AI system
unless you could run some basic diagnostics?
What professional would trust an AI system with job decisions,
unless you could retrain it the way you might a junior employee?
Now, a right to repair might look something like this.
You could have a diagnostics board
where you run basic tests that you design,
and if something's wrong, you could report it to the company
and hear back when it's fixed.
Or you could work with third parties like ethical hackers
who make patches for systems like we do today.
You can download them and use them to improve your system
the way you want it to be improved.
Or you could be like these intrepid farmers and learn to program
and fine-tune your own systems.
We won't achieve the promised benefits of artificial intelligence
unless we figure out how to bring people into the development process.
I've dedicated my career to responsible AI,
and in that field we ask the question,
what can companies build to ensure that people trust AI?
Now, through these red-teaming exercises, and by talking to you,
I've come to realize that we've been asking the wrong question all along.
What we should have been asking is what tools can we build
so people can make AI beneficial for them?
Technologists can't do it alone.
We can only do it with you.
Thank you.
(Applause)
5.0 / 5 (0 votes)