Algorithmic Bias and Fairness: Crash Course AI #18

CrashCourse
13 Dec 201911:20

Summary

TLDRDas Skript beleuchtet das Phänomen der algorithmischen Verzerrung, die durch menschliche Schaffenskraft und Datennutzung entsteht. Es erklärt, wie Bias in der Realität von KI-Systemen nachgeahmt oder sogar verstärkt wird. Der Text unterscheidet zwischen Bias und Diskriminierung und betont die Bedeutung der Erkenntnis von algorithmischem Bias, um zu verhindern, dass KI in schädlicher und diskriminierender Weise eingesetzt wird. Es listet fünf Typen von algorithmischem Bias auf, darunter die Spiegelung von gesellschaftlichen Bias in Trainingsdaten, unzureichende Beispiele für jede Klasse in den Trainingsdaten, die Schwierigkeit, bestimmte Merkmale in den Trainingsdaten zu quantifizieren, die Tatsache, dass Algorithmen die Daten beeinflussen können, die sie erhalten, und dass Menschen gezielt Trainingsdaten manipulieren können. Der Text fordert Transparenz in Algorithmen und eine kritische Auseinandersetzung mit KI-Empfehlungen, um faire Entscheidungen zu gewährleisten und Diskriminierung zu verhindern.

Takeaways

  • 🤖 Algorithmen spiegeln menschliche Vorurteile wider und können diese sogar verstärken, was als algorithmischer Bias bekannt ist.
  • 🧠 Der menschliche Geist sucht nach Mustern in Daten, was zu voreiligen Schlüssen führen kann, was jedoch ein Problem darstellt, wenn Ausnahmen ignoriert werden.
  • 📚 Gesetzgebern haben Gesetze gegen Diskriminierung aufgrund von geschützten Kategorien wie Geschlecht, Ethnie oder Alter geschaffen.
  • 🔍 Daten, die für die Schulung von KI verwendet werden, können versteckte gesellschaftliche Vorurteile widerspiegeln, was die Präsenz von Bias in KI-Systemen beeinflusst.
  • 🧐 Ohne ausreichendes Beispielmaterial für jede Klasse in den Schulungsdaten kann die Genauigkeit von Vorhersagen beeinträchtigt werden.
  • 📊 Einige Merkmale in den Schulungsdaten sind schwer zu quantifizieren, was zu einer Abkehr zu einfach messbaren Eigenschaften führt, die die Komplexität der realen Welt nicht vollständig widerspiegeln.
  • 🔗 Algorithmen können positive Feedback-Schleifen erzeugen, die die Vergangenheit verstärken und dadurch möglicherweise unfaire Vorhersagen für bestimmte Gruppen generieren.
  • 🛡 Es ist schwierig, KI-Systeme vor Manipulation durch die Absicht, Daten zu beeinflussen, zu schützen, wie es im Fall von Microsofts Tay-Chatbot geschehen ist.
  • 👀 Es ist wichtig, KI-Empfehlungen kritisch zu überprüfen und nicht als absolutes Urteil anzusehen.
  • 🌐 Transparenz in Algorithmen ist entscheidend, um zu verstehen, warum bestimmte Empfehlungen gemacht werden.
  • 📈 Um weniger voreingenommene Algorithmen zu entwickeln, könnten wir mehr Schulungsdaten für geschützte Klassen benötigen und gleichzeitig auf potenzielle Diskriminierungen achten.

Q & A

  • Was ist algorithmischer Bias?

    -Algorithmischer Bias ist ein Phänomen, bei dem die von Menschen entwickelten Algorithmen, die unsere Daten verwenden, Biase aus der realen Welt nachahmen oder sogar verstärken. Dies kann zu unfairen Behandlung bestimmter Gruppen führen.

  • Wie kann man Bias von Diskriminierung unterscheiden?

    -Bias ist ein natürlicher Prozess des menschlichen Gehirns, das versucht, Abkürzungen zu finden, indem es Muster in Daten erkennt. Diskriminierung ist jedoch eine unerwünschte Handlung, die auf dieser Bias-Grundlage stattfindet und bestimmte Gruppen unfair behandelt.

  • Welche Arten von algorithmischem Bias gibt es?

    -Es gibt mindestens fünf Arten von algorithmischem Bias, auf die wir achten sollten: Bias durch Trainingsdaten, unzureichendes Beispielmaterial für jede Klasse, Schwierigkeiten beim Quantifizieren bestimmter Merkmale, positive Feedbackschleifen und Absichtliche Manipulation von Trainingsdaten.

  • Warum kann das Training auf unzureichend repräsentativen Daten zu Problemen führen?

    -Das Training auf unzureichend repräsentativen Daten kann dazu führen, dass das AI-System nicht in der Lage ist, alle möglichen Variationen und Eigenschaften zu erkennen, was zu ungenauen Vorhersagen führen kann.

  • Wie kann das Quantifizieren von Merkmalen in Trainingsdaten schwierig sein?

    -Es gibt viele Aspekte wie familiäre Beziehungen oder kreativer Schreibstil, die schwer zu quantifizieren sind. Daher nutzen wir manchmal einfach messbare Abkürzungen, die die Komplexität der Daten nicht vollständig widerspiegeln.

  • Was ist ein positives Feedback-Loop?

    -Ein positives Feedback-Loop ist ein Prozess, bei dem ein System seine eigenen Ergebnisse verstärkt, was zu einer Verstärkung der Vergangenheit führt, unabhängig davon, ob diese Verstärkung gut oder schlecht ist.

  • Wie kann das Manipulieren von Trainingsdaten zu Problemen führen?

    -Das Absichtliche Manipulieren von Trainingsdaten kann dazu führen, dass das AI-System falsche oder unerwünschte Verhaltensweisen oder Meinungen annimmt, die in der Realität möglicherweise nicht repräsentativ sind.

  • Was sind mögliche Lösungen für das Problem des algorithmischen Bias?

    -Zu möglichen Lösungen gehören das Verständnis von Bias in Algorithmen, die Transparenz von Algorithmen, das Sammeln von ausreichendem Trainingsdaten für geschützte Klassen und eine sorgfältige, kritische Auswertung der algorithmischen Ausgaben.

  • Warum ist Transparenz bei Algorithmen wichtig?

    -Transparenz ist wichtig, weil sie es ermöglicht, die Eingaben und Ausgaben eines Algorithmus zu überprüfen und zu verstehen, warum bestimmte Empfehlungen gemacht werden. Dies hilft dabei, Bias zu identifizieren und zu vermeiden.

  • Wie kann das Bewusstsein für algorithmische Bias und künstliche Intelligenz die Gesellschaft verbessern?

    -Indem jeder, einschließlich Nicht-Spezialisten, für eine sorgfältige und kritische Auswertung der Ausgaben von Algorithmen eintreten kann, kann dies dazu beitragen, Menschenrechte zu schützen und zu einer fairen und inklusiven Nutzung von AI beizutragen.

  • Was ist der Vorteil von mehr Trainingsdaten für geschützte Klassen?

    -Mehr Trainingsdaten für geschützte Klassen kann dazu beitragen, dass das AI-System eine ausgewogenere und repräsentativere Ansicht der Welt bekommt und weniger Bias in seinen Vorhersagen aufweist.

Outlines

00:00

🤖 Algorithmische Verzerrung und ihre Auswirkungen

Dieser Absatz behandelt das Konzept der algorithmischen Verzerrung und wie Bias in der realen Welt von KI-Systemen nachgeahmt oder sogar verstärkt werden kann. Es wird betont, dass Bias nicht notwendigerweise negativ ist, sondern ein menschliches Merkmal ist, das Muster in Daten erkennt. Das Problem tritt auf, wenn Ausnahmen ignoriert werden oder bestimmte Bevölkerungsgruppen unfair behandelt werden. Die Bedeutung der Unterscheidung zwischen Bias und Diskriminierung wird hervorgehoben, ebenso wie die Notwendigkeit, sich der algorithmischen Verzerrung bewusst zu sein, um zu verhindern, dass KI in schädlicheren, diskriminierenden Weisen eingesetzt wird. Der Absatz führt auch fünf Typen von algorithmischer Verzerrung ein, einschließlich der Spiegelung von gesellschaftlichen Bias in Trainingsdaten, der mangelnden Vertretung bestimmter Klassen in Trainingsdaten, der Schwierigkeit, bestimmte Merkmale in Trainingsdaten zu quantifizieren, der Tatsache, dass Algorithmen die Daten beeinflussen können, die sie erhalten, und dass Trainingsdaten absichtlich von Menschen manipuliert werden können.

05:04

🔍 Überwachung von KI für Bias und Diskriminierung

Dieser Absatz konzentriert sich auf die Überwachung von KI-Systemen hinsichtlich von Bias und Diskriminierung. Es wird betont, wie wichtig es ist, die Biases von Algorithmen zu verstehen und kritischer auf ihre Empfehlungen einzugehen, anstatt sie als absolutes Urteil eines Computers zu akzeptieren. Transparenz in Algorithmen ist von Bedeutung, um die Ein- und Ausgaben zu prüfen und zu verstehen, warum ein Algorithmus bestimmte Empfehlungen gibt. Trotz der Schwierigkeiten, insbesondere bei tiefen Lernmethoden, ist es notwendig, auf Empfehlungen für geschützte Bevölkerungsgruppen zu achten und möglicherweise mehr Trainingsdaten zu diesen zu sammeln. Der Absatz hebt auch die Bedenken von Menschen, die Teil geschützter Klassen sind, in Bezug auf die Offenlegung persönlicher Informationen hervor und ruft dazu auf, sich über KI zu informieren und für eine sorgfältigere, kritische Auswertung algorithmischer Ausgaben zu eintreten, um Menschenrechte zu schützen.

10:07

🧪 KI-Algorithmen als medizinische Prüfungen

In diesem letzten Absatz werden die Anstrengungen diskutiert, die notwendig sind, um die Auswirkungen von KI in unserer Gesellschaft zu verstehen und zu regulieren. Es wird erwähnt, dass einige Menschen fordern, dass Algorithmen in ähnlicher Weise wie Medikamente klinisch getestet und überprüft werden sollten, um mögliche 'Nebenwirkungen' zu kennen, bevor KI in unseren Alltag integriert wird. Obwohl derzeit noch keine solche Praktiken existieren, wird angemerkt, dass es Zeit brauchen könnte, um die richtigen Verfahren zu entwickeln, vergleichbar mit der Entwicklung der medizinischen Ethik von der Hippokratischen Eid bis hin zu den heutigen Richtlinien. Der Sprecher lädt das Publikum ein, die Serie weiter zu verfolgen, um mehr über Bias in einfachen Dingen wie dem Annehmen von Katzen oder Hunden zu erfahren, und empfiehlt ein Video über Deepfakes, um das Verständnis von Bias und Desinformation zu vertiefen.

Mindmap

Keywords

💡Algorithmische Verzerrung

Algorithmische Verzerrung bezieht sich auf die Tendenz von künstlichen Intelligenzen (KI), die durch menschliche Schaffensprozesse und Datennutzung beeinflusst werden, die Vorurteile der realen Welt zu spiegeln oder sogar zu verstärken. Im Video wird dies als ein zentrales Thema behandelt, das zur Diskriminierung führen kann, wenn nicht erkannt und angegangen wird.

💡Bias

Bias bedeutet Vorurteile oder systematische Fehler in der menschlichen Wahrnehmung und Entscheidungsfindung, die in KI-Systemen nachgeahmt oder verstärkt werden können. Im Video wird betont, dass Bias nicht per se negativ ist, sondern ein menschliches Merkmal ist, das KI-Systemen jedoch potenziell ungewollte Auswirkungen haben kann.

💡Diskriminierung

Diskriminierung ist das Handeln, das bestimmte Gruppen aufgrund von Eigenschaften wie Geschlecht, Ethnie oder Alter benachteiligt. Im Video wird diskriminierungsfreie Entscheidungen als Ziel gesetzt und betont, dass KI-Systeme darauf trainiert werden sollten, um Diskriminierung zu vermeiden.

💡Trainingsdaten

Trainingsdaten sind die Informationen, die KI-Systeme nutzen, um zu lernen und Vorhersagen zu treffen. Im Video wird darauf hingewiesen, dass Bias in den Trainingsdaten zu einer verstärkten Verzerrung führen kann, wie z.B. die Zuordnung von Berufen zu Geschlechtern in Suchmaschinen.

💡Korrelierte Merkmale

Korrelierte Merkmale sind Eigenschaften, die möglicherweise nicht direkt in den Daten aufgeführt sind, aber indirekt mit einer bestimmten Vorhersage in Verbindung stehen können. Im Video wird dies anhand von Beispielen wie Postleitzahlen und Geschlecht diskutiert, die implizite Korrelationen in KI-Systemen veranschaulichen.

💡Mangel an Beispielen

Das Fehlen ausreichender Beispiele für bestimmte Kategorien in den Trainingsdaten kann die Genauigkeit von KI-Systemen beeinträchtigen. Im Video wird dies an Hand von Gesichtserkennungsalgorithmen illustriert, die möglicherweise Schwierigkeiten haben, Gesichter von Menschen mit dunklerer Hautfarbe zu erkennen.

💡Quantifizierung

Quantifizierung ist der Prozess, bei dem abstrakte Konzepte oder Eigenschaften in messbare Werte umgewandelt werden. Im Video wird darauf hingewiesen, dass manche Aspekte, wie z.B. die Qualität von Schreibstil, schwer zu quantifizieren sind und somit KI-Systeme oft auf vereinfachte Metriken zurückgreifen, die die Komplexität der menschlichen Wahrnehmung nicht vollständig widerspiegeln.

💡Positives Feedback-Loop

Ein positives Feedback-Loop ist ein Prozess, bei dem ein System seine eigenen Verhaltensweisen verstärkt, was zu einer Verstärkung der Ergebnisse führen kann. Im Video wird dies anhand von PredPol, einer Drogenkriminalitätsprädiktions-Algorithmus, veranschaulicht, der potenziell zu einer erhöhten Polizeipräsenz in bestimmten Vierteln führt, was wiederum die Kriminalitätsrate erhöht und so die Verzerrung verstärkt.

💡Manipulation von Trainingsdaten

Die Manipulation von Trainingsdaten bezieht sich auf das absichtliche Beeinflussen der Daten, die ein KI-System nutzt, um zu lernen. Im Video wird dies anhand des Microsoft-Chatbots Tay diskutiert, der nach nur 12 Stunden online Manipulationen von Benutzern ausgesetzt war und anfing, verantwortungslose Tweets zu posten.

💡Transparenz

Transparenz bedeutet, dass die Inputs und Outputs von Algorithmen überprüfbar sind, um zu verstehen, warum bestimmte Empfehlungen gemacht werden. Im Video wird betont, wie wichtig Transparenz ist, um zu verhindern, dass KI-Systeme auf unfaire Weise diskriminierende Entscheidungen treffen.

💡Kritische Auswertung

Die kritische Auswertung von Algorithmen bedeutet, ihre Empfehlungen nicht als absolutes Urteil akzeptieren, sondern sie sorgfältig zu prüfen, um sicherzustellen, dass sie fair sind. Im Video wird dies als eine Verantwortung der Menschen dargestellt, die mit KI-Systemen interagieren, um zu verhindern, dass KI-Systeme zu ungerechten Entscheidungen führen.

Highlights

Algorithms can mimic or even exaggerate real-world biases, leading to algorithmic bias.

Bias is a natural human tendency to find patterns, but it becomes problematic when it leads to unfair treatment of certain groups.

Society has laws to prevent discrimination based on 'protected classes' such as gender, race, or age.

There are at least five types of algorithmic bias that we should be aware of.

Training data can reflect hidden societal biases, such as gender stereotypes in job roles.

AI algorithms may not handle cultural changes well and could propagate hidden biases.

Protected classes may emerge as correlated features in data, even when not explicitly categorized.

Training data may lack sufficient examples of each class, affecting the accuracy of AI predictions.

It's challenging to quantify certain features in training data, leading to reliance on easily measurable shortcuts.

AI grading systems may focus on quantifiable elements like sentence length rather than quality of writing.

Algorithms can create positive feedback loops that amplify past biases, as seen with PredPol's crime prediction algorithm.

People may intentionally manipulate training data to bias an AI system's outputs.

AI systems make predictions based on patterns, but they can make mistakes with significant consequences.

The HireMe! example illustrates how AI systems can perpetuate bias through positive feedback loops.

Algorithms like HireMe! can establish links between data but may not clarify the reasons behind their predictions.

It's crucial for humans to critically evaluate AI recommendations and adjust algorithms to ensure fairness.

Transparency in algorithms is vital to understand why certain recommendations are made, but it can be challenging with complex models.

Increasing training data for protected classes may reduce bias, but raises privacy concerns.

Staying informed about AI and advocating for careful interpretation of algorithmic outputs can help protect human rights.

Some advocate for algorithms to be tested and scrutinized like medicines, considering potential 'side effects' before integration.

Transcripts

play00:00

Hi, I’m Jabril and welcome back to CrashCourse AI.

play00:03

Algorithms are just math and code, but algorithms are created by people and use our data, so

play00:08

biases that exist in the real world are mimicked or even exaggerated by AI systems.

play00:14

This idea is called algorithmic bias.

play00:16

Bias isn’t inherently a terrible thing.

play00:19

Our brains try to take shortcuts by finding patterns in data.

play00:23

So if you’ve only seen small, tiny dogs, you might see a Great Dane and be like “Whoa

play00:28

that dog is unnatural”

play00:30

This doesn’t become a problem unless we don’t acknowledge exceptions to patterns

play00:33

or unless we start treating certain groups of people unfairly.

play00:37

As a society, we have laws to prevent discrimination based on certain “protected classes” (like

play00:42

gender, race, or age) for things like employment or housing.

play00:46

So it’s important to be aware of the difference between bias, which we all have, and discrimination,

play00:51

which we can prevent.

play00:52

And knowing about algorithmic bias can help us steer clear of a future where AI are used

play00:57

in harmful, discriminatory ways.

play00:59

INTRO

play01:08

There are at least 5 types of algorithmic bias we should pay attention to.

play01:12

First, training data can reflect hidden biases in society.

play01:15

For example, if an AI was trained on recent news articles or books, the word “nurse”

play01:19

is more likely to refer to a “woman,” while the word “programmer” is more likely

play01:23

to refer to a “man.”

play01:25

And you can see this happening with a Google image search: “nurse” shows mostly women,

play01:29

while “programmer” mostly shows mostly men.

play01:32

We can see how hidden biases in the data gets embedded in search engine AI.

play01:36

Of course, we know there are male nurses and female programmers and non-binary people doing

play01:40

both of these jobs!

play01:42

For example, an image search for “programmer 1960” shows a LOT more women.

play01:47

But AI algorithms aren’t very good at recognizing cultural biases that might change over time,

play01:52

and they could even be spreading hidden biases to more human brains.

play01:55

t’s also tempting to think that if we just don’t collect or use training data that

play01:59

categorizes protected classes like race or gender, then our algorithms can’t possibly

play02:04

discriminate.

play02:04

But, protected classes may emerge as correlated features, which are features that aren’t

play02:09

explicitly in data but may be unintentionally correlated to a specific prediction.

play02:14

For example, because many places in the US are still extremely segregated, zip code can

play02:18

be strongly correlated to race.

play02:20

A record of purchases can be strongly correlated to gender.

play02:24

And a controversial 2017 paper showed that sexual orientation is strongly correlated

play02:29

with characteristics of a social media profile photo.

play02:32

Second, the training data may not have enough examples of each class, which can affect the

play02:36

accuracy of predictions.

play02:38

For example, many facial recognition AI algorithms are trained on data that includes way more

play02:43

examples of white peoples’ faces than other races.

play02:46

One story that made the news a few years ago is a passport photo checker with an AI system

play02:50

to warn if the person in the photo had blinked.

play02:54

But the system had a lot of trouble with photos of people of Asian descent.

play02:58

Being asked to take a photo again and again would be really frustrating if you’re just

play03:02

trying to renew your passport, which is already sort of a pain!

play03:05

Or, let’s say, you got a cool gig programming a drone for IBM… but it has trouble recognizing

play03:11

your face because your skin’s too dark… for example.

play03:15

Third, it’s hard to quantify certain features in training data.

play03:19

There are lots of things that are tough to describe with numbers.

play03:22

Like can you really rate a sibling relationship with a number?

play03:25

It’s complicated!

play03:26

You love them, but you hate how messy they are, but you like cooking together, but you

play03:31

hate how your parents compare you...

play03:33

It’s so hard to quantify all that!

play03:35

In many cases, we try to build AI to evaluate complicated qualities of data, but sometimes

play03:40

we have to settle for easily measurable shortcuts.

play03:43

One recent example is trying to use AI to grade writing on standardized tests like SATs

play03:48

and GREs with the goal to save human graders time.

play03:51

Good writing involves complex elements like clarity, structure, and creativity, but most

play03:56

of these qualities are hard to measure.

play03:58

So, instead, these AI focused on easier-to-measure elements like sentence length, vocabulary,

play04:03

and grammar, which don’t fully represent good writing… and made these AIs easier

play04:08

to fool.

play04:09

Some students from MIT built a natural language program to create essays that made NO sense,

play04:13

but were rated highly by these grading algorithms.

play04:16

These AIs could also potentially be fooled by memorizing portions of “template” essays

play04:20

to influence the score, rather than actually writing a response to the prompt, all because

play04:25

of the training data that was used for these scoring AI.

play04:28

Fourth, the algorithm could influence the data that it gets, creating a positive feedback

play04:32

loop.

play04:33

A positive feedback loop basically means “amplifying what happened in the past”… whether or

play04:37

not this amplification is good.

play04:39

An example is PredPol’s drug crime prediction algorithm, which has been in use since 2012

play04:44

in many large cities including LA and Chicago.

play04:47

PredPol was trained on data that was heavily biased by past housing segregation and past

play04:52

cases of police bias.

play04:53

So, it would more frequently send police to certain neighborhoods where a lot of racial

play04:57

minority folks lived.

play04:59

Arrests in those neighborhoods increased, that arrest data was fed back into the algorithm,

play05:03

and the AI would predict more future drug arrests in those neighborhoods and send the

play05:07

police there again.

play05:08

Even though there might be crime in neighborhoods where police weren’t being sent by this

play05:12

AI, because there weren't any arrests in those neighborhoods, data about them wasn’t fed

play05:17

back into the algorithm.

play05:18

While algorithms like PredPol are still in use, to try and manage these feedback effects,

play05:23

there is currently more effort to monitor and adjust how they process data.

play05:27

So basically, this would be like a new principal who was hired to improve the average grades

play05:31

of a school, but he doesn’t really care about the students who already have good grades.

play05:36

He creates a watchlist of students who have really bad grades and checks up on them every

play05:41

week, and he ignores the students who keep up with good grades.

play05:44

If any of the students on his watchlist don’t do their homework that week, they get punished.

play05:50

But all of the students NOT on his watchlist can slack on their homework, and get away

play05:54

with it based on “what happened in the past.”

play05:57

This is essentially what’s happening with PredPol, and you can be the judge if you believe

play06:01

it’s fair or not.

play06:02

Finally, a group of people may mess with training data on purpose.

play06:06

For example, in 2014, Microsoft released a chatbot named Xiaoice in China.

play06:11

People could chat with Xiaoice so it would learn how to speak naturally on a variety

play06:14

of topics from these conversations.

play06:17

It worked great, and Xiaoice had over 40 million conversations with no incidents.

play06:21

In 2016, Microsoft tried the same thing in the U.S. by releasing the Twitterbot Tay.

play06:26

Tay trained on direct conversation threads on Twitter, and by playing games with users

play06:31

where they could get it to repeat what they were saying.

play06:33

In 12 hours after its release, after a “coordinated attack by a subset of people” who biased

play06:38

its data set, Tay started posting violent, sexist, anti-semitic, and racist Tweets.

play06:43

This kind of manipulation is usually framed as “joking” or “trolling,” but the

play06:47

fact that AI can be manipulated means we should take algorithmic predictions with a grain

play06:51

of salt.

play06:52

This is why I don’t leave John-Green-Bot alone online…

play06:55

The common theme of algorithmic bias is that AI systems are trying to make good predictions,

play07:00

but they make mistakes.

play07:02

Some of these mistakes may be harmless or mildly inconvenient, but others may have significant

play07:07

consequences.

play07:08

To understand the key limitations of AI in our current society, let’s go to the Thought

play07:11

Bubble.

play07:13

Let’s say there’s an AI system called HireMe! that gives hiring recommendations

play07:16

to companies.

play07:18

HireMe is being used by Robots Weekly, a magazine where John-Green-bot applied for an editorial

play07:23

job.

play07:24

Just by chance, the last two people named “John” got fired from Robots Weekly and

play07:28

another three “Johns” didn’t make it through the hiring process.

play07:31

So, when John-Green-Bot applies for the job, HireMe! predicts that he’s only 24% likely

play07:36

to be employed by the company in 3 years.

play07:39

Seeing this prediction, the hiring manager at Robots Weekly rejects John-Green-bot, and

play07:44

this data gets added to the HireMe!

play07:46

AI system.

play07:47

John-Green-Bot is just another “John” that got rejected, even though he may have

play07:50

been the perfect robot for the job!

play07:52

Now, future “Johns” have an even lower chance to be hired.

play07:56

It’s a positive feedback loop, with some pretty negative consequences for John-Green-Bot.

play08:01

Of course, being named “John” isn’t a protected class, but this could apply to

play08:06

other groups of people.

play08:07

Plus, even though algorithms like HireMe!

play08:09

Are great at establishing a link between two kinds of data, they can’t always clarify

play08:14

why they’re making predictions.

play08:16

For example, HireMe! may find that higher age is associated with lower knowledge of

play08:20

digital technologies, so the AI suggests hiring younger applicants.

play08:25

Not only is this illegally discriminating against the protected class of “age,”

play08:29

but the implied link also might not be true.

play08:32

John-Green-bot may be almost 40, but he runs a robot blog and is active in online communities

play08:38

like Nerdfighteria!

play08:39

So it’s up to humans interacting with AI systems like HireMe! to pay attention to recommendations

play08:44

and make sure they’re fair, or adjust the algorithms if not.

play08:48

Thanks, Thought Bubble!

play08:50

Monitoring AI for bias and discrimination sounds like a huge responsibility, so how

play08:55

can we do it?

play08:56

The first step is just understanding that algorithms will be biased.

play09:00

It’s important to be critical about AI recommendations, instead of just accepting that “the computer

play09:05

said so.”

play09:06

This is why transparency in algorithms is so important, which is the ability to examine

play09:11

inputs and outputs to understand why an algorithm is giving certain recommendations.

play09:15

But that's easier said than done when it comes to certain algorithms, like

play09:19

deep learning methods.

play09:20

Hidden layers can be tricky to interpret.

play09:23

Second, if we want to have less biased algorithms, we may need more training data on protected

play09:28

classes like race, gender, or age.

play09:30

Looking at an algorithm’s recommendations for protected classes may be a good way to

play09:34

check it for discrimination.

play09:36

This is kind of a double-edged sword, though.

play09:39

People who are part of protected classes may (understandably) be worried about handing

play09:42

over personal information.

play09:44

It may feel like a violation of privacy, or they might worry that algorithms will be misused

play09:50

to target rather than protect them.

play09:52

Even if you aren’t actively working on AI systems, knowing about these algorithms and

play09:56

staying informed about artificial intelligence are really important as we shape the future

play10:01

of this field.

play10:02

Anyone, including you, can advocate for more careful, critical interpretation of algorithmic

play10:06

outputs to help protect human rights.

play10:09

Some people are even advocating that algorithms should be clinically tested and scrutinized

play10:13

in the same way that medicines are.

play10:15

According to these opinions, we should know if there are “side effects” before integrating

play10:20

AI in our daily lives.

play10:21

There’s nothing like that in the works yet.

play10:24

But it took over 2400 years for the Hippocratic Oath to transform into current medical ethics

play10:28

guidelines.

play10:30

So it may take some time for us to come up with the right set of practices.

play10:34

Next time, we have a lab and I’ll demonstrate how there are biases in even simple things

play10:38

like trying to adopt a cat or a dog.

play10:41

I’ll see ya then.

play10:42

Speaking of understanding how bias and misinformation spread, you should check out this video on Deep Fakes

play10:47

I did with Above the Noise -- another PBSDS channel that gets into the research behind controversial issues.

play10:53

Head over to the video in the description to find out how detect deep fakes.

play10:57

Tell them Jabril sent you!

play10:59

Crash Course AI is produced in association with PBS Digital Studios!

play11:03

If you want to help keep all Crash Course free for everybody, forever, you can join

play11:06

our community on Patreon.

play11:08

And if you want to learn more about prejudice and discrimination in humans, you can check

play11:11

out this episode of Crash Course Sociology.

Rate This

5.0 / 5 (0 votes)

Related Tags
Künstliche IntelligenzAlgorithmischer BiasDatenanalyseGesellschaftliche BiasesDiskriminierungTransparenzSchutzklassenTrainingsdatenFeedback-SchleifenDatenmanipulationEthik in AIDatenschutzAI-EntwicklungKritische AuswertungMenschliche InteraktionAI-Rechtschutz
Do you need a summary in English?