Explainable AI explained! | #5 Counterfactual explanations and adversarial attacks

Summary

In diesem Video wird die Erklärung von Gegenfaktualen in der Künstlichen Intelligenz vorgestellt. Der Sprecher erklärt, wie Gegenfaktuale dazu verwendet werden können, um einem Modellbenutzer zu zeigen, welche minimalen Änderungen an den Eingabedaten eine andere Vorhersage zur Folge haben. Das Beispiel einer Schlaganfallvorhersage zeigt, wie ein Patient durch Anpassungen seines Body-Mass-Index seine Risikobewertung verändern kann. Gegenfaktuale werden sowohl zur Erklärung von Blackbox-Modellen als auch zur Erzeugung von Angriffen verwendet. Verschiedene Berechnungsmethoden, wie zufällige Sampling oder genetische Algorithmen, werden ebenfalls besprochen.

Takeaways

• 📊 Counterfactuals bieten eine alternative Erklärungsmethode für KI-Modelle, indem sie zeigen, was geändert werden könnte, um eine andere Vorhersage zu erhalten.
• 🤖 Im Gegensatz zu Feature-Importance-Techniken fokussieren sich Counterfactuals darauf, wie kleine Änderungen in den Eingabewerten das Vorhersageergebnis beeinflussen können.
• 🧑‍⚕️ Ein Beispiel im Video zeigt, wie John durch die Anpassung seines Body-Mass-Index seine Schlaganfallprognose von 90 % auf 70 % senken könnte.
• 📝 Counterfactuals stellen die minimal notwendigen Änderungen dar, die erforderlich sind, um das Zielklassenergebnis zu ändern, wie von Lewis (1973) theoretisch definiert.
• 📚 Der Ansatz wurde 2017 durch das Papier 'Counterfactual Explanations Without Opening the Black Box' in die maschinelle Lernforschung eingeführt.
• ⚔️ Es gibt Ähnlichkeiten zwischen der Erzeugung von Gegenfakten und der Erstellung von adversarialen Beispielen, da beide auf minimale Änderungen abzielen, um unterschiedliche Ergebnisse zu erzielen.
• ⚙️ Es gibt weiße und schwarze Box-Ansätze zur Berechnung von Gegenfakten, je nachdem, ob der Zugriff auf die Modelldetails besteht oder nicht.
• 🧬 Einige Methoden zur Berechnung von Counterfactuals verwenden genetische Algorithmen, die Selektion, Mutation und Crossovers beinhalten.
• 🔍 Microsoft bietet mit der Python-Bibliothek 'Dice' ein Tool zur Berechnung von kontrafaktischen Erklärungen, das verschiedene Gegenfakten generieren kann.
• 🎲 Da es oft keine beste Gegenfaktenerklärung gibt, kann es sinnvoll sein, mehrere diverse Gegenfakten zu betrachten, um die passende Erklärung für die jeweilige Situation zu finden.

Q & A

Was sind Kontrafaktische Erklärungen im Vergleich zu Feature-Wichtigkeitstechniken wie SHAP und LIME?

Kontrafaktische Erklärungen geben an, welche minimalen Änderungen an den Eingabefeatures vorgenommen werden müssen, um das Modell zu einem anderen Ergebnis zu bringen, im Gegensatz zu SHAP und LIME, die die Wichtigkeit der Features und deren Einfluss auf die Vorhersage zeigen.

Wie könnte eine kontrafaktische Erklärung für den Patienten John aussehen?

Ein Beispiel für eine kontrafaktische Erklärung für John wäre: 'Momentan liegt dein Schlaganfallrisiko bei 90 %. Wenn du deinen Body-Mass-Index auf 25 senken würdest, würde sich das Risiko auf 70 % senken.'

Wie werden kontrafaktische Erklärungen mathematisch definiert?

Eine kontrafaktische Erklärung ist die kleinste Änderung in den Eingabefeatures, die die Vorhersage zu einem anderen Ergebnis führt, wie etwa von Schlaganfall zu keinem Schlaganfall.

Was ist der Unterschied zwischen kontrafaktischen und kontrastiven Erklärungen?

Kontrafaktische und kontrastive Erklärungen sind in der Literatur ähnlich; beide zielen darauf ab, die minimale Änderung zu identifizieren, die eine andere Vorhersage erzeugt.

Welche Rolle spielt die Entscheidungsmatrix bei der Generierung kontrafaktischer Erklärungen?

Die Entscheidungsmatrix stellt die verschiedenen Kombinationen der Feature-Werte dar, die die Grenze zwischen zwei verschiedenen Vorhersagen bestimmen. Durch Änderung einzelner Werte kann die minimal notwendige Änderung identifiziert werden, die die Vorhersage ändert.

Warum gibt es oft mehrere mögliche kontrafaktische Erklärungen?

Es gibt oft mehrere mögliche kontrafaktische Erklärungen, weil es verschiedene Kombinationen von Änderungen in den Features geben kann, die das gewünschte Ergebnis erzielen. Dieses Phänomen wird als Rashomon-Effekt bezeichnet.

Wie können kontrafaktische Erklärungen in Machine Learning genutzt werden?

Kontrafaktische Erklärungen können genutzt werden, um zu verstehen, welche Änderungen an den Eingabefeatures erforderlich wären, um eine bestimmte Vorhersage zu ändern, z. B. das Risiko eines Schlaganfalls zu senken oder einen Kredit zu erhalten.

Welche Rolle spielen White-Box- und Black-Box-Ansätze bei der Berechnung kontrafaktischer Erklärungen?

White-Box-Ansätze nutzen interne Modellinformationen wie Gewichte von Neuronalen Netzwerken zur Berechnung kontrafaktischer Erklärungen, während Black-Box-Ansätze das Modell mehrmals abfragen, um die Beziehung zwischen Eingabe und Ausgabe zu erkennen.

Was ist der Zweck von genetischen Algorithmen bei der Berechnung kontrafaktischer Erklärungen?

Genetische Algorithmen nutzen Auswahl, Mutation und Kreuzung, um kontrafaktische Erklärungen zu berechnen. Sie simulieren evolutionäre Prozesse, um die optimalen Änderungen zu finden.

Was ist der Nutzen der DICE-Bibliothek zur Berechnung kontrafaktischer Erklärungen?

Die DICE-Bibliothek von Microsoft kann mehrere kontrafaktische Erklärungen generieren, die möglichst unterschiedlich sind, damit Benutzer die am besten geeignete Erklärung für ihre spezifische Situation auswählen können.