Explainable AI

Question 1

Was sind Pertubations Methoden

Answer 1

Man verändert gezielt einzelne Eingabedaten (z. B. Pixel in einem Bild) und beobachtet, wie sich die Vorhersage der KI ändert. So lässt sich bestimmen, welche Bildbereiche für die Entscheidung der KI wichtig waren.

Question 2

Was bedeutet Blackbox / Whitebox

Answer 2

Black-Box (z. B. tiefe NN):
Was: Hohe Präzision, aber interne Logik zu komplex zum Verstehen.
Wie: Benötigt Hilfsmittel (SHAP/LIME), um Entscheidungen nachträglich zu erklären (Post-hoc).
White-Box (z. B. Entscheidungsbaum):
Was: Modell ist von sich aus transparent (Intrinsic).
Wie: Die Logik ist direkt aus den Parametern ablesbar.

Question 3

In welche zwei Hauptkategorien lassen sich XAI-Methoden hinsichtlich ihrer Kompatibilität mit verschiedenen Algorithmen unterteilen?

Answer 3

Modell Agnostisch
Modell Spezifisch

Question 4

Was ist der Unterschied zwischen globaler und lokaler Interpretierbarkeit (Explainability) bei KI-Modellen?

Answer 4

🌐 Global: Erklärt das Modell als Ganzes. (Welche Faktoren sind allgemein am wichtigsten?)
📍 Lokal: Erklärt eine einzelne Vorhersage. (Warum wurde genau dieser Fall so entschieden?)
Kurzform:

Global = Das Regelwerk.
Lokal = Die Einzelfallbegründung.

Question 5

Was sind die wichtigsten Erklärungs-Ansätze in der Explainable AI?

Answer 5

🔍 Merkmalsrelevanz (Feature Importance): Zeigt, welche Datenpunkte (z. B. CPU-Last, RAM) die Entscheidung am stärksten beeinflusst haben (z. B. via SHAP oder LIME).
🔄 Kontrafaktische Erklärungen: Beschreibt, was sich ändern müsste, um ein anderes Ergebnis zu erhalten („Was wäre wenn?“).
🖼️ Beispielbasiert: Nennt ähnliche Fälle aus der Vergangenheit, die zu derselben Entscheidung geführt haben.
📜 Surrogatmodelle: Ein einfaches, interpretierbares Modell (z. B. ein Entscheidungsbaum) kopiert das komplexe Modell, um dessen Logik grob zu visualisieren.

Question 6

Welche Datentypen sind für die Erklärbarkeit von KI entscheidend?

Answer 6

📊 Tabellarische Daten: (Strukturierte Zahlen/Kategorien) Erklärungen zeigen hier die Feature Importance (z. B. “CPU-Last war zu 80% für den Alarm verantwortlich”).
🖼️ Bilddaten: Erklärungen nutzen Saliency Maps oder Heatmaps (Hervorhebung der Bildbereiche, die die KI “angesehen” hat).
📝 Textdaten (NLP): Erklärungen markieren spezifische Keywords oder Sätze, die die Klassifizierung (z. B. “Fehlermeldung = Kritisch”) ausgelöst haben.
📈 Zeitreihen (Time Series): Erklärungen zeigen zeitliche Korrelationen (z. B. “Der Peak vor 10 Minuten verursachte den jetzigen Systemabsturz”).

In der XAI ist wichtig, ob die Daten interpretierbar (für Menschen verständlich wie “Alter”) oder nicht-interpretierbar (abstrakte Pixelwerte/Vektoren) vorliegen.

Question 7

Was ist der Hauptunterschied zwischen den XAI-Methoden LIME und SHAP?

Answer 7

🍋 LIME (Local Interpretable Model-agnostic Explanations):
Prinzip: Erstellt ein vereinfachtes “Ersatzmodell” (Surrogat) nur für die unmittelbare Nachbarschaft eines Datenpunkts.
Vorteil: Sehr schnell; funktioniert gut für Text und Bilder.
Nachteil: Ergebnisse können instabil sein (schwanken bei kleinen Änderungen).
🎮 SHAP (SHapley Additive exPlanations):
Prinzip: Nutzt die Spieltheorie, um den Beitrag jedes Merkmals zum Gesamtergebnis fair zu berechnen.
Vorteil: Mathematisch präzise und konsistent.
Nachteil: Rechenintensiv (dauert bei vielen Merkmalen länger).

LIME ist eine schnelle Annäherung, SHAP ist die mathematisch exakte Verteilung der Verantwortung.

Question 8

Was ist der Unterschied zwischen Counterfactuals (XAI) und Adversarial Attacks?

Answer 8

🔍 Counterfactuals (Erklärung):
Ziel: Aufzeigen des minimalen Wegs zur Änderung eines Ergebnisses.
Beispiel: „Wenn die CPU-Last nur 5% niedriger gewesen wäre, hätte die KI keinen Alarm ausgelöst.“
Nutzen: Hilft dem Admin, die Entscheidungsgrenzen zu verstehen.
🛡️ Adversarial Attacks (Angriff):
Ziel: Das Modell durch minimale, oft unsichtbare Störungen gezielt zu täuschen.
Beispiel: Einem Logfile werden winzige “Noise”-Daten zugefügt, damit die KI einen Hackerangriff als „Normalbetrieb“ einstuft.
Gefahr: Nutzt Schwachstellen in der Logik des Modells aus.

Counterfactuals dienen der Transparenz (Verständnis), Adversarial Attacks der Manipulation (Täuschung).

Question 9

Was ist Layer-wise Relevance Propagation (LRP) und wie funktioniert es?

Answer 9

LRP ist eine Methode für tiefe neuronale Netze, um eine Vorhersage rückwärts durch das Netz zu verfolgen (Backpropagation von Relevanz).
Prinzip: Die Entscheidung am Ausgang (z. B. “Alarm: Einbruch”) wird Schicht für Schicht zurück auf die Eingangswerte (z. B. einzelne Log-Zeilen oder Pixel) verteilt.
Erhaltungsgesetz: Die gesamte “Relevanz” bleibt beim Rückwärtslaufen konstant. Jeder Knoten gibt so viel Relevanz an die vorherige Schicht weiter, wie er selbst erhalten hat.
Ergebnis: Eine Heatmap, die genau zeigt, welche Neuronen in welcher Schicht am meisten zur Entscheidung beigetragen haben.

Während SHAP statistisch testet, was passiert, wenn Features fehlen, “zerlegt” LRP die interne Struktur des Netzes, um den Informationsfluss sichtbar zu machen.

Question 10

Nenne drei Glassbox-Modelle (Interpretierbare Modelle)

Answer 10

Entscheidungsbäume (Decision Trees): Man kann den Pfad von der Wurzel bis zum Blatt visuell verfolgen.
Lineare Regression: Die Koeffizienten zeigen direkt den Einfluss jedes Merkmals (z. B. +5% CPU = +2% Ausfallrisiko).
GAMs (Generalized Additive Models): Zerlegen komplexe Funktionen in einfache, additive Kurven.
(z.B.Explainable Boosting Machines (EBM))

Question 11

was passiert beim oversamplen der daten?

Answer 11

Duplikation: Einfaches Kopieren vorhandener Datensätze der Minderheit (Random Oversampling).
Synthese: Erzeugen neuer, ähnlicher Datenpunkte durch Algorithmen wie SMOTE (Synthetic Minority Over-sampling Technique), die “Zwischenwerte” zwischen existierenden Punkten berechnen.

Question 12

Was bedeutet die Abkürzung LIME

Answer 12

Local
Interpretable
Model-agnostic
Explanations

Question 13

Was sind Shaply Values

Answer 13

Shapley Values stammen aus der Spieltheorie (Lloyd Shapley, Nobelpreis). Sie messen den fairen Anteil jedes Merkmals (Features) am Endergebnis einer Vorhersage.
* Das Konzept: Stell dir das Modell als ein “Team” vor, bei dem jedes Feature (z. B. CPU-Last, RAM, Disk-I/O) ein “Spieler” ist. Die Shapley Values berechnen, wie viel jeder Spieler zum “Gewinn” (der Vorhersage) beigetragen hat.
* Die Berechnung: Es wird mathematisch geprüft, wie sich die Vorhersage ändert, wenn ein Feature in allen möglichen Kombinationen mit anderen Features vorhanden ist oder fehlt.
* Eigenschaft: Sie sind additiv. Die Summe aller Shapley Values plus der Basiswert (Durchschnitt aller Vorhersagen) ergibt exakt das aktuelle Vorhersage-Ergebnis.
* XAI-Nutzen: Sie bieten eine mathematisch exakte Antwort auf die Frage: “Welchen Einfluss hatte genau dieses eine Log-Event auf den Alarm?”