ML Basics

Question 1

Was macht ein Classifier im Machine Learning?

Answer 1

Er ordnet eine Eingabe (Input) einer diskreten Klasse (Label) zu. Er beantwortet die Frage: “Zu welcher Gruppe gehört das?”
Beispiele:
* Binär: (2 Klassen) → Spam oder kein Spam? Systemabsturz oder Normalbetrieb?
* Multiklassen: (3+ Klassen) → Handgeschriebene Ziffern (0–9) oder Fehlercodes (Critical, Warning, Info).

Der Classifier lernt während des Trainings die Entscheidungsgrenzen (Decision Boundaries) zwischen den Klassen.

Question 2

Was ist eine Decision Boundary in einem Klassifikationsmodell?

Answer 2

Es ist die Trenlinie (oder Fläche) im Merkmalsraum, die bestimmt, wo eine Klasse aufhört und die nächste beginnt.
Logik: Wenn ein Datenpunkt auf der einen Seite der Grenze liegt, klassifiziert ihn das Modell als „Klasse A“, auf der anderen Seite als „Klasse B“.
Form:
Linear: Eine gerade Linie (z. B. bei Logistischer Regression).
Nicht-linear: Komplexe Kurven oder Kreise (z. B. bei Random Forests oder Neural Networks).
Lernprozess: Während des Trainings versucht der Classifier, diese Grenze so zu legen, dass möglichst wenig Fehler entstehen.

Question 3

Logistische Regression

Was ist der Hauptunterschied zur linearen Regression?

Answer 3

• Vorhersagewert: Während die lineare Regression kontinuierliche Werte (z. B. Hauspreise) schätzt, berechnet die logistische Regression eine Wahrscheinlichkeit zwischen 0 und 1.
• Die Sigmoid-Funktion: Sie nutzt eine S-förmige Kurve (Sigmoid), um beliebige Zahlenwerte in den Bereich [0, 1] zu “quetschen”.
• Klassifizierung: Liegt die berechnete Wahrscheinlichkeit über einem Schwellenwert (meist 0,5), wird der Datenpunkt der Klasse 1 zugeordnet, andernfalls der Klasse 0.

Question 4

Was ist Lineare Regression und wie unterscheidet sie sich von der Klassifikation?

Answer 4

• Die lineare Regression ist ein statistisches Modell, das die Beziehung zwischen einer abhängigen Variable (y) und einer oder mehreren unabhängigen Variablen (x) durch eine Gerade beschreibt.
• Ziel: Vorhersage eines kontinuierlichen numerischen Werts (z. B. “Wie hoch ist die CPU-Last in Prozent?”).
• Logik: y = w * x + b
  Das Modell versucht, die Gerade so zu legen, dass der Abstand zu allen Datenpunkten (Fehler) minimal ist.
• Unterschied:
  Lineare Regression: Sagt Zahlen voraus (Preis, Temperatur, Last).
  Logistische Regression: Sagt Klassen/Wahrscheinlichkeiten voraus (Ja/Nein).

Question 5

Welche Algorithmen werden neben der Logistischen Regression für die Klassifizierung genutzt?

Answer 5

🌳 Decision Trees (Entscheidungsbäume): Teilt Daten anhand von Wenn-Dann-Fragen auf. (Vorteil: Glassbox – man sieht den Pfad).
🌲 Random Forest: Ein Ensemble aus vielen Entscheidungsbäumen. Sehr robust und schwer zu überlisten.
🚀 Support Vector Machines (SVM): Sucht die “breiteste Straße” (Hyperplane), um Klassen mit maximalem Abstand zu trennen.
👥 K-Nearest Neighbors (KNN): Schaut sich die
nächsten Nachbarn eines Punktes an und wählt die häufigste Klasse.
🧠 Neuronale Netze: Blackbox-Modelle für hochkomplexe Daten wie Bilder (CNNs) oder Sprache (Transformer).
📈 Naive Bayes: Basiert auf Wahrscheinlichkeiten (Satz von Bayes). Extrem schnell für Text-Klassifizierung (Spam-Filter).