Optimizers

Question 1

Was sind Optimizers?

Answer 1

Im Deep Learning (DL) sind Optimizers (Optimierer) Algorithmen, die dafür sorgen, dass eine KI aus ihren Fehlern lernt. Sie sind das „Gehirn“ hinter dem Lernprozess, das die internen Einstellungen (Gewichte) eines neuronalen Netzes anpasst, um die Vorhersagen immer genauer zu machen.

Question 2

Die Mechanik

Was ist der Kern-Nachteil von Standard-SGD?

Answer 2

Langsame Konvergenz in “Tälern” (Oszillationen) und Anfälligkeit für lokale Minima/Sattelpunkte.

Question 3

Die Mechanik

Wie löst Momentum das Oszillationsproblem?

Answer 3

Es nutzt den gleitenden Durchschnitt vergangener Gradienten, um die Bewegung in konsistente Richtungen zu beschleunigen.

Question 4

Die Mechanik

Was ist die Kernidee von AdaGrad?

Answer 4

Adaptive Lernraten: Häufige Features erhalten kleinere Updates, seltene Features größere.

Question 5

Moderne Standards

Warum ist RMSprop eine Verbesserung gegenüber AdaGrad?

Answer 5

Es verhindert das radikale Absinken der Lernrate durch einen exponentiell abfallenden Durchschnitt der quadrierten Gradienten.

Question 6

Moderne Standards

Was ist RMSprop

Answer 6

RMSprop (Root Mean Square Propagation) ist ein intelligenter Optimierer, der die Lernrate für jedes einzelne Gewicht im neuronalen Netz automatisch anpasst. Er wurde entwickelt, um das Training schneller und stabiler zu machen, besonders wenn die Daten sehr ungleichmäßig sind.

Question 7

Moderne Standards

Was kombiniert der Adam-Optimizer?

Answer 7

Momentum (1. Moment) und RMSprop (2. Moment/Skalierung).

Question 8

Moderne Standards

Wozu dient die Bias-Correction in Adam?

Answer 8

Um die Initialisierung der Momente bei Null zu korrigieren (besonders wichtig in den ersten Iterationen).

Question 9

Deep Dive & Best Practices

Was ist der Unterschied zwischen Adam und AdamW?

Answer 9

AdamW entkoppelt das Weight Decay von der Gradienten-Skalierung (führt zu besserer Generalisierung).

Question 10

Deep Dive & Best Practices

Warum wählen Profis oft SGD mit Momentum für das finale Fine-Tuning?

Answer 10

Es generalisiert oft besser auf Testdaten als Adam, auch wenn es länger zum Trainieren braucht.

Question 11

Deep Dive & Best Practices

Was bewirkt ein Learning Rate Scheduler?

Answer 11

Er reduziert die Lernrate über Zeit (z.B. Decay), um in das globale Minimum “einzurasten”, statt darüber hinwegzuspringen.

Question 12

Deep Dive & Best Practices

Was ist der “Exploding Gradient” Effekt und wie stoppt man ihn?

Answer 12

Gradienten werden extrem groß; Lösung: Gradient Clipping (Begrenzung des Norm-Werts).

Question 13

Was ist Gradient Clipping und warum wird es genutzt?

Answer 13

Eine Technik, bei der zu große Gradienten während der Backpropagation auf einen maximalen Schwellenwert begrenzt werden. Es verhindert das Exploding Gradient Problem (instabile Gewichts-Updates, die das Modell zerstören).