Formeln

Question 1

Optimizer

Eta / Alpha

Answer 1

Learning Rate: Die Schrittweite beim Gradient Descent.

Question 2

Beta

Adam / Momentum

Answer 2

Exponential Decay Rates:
für das Momentum,
für die skalierte Varianz.

Question 3

Gamma

Batch Norm

Answer 3

Scale Parameter: Lernt die optimale Skalierung nach der Normalisierung.

Question 4

Beta

Batch Norm

Answer 4

Shift Parameter: Lernt den optimalen Bias (Verschiebung) nach der Normalisierung.

Question 5

Lambda

Regularisierung

Answer 5

Weight Decay Coefficient: Stärke der L1/L2-Strafe (Penalty).

Question 6

Epsilon

Stabilität

Answer 6

Smoothing Term: Sehr kleine Zahl (

), um Division durch Null zu verhindern.

Question 7

My

Statistik

Answer 7

Mean: Der Mittelwert (z.B. eines Mini-Batches).

Question 8

Sigma Quadrat

Statistik

Answer 8

Variance: Die Streuung der Daten.

Question 9

Theta

General Modell

Answer 9

Ein Platzhalter für alle lernbaren Parameter (w und b) man schreibt oft f(x,Theta)

Question 10

Phi

Answer 10

Aktivierung / Feature Map: Wird oft als Symbol für die Aktivierungsfunktion sigma oder eine nicht lineare Abbildung genutzt.