Batch Normalisierung

Question 1

Basics

Welches Hauptproblem adressiert Batch Normalization (BN)?

Answer 1

Den Internal Covariate Shift (ständige Änderung der Verteilung der Layer-Inputs während des Trainings).

Question 2

Basics

Was ist das primäre Ziel von BN?

Answer 2

Stabilisierung des Trainings und Ermöglichung höherer Lernraten.

Question 3

Basics

Wo wird BN im Netzwerk meist platziert?

Answer 3

zwischen dem linearen Layer (Conv/Fully Connected) und der Aktivierungsfunktion (ReLU).

Question 4

Algorithmus

Wie wird der Input
innerhalb eines Minibatches normalisiert?

Answer 4

x^:Der standardisierte Wert (Zentralisiert auf 0, skaliert auf 1).
my(Batch) = mittelwert des Batches
sigma(Batch)=Varianz des batches
Epsilon:Eine winzige Zahl (z. B. 10hoch -5), damit du nie durch Null teilst, falls die Varianz mal 0 ist.

Question 5

Algorithmus

Wozu dient das
(Epsilon) in der BN-Formel?

Answer 5

Numerische Stabilität (verhindert Division durch Null, falls die Varianz extrem klein ist).

Question 6

Algorithmus

Was sind die zwei lernbaren Parameter in BN?

Answer 6

Lambda (Scale) und Beta (Shift), Sie erlauben dem Netz, die Normalisierung rückgängig zu machen, falls nötig.

Question 7

Training vs. Inference

Wie verhält sich BN während der Inference (Testphase)?

Answer 7

Es werden keine Batch-Statistiken genutzt, sondern globale Mittelwerte/Varianzen (Moving Averages), die während des Trainings berechnet wurden.

Question 8

Effekte & Grenzen

Warum wirkt BN leicht regularisierend?

Answer 8

Weil die Statistiken pro Minibatch leicht schwanken, was als Rauschen fungiert (ähnlich wie Dropout).

Question 9

Effekte & Grenzen

Question 10

Effekte & Grenzen

Was ist ein bekannter Nachteil von BN bei kleinen Batch-Sizes?

Answer 10

Die Schätzung von my und delta wird ungenau/instabil, was die Modellperformance verschlechtert.

Question 11

Wie beeinflusst BN die Abhängigkeit von der Gewichtsinitialisierung?

Answer 11

BN macht das Netzwerk weniger empfindlich gegenüber der initialen Wahl der Gewichte.

Question 12

Was ist Batch Normalisierung (BN)?

Answer 12

Batch Normalization (BN) berechnet den Mittelwert und die Standardabweichung der Daten innerhalb eines Minibatches

Question 13

Algorythmus

In welcher Form speichert das Modell die Skalierung und Verschiebung bei der Batch-Normalisierung?

Answer 13

y: Output der Batch-Norm (wird an den nächsten Layer weitergegeben)
(Gamma): Skalierungsparameter (Scale)
(Beta): Verschiebungsparameter (Shift / Bias)
x^: Der bereits normalisierte Input (Mittelwert 0, Varianz 1)