BERT

Question 1

Front

Answer 1

Back

Question 2

Was ist die Grundidee eines Transformers?

Answer 2

Ein Modell das Sequenzen mit Self-Attention statt RNN oder CNN verarbeitet.

Question 3

Warum wurden Transformer entwickelt?

Answer 3

Um die Parallelisierung zu verbessern und langfristige Abhängigkeiten besser zu modellieren als RNNs.

Question 4

Was ist Self-Attention?

Answer 4

Ein Mechanismus bei dem jedes Token seine Beziehung zu allen anderen Tokens der Sequenz berechnet.

Question 5

Welche drei Vektoren werden in Self-Attention erzeugt?

Answer 5

Query Key und Value.

Question 6

Was repräsentiert der Query Vektor?

Answer 6

Die Anfrage eines Tokens nach relevanter Information aus anderen Tokens.

Question 7

Was repräsentiert der Key Vektor?

Answer 7

Die Information die angibt wie relevant ein Token für andere Tokens einer Sequenz ist.

Question 8

Was repräsentiert der Value Vektor?

Answer 8

Die eigentlichen Informationen die weitergegeben werden.

Question 9

Was ist die Attention Formel?

Answer 9

Attention(Q K V) = softmax(QK^T / sqrt(d_k)) V

Question 10

Warum wird durch sqrt(d_k) skaliert?

Answer 10

Um große Werte im Dot Product zu vermeiden und stabile Gradienten zu erhalten.

Question 11

Was macht die Softmax Funktion in Attention?

Answer 11

Sie wandelt die Ähnlichkeiten zwischen Tokens in Wahrscheinlichkeitsgewichte um.

Question 12

Was ist Multi Head Attention?

Answer 12

Mehrere parallele Attention Mechanismen die unterschiedliche Beziehungen zwischen Tokens lernen.

Question 13

Warum ist Multi Head Attention nützlich?

Answer 13

Sie erlaubt dem Modell verschiedene semantische Beziehungen gleichzeitig zu erfassen.

Question 14

Woraus besteht ein Transformer Encoder Block?

Answer 14

Multi Head Attention Feed Forward Network Residual Connections und Layer Normalization.

Question 15

Was ist das Feed Forward Network im Encoder?

Answer 15

Ein positionsweises neuronales Netzwerk das jedes Token unabhängig transformiert.

Question 16

Warum werden Residual Connections verwendet?

Answer 16

Sie stabilisieren das Training und verhindern Vanishing Gradients.

Question 17

Was ist Layer Normalization?

Answer 17

Eine Normalisierung der Aktivierungen innerhalb eines Layers zur Stabilisierung des Trainings.

Question 18

Warum braucht ein Transformer Positional Encoding?

Answer 18

Weil Self Attention keine Information über Reihenfolge besitzt.

Question 19

Wie wird Positional Encoding oft implementiert?

Answer 19

Mit sinus und cosinus Funktionen unterschiedlicher Frequenzen.

Question 20

Was bedeutet bidirectional bei BERT?

Answer 20

Das Modell nutzt Kontext von links und rechts gleichzeitig.

Question 21

Wofür steht BERT?

Answer 21

Bidirectional Encoder Representations from Transformers.

Question 22

Welche Architektur nutzt BERT?

Answer 22

Nur Transformer Encoder ohne Decoder.

Question 23

Was ist Masked Language Modeling?

Answer 23

Ein Pretraining Task bei dem zufällige Wörter maskiert werden und das Modell sie vorhersagen muss.

Question 24

Was war der zweite ursprüngliche BERT Pretraining Task?

Answer 24

Next Sentence Prediction.

Question 25

Warum sind Transformer gut parallelisierbar?

Answer 25

Weil Self Attention alle Tokens gleichzeitig verarbeiten kann.

Question 26

Was ist der Hauptunterschied zwischen BERT und GPT?

Answer 26

BERT nutzt Encoder Architektur GPT nutzt Decoder Architektur.