Attention

Question 1

Front

Answer 1

Back

Question 2

Was ist Attention in neuronalen Netzen?

Answer 2

Ein Mechanismus der bestimmt wie stark ein Token auf andere Tokens achten soll.

Question 3

Warum wurde Attention eingeführt?

Answer 3

Um langfristige Abhängigkeiten in Sequenzen besser zu modellieren.

Question 4

Was ist Self Attention?

Answer 4

Ein Mechanismus bei dem jedes Token Aufmerksamkeit auf andere Tokens derselben Sequenz richtet.

Question 5

Welche drei Vektoren werden in Attention erzeugt?

Answer 5

Query Key und Value.

Question 6

Was beschreibt der Query Vektor?

Answer 6

Welche Information ein Token sucht.

Question 7

Was beschreibt der Key Vektor?

Answer 7

Welche Information ein Token anbietet.

Question 8

Was beschreibt der Value Vektor?

Answer 8

Die Information die weitergegeben wird.

Question 9

Wie wird die Ähnlichkeit zwischen Tokens berechnet?

Answer 9

Mit einem Dot Product zwischen Query und Key.

Question 10

Was ist die Attention Formel?

Answer 10

Attention(Q

Question 11

Warum wird durch sqrt(d_k) geteilt?

Answer 11

Um große Dot Product Werte zu stabilisieren und Softmax nicht zu saturieren.

Question 12

Was macht die Softmax Funktion in Attention?

Answer 12

Sie wandelt Scores in Wahrscheinlichkeiten um.

Question 13

Was sind Attention Scores?

Answer 13

Die Ähnlichkeitswerte zwischen Query und Keys.

Question 14

Was sind Attention Weights?

Answer 14

Die normalisierten Gewichte nach der Softmax.

Question 15

Was passiert nach der Berechnung der Attention Weights?

Answer 15

Sie werden mit den Value Vektoren multipliziert.

Question 16

Was ist Scaled Dot Product Attention?

Answer 16

Eine Attention Methode bei der das Dot Product durch sqrt(d_k) skaliert wird.

Question 17

Warum ist Self Attention effizienter als RNNs?

Answer 17

Weil alle Tokens parallel verarbeitet werden können.

Question 18

Was ist Multi Head Attention?

Answer 18

Mehrere Attention Mechanismen die parallel verschiedene Beziehungen lernen.

Question 19

Warum nutzt man Multi Head Attention?

Answer 19

Um verschiedene Kontextbeziehungen gleichzeitig zu modellieren.

Question 20

Was ist ein Attention Head?

Answer 20

Eine einzelne Attention Berechnung mit eigenen Projektionsmatrizen.

Question 21

Wie kombiniert Multi Head Attention mehrere Heads?

Answer 21

Die Outputs werden konkateniert und linear transformiert.

Question 22

Was ist der Vorteil von Self Attention gegenüber Convolution?

Answer 22

Sie kann globale Beziehungen zwischen allen Tokens modellieren.

Question 23

Was ist ein Attention Matrix?

Answer 23

Eine Matrix die zeigt wie stark jedes Token auf jedes andere Token achtet.

Question 24

Was ist der Kontextvektor in Attention?

Answer 24

Der gewichtete Durchschnitt der Value Vektoren.

Question 25

Warum funktioniert Attention gut für Sprache?

Answer 25

Weil Wörter Beziehungen zu vielen anderen Wörtern haben können.

Question 26

Was ist der Unterschied zwischen Self Attention und Cross Attention?

Answer 26

Self Attention nutzt dieselbe Sequenz für Q K V Cross Attention nutzt verschiedene Sequenzen.