NLP Text Preprocessing

Question 1

Warum müssen Texte in Zahlen umgewandelt werden?

Answer 1

Maschinelles Lernen und neuronale Netze arbeiten ausschliesslich mit Zahlen (z. B. Matrixmultiplikationen), nicht mit Zeichen oder Text.

Question 2

Was ist der Unterschied zwischen einer ‘sparse’ und einer ‘dense’ Repräsentation?

Answer 2

Sparse: Viele Nullen, hohe Dimensionalität wächst mit Vokabular. Dense: Wenige Nullen, niedrigere Dimensionalität.

Question 3

Definiere den Begriff ‘Corpus’ in der NLP.

Answer 3

Ein Corpus ist eine Sammlung von maschinenlesbaren Textdaten.

Question 4

Was ist Stemming?

Answer 4

Die Reduzierung von Wörtern auf ihren Wortstamm (oft kein echtes Wort, z. B. ‘happi’). Es ist regelbasiert und verringert die Vokabulargrösse.

Question 5

Was ist Lemmatisierung?

Answer 5

Ein linguistischer Ansatz, der Wörter auf ihre Grundform (Lemma) zurückführt. Erfordert Wissen über die Wortart (POS) und ist komplexer/langsamer als Stemming.

Question 6

Was sind Stopwords?

Answer 6

Häufig vorkommende Wörter mit geringem Informationsgehalt (z. B. ‘der’, ‘und’). Ihre Entfernung reduziert die Vokabulargrösse.

Question 7

Was ist der Unicode-Standard?

Answer 7

Ein universeller Standard zur Kodierung von Zeichen, der es ermöglicht, Texte aus fast allen Sprachen weltweit einheitlich darzustellen.

Question 8

Erkläre das Prinzip von Byte-Pair Encoding (BPE).

Answer 8

Ein Bottom-up-Tokenizer, der iterativ die häufigsten aufeinanderfolgenden Token-Paare zu neuen Token zusammenfügt.

https://www.youtube.com/shorts/g7NtCKbLSho

Question 9

Welche zwei Schritte umfasst ein moderner Tokenizer wie BPE?

Answer 9

1. Token Learner: Lernt Token aus einem Corpus.
2. Token Encoder: Mappt Wörter eines neuen Satzes auf die gelernten Token.

Question 10

Warum ist Textvorverarbeitung oft schwierig?

Answer 10

Text ist ‘noisy’ durch Tippfehler, Slang, Emoticons, inkonsistente Gross-/Kleinschreibung und Sonderzeichen.

Question 11

Wie funktioniert der BPE-Trainingsprozess (Learner)?

Answer 11

1. Initialisierung mit allen Einzelzeichen.
2. Iteratives Finden und Verschmelzen des häufigsten Paares benachbarter Token.
3. Update des Vokabulars und Corpus.

Question 12

Wann stoppt der BPE-Algorithmus?

Answer 12

Entweder wenn der Corpus eine bestimmte Zielgrösse erreicht hat oder wenn eine vordefinierte Anzahl neuer Token erstellt wurde.

Question 13

Was ist ein entscheidender Vorteil von BPE bei LLMs?

Answer 13

Es kann mit unbekannten Wörtern (Out-of-Vocabulary, OOV) umgehen, indem es diese in bekannte Sub-Word-Token zerlegt.

Question 14

Welcher weit verbreitete Stemmer wird im Dokument erwähnt?

Answer 14

Der Porter Stemmer (oft für Englisch verwendet).

Question 15

Warum ist Lemmatisierung komplexer als Stemming?

Answer 15

Sie erfordert eine linguistische Analyse und Kenntnis über die Wortart (Part-of-Speech, POS), z. B. ob ein Wort ein Verb oder Nomen ist.

Question 16

Nenne drei konkrete Schritte zur Reinigung von ‘noisy’ Text.

Answer 16

1. Konvertierung in Kleinschreibung.
2. Entfernung übermässiger Interpunktion.
3. Ersetzung von Emojis durch Unicode.

Question 17

Was bedeutet ‘Tokenization’ bei modernen Modellen wie BERT?

Answer 17

Es ist der Prozess, Text in kleinere Einheiten (Token) zu zerlegen, wobei oft Byte-Pair Encoding zum Einsatz kommt.

Question 18

Warum ist das Entfernen von Stopwords bei Chatbots problematisch?

Answer 18

Stopwords (wie ‘nicht’ oder ‘kein’) tragen massgeblich zur Bedeutung und Nuance eines Satzes bei, die für die Konversation wichtig ist.

Question 19

Was ist der Unterschied zwischen UTF-8 und ASCII?

Answer 19

UTF-8 ist kompatibel mit ASCII; die ersten 128 Codepoints sind in beiden Standards identisch.

Question 20

Welches Problem löst Unicode in der internationalen Textverarbeitung?

Answer 20

Es bietet eine konsistente Kodierung für multilingualen Text und beendet das Chaos unterschiedlicher Zeichensätze.