1
Q
IRT (Item-Response-Theorie)
A
2
Q
Bedingte stochastische Unabhängigkeit
A
3
Q
Trennschärfe wie wird sie ermittelt - Verfahren? ///
Trennschärfe - Wenn die Schwierigkeit 1 ist, ist die Trennschärfe = 0
A
4
Q
Äquidistanzmodell
A
- Geht davon aus, dass Schwellenabstände innerhalb eines Items gleich groß sind
> zB ist Differenz aus dritter u zweiter Schwelle gleich der Differenz aus zweiter u erster Schwelle - Kategorienbreiten dürfen sich jedoch zw Items unterscheiden
- Äquidistanzmodell weist signifikant schlechtere Modellanpassung auf als Partial-Credit-Modell
5
Q
Aussagen Cronbachs a
A
6
Q
Innere Konsistenz
A
7
Q
Spearman-Brown-Formel
A
- Beziehung zw Anzahl gemittelter paralleler Messungen u d Reliabilität kann mit Hilfe der Spearman-Brown-Formel beschrieben werden
- Ist Modell essenziell tau-paralleler Variablen gültig, lässt sich Reliabilität d Summenvariablen einfacher bestimmen als im Modell essenziell tau-äquivalenter V
> Spearman-Brown-Formel zur Testverlängerung
8
Q
Prozentrangwert, was bedeutet 2% ///
Prozentrangwerte (70%)
A
Gibt an, wie viel Prozent der Personen einer Vergleichsgruppe (zB Normpopulation oder -stichprobe) denselben oder einen geringeren Wert wie die untersuchte Person aufweisen.
9
Q
Itempopularität
A
Anteil an Probanden, die einem Item zustimmen
> Wichtige Info, d sich auch auf Varianz d Items auswirkt
> Analog dazu bezeichnet man prozentualen Anteil an Probanden, d Leistungsaufgabe lösen, als „Itemschwierigkeit“ / „Schwierigkeit“
10
Q
Martin-Löf-Test
A
Überprüft, ob leichte Items ein anderes Merkmal erfassen als schwierige Items
11
Q
Akquieszenz
A
Tendenz, Aussagen in einem Fragebogen zuzustimmen
12
Q
Gutachten: Qualitätsmerkmale nach Zuschlag (2006) - Gütekriterien
A
- Gutachten sollte Auftraggeber (AG) nutzen
> Sollte Fragestellung des AG innerhalb vereinbarten Zeitrahmen beantworten - Kosten und Nutzen sollten in angemessener Relation stehen
- Gutachten sollte lesbar, verständlich, nachvollziehbar, nachprüfbar u überzeugend sein
> Leicht nachvollziehbare Struktur, verständl Wortwahl (Fachbegriffe erläutern, unerklärte Abkürzungen vermeiden)
> Nachvollziehbarkeit erhöhen durch Strukturierung der Fragestellung u eindeutig differenzierbare Abschnitte im Gutachten (insbes Darstellung v Interpretation d Infos trennen)
13
Q
Gutachten: Aspekte der Nachprüfbarkeit
A
- Quellen diagnostischer Infos angeben,
- Untersuchungsablauf dokumentieren,
- Auswertungsmethoden u Beurteilungskriterien (soweit mögl orientiert am Anforderungsprofil) explizieren
=> Gutachten, welches diese Aspekte berücksichtigt, wird nicht nur eher überzeugend sein, sondern auch eher als seriös anerkannt werden
14
Q
Womit kann ich die Konstruktvalidität untersuchen?
A
- Analyse von Gruppenunterschieden
- Zusammenhangsanalysen mit anderen Tests
- Analyse der internen Struktur eines Tests
- Analyse der Stabilität vs. Veränderung von Testwerten
- Prozessanalyse
15
Q
Differential-Item-Functioning (DIF)
A
- Tritt auf, wenn Item verschiedene Messeigenschaften zw verschiedenen Gruppen aufweist, unabhängig davon, ob sich beide Gruppen in diesem Merkmal / Konstrukt unterscheiden
- Geringes DIF kann Testfairness erhöhen
- Bedeutung von DIF kann nur aus Itemkontext erschlossen werden
16
Q
Was trifft auf essenziell τ-äquivalente Variablen zu? (Annahmen)
A
- alle τi (True-Score-Variablen) erfassen gemeinsames η
- Parallele Itemcharakteristiken
- Fehlervarianzen unkorreliert
17
Q
Aspekte vom Nebengütekriterium Zumutbarkeit
A
Ist erfüllt, wenn der Test die Testperson absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen in zeitlicher, psychischer sowie körperlicher Hinsicht nicht unverhältnismäßig belastet
18
Q
Nivellierung und Akzentuierung
A
Prozentrangnormen führen zu einer Akzentuierung der Unterschiede im mittleren Bereich einer Verteilung und zu einer Nivellierung der Unterschiede in den Randbereichen führen (Grafik sieht wie Glockenform aus)
19
Q
Selektionsrate und Validität
A
Wirken sich auf falsch positiv Diagnosen aus
20
Q
Paragraphen bzgl. Schweigepflicht und für wen die alles gilt
A
- § 203 des Strafgesetzbuches
- Arzt, Berufspsychologen mit staatlich anerkannter wissenschaftlicher Abschlussprüfung, Mitarbeiter, Studierende, Praktikanten
21
Q
Verhaltensgleichung Westhoff und Kluck (2008) (Welche Variablengruppen?)
A
Das Verhalten von Personen setzt sich als Funktion aus Umgebungsvariablen (U), Organismusvariablen (O), kognitiven Variablen (K), emotionalen Variablen (E), motivationalen Variablen, sozialen Variablen (S) und Interaktionen zwischen den genannten Variablen zusammen.
22
Q
Personen, die ausgewählt werden, obwohl sie nicht geeignet sind
A
a. Sensitivität X
23
Q
Itemschwierigkeit
A
24
Q
Schätzverfahren für Itemparameter
A
a. Ungewichtet und marginal
25
Itempopulation
26
Schwellenparameter
Je größer der Wert einer Person auf der latenten Variablen η ist, umso größer ist die Wahr-scheinlichkeit, die obere Kategorie im Vgl. zur darunter liegenden Kategorie zu wählen. (Schnittpunkt zwischen zwei Kategorien)
27
Konfirmatorische Faktorenanalyse
28
Faktorenanalytisches Modell
a. Orthogonale Faktoren sind unabhängig voneinander X
b. Faktoren sind latente Variablen X
c. Latente Variable wird zerlegt in lineare Faktorstruktur u Residualvariable
29
Nach was wird die Profilanalyse ausgerichtet?
a. Streuung X
b. Gestalt X
c. Höhe X
30
Welche Modelle für metrische Variablen? Hier gab es als Antwortmöglichkeiten zwei tau-Modelle und zwei Spezialfälle des Partial-Credit-Modells (die beiden wären falsch)
Die tau-Modelle X
31
Ist die KTT gut für die Reliabilitätsschätzung oder ist sie dazu da?
32
Welches Antwortformat soll gewählt werden für eine hohe Durchführungsobjektivität?
a. Ratingskala X
b. Dichotom X
c. Kategorial X
33
Welches Antwortformat soll gewählt werden für die geringste Ratewahrscheinlichkeit?
Freies Antwortformat
34
Was bewirkt eine große Stichprobe in einem Test?
a. Power X
35
Was unterscheidet das Rasch- vom Partial-Credit-Modell?
Das Rasch-Modell beinhaltet dichotome Variablen, das PCM kategoriale Variablen mit ge-ordneten Antwortkategorien
Die Itemcharakteristiken im RM sind parallel, müssen es aber im PCM nicht zwingend sein
36
Partial-Credit-Modell zur Kategoriencharakteristik, ob Schwellenwert bedeutet, dass Katego-rie darüber gewählt wird?
Der Schwellenwert bedeutet, dass die Wahrscheinlichkeit eine von den beiden Kategorien (untere oder darüber liegende) zu wählen, gleich ist.
37
Spezialfälle vom Partial-Credit-Modell.
Ratingskalenmodell, Äquidistanzmodell, Dispersionsmodell
38
Spezialfälle von τ-Modellen.
Modell τ-kongenerischer Variablen, Modell essenziell τ-äquivalenter Variablen, Modell τ-äquivalenter Variablen, Modell essenziell τ-paralleler Variablen, Modell τ-paralleler Variablen
39
Was gehört zur Urteilsbildung?
a. Statistisch X
b. Klinisch X
40
Was gehört zur Faktoranalyse?
a. Konfirmatorisch X
b. Exploratorisch X
41
Exploratorische Faktoranalyse, was ist hier bekannt?
Nichts?! (keine latenten Variablen oder Faktorladungen)
42
Exploratorische Faktoranalyse, Faktoren bekannt?
a. Nein X
43
Bedeutung von Kommunalität
- In der Faktorenanalyse der Varianzanteil, der durch die latente Variable erklärt wird
- Geht man davon aus, dass gesamte Residualvarianz die Fehlervarianz darstellt, entspricht Kommunalität der Reliabilität
44
Trennschärfe
a. Wenn Schwierigkeit 1 ist = Trennschärfe 0 X
45
Wie kann man die Reliabilität schätzen?
a. Retest X
b. Cronbachs α X
46
Was beeinflusst die falsch-Positiven und falsch-Negativen?
a. Basisrate
b. Selektionsrate
c. Validität
47
Kategoriencharakteristik
Die Abhängigkeit der bedingten Antwortwahrscheinlichkeit von der latenten Variablen wird durch die Kategoriencharakteristik beschrieben.
- Die Wahrscheinlichkeit der ersten Kategorie nimmt ab, je größer der Wert der latenten Variablen wird.
- Die Wahrscheinlichkeit der höchsten Kategorie nimmt zu, je größer der Wert der latenten Variablen wird.
- Die Wahrscheinlichkeiten der mittleren Kategorien nehmen zunächst mit Zunahme der Werte der latenten Variablen bis zu einem maximalen Wert zu, um dann wieder abzuneh-men. 4. Die Schnittpunkte der Kategoriencharakteristiken entsprechen den Schwellenpara-metern.
- Die Schnittpunkte der Kategoriencharakteristiken (die Schwellenparameter) entsprechen den Wendepunkten der Schwellenwahrscheinlichkeiten.
48
Basisrate / Selektionsrate
- Basisrate: Der relative Anteil von Personen mit den intendierten Eigenschaften in einer Population.
Bsp: Relativer Anteil von Personen mit Berufserfolg / mit einer psychischen Störung in einer Population.
- Selektionsrate: Der relative Anteil der Personen, deren Messwerte ein Kriterium erfüllen.
Bsp: Anteil der Bewerber, die aufgrund eines Testergebnisses, das ein Kriterium erfüllt, einen Job erhalten
49
Datenquellen nach Cattell
- L(ife)-Daten: für biografische Informationen
- Q(uestionnaire)-Daten: für Selbstratings oder Selbsteinschätzungen in Fragebögen und
- T(est)-Daten: für Leistungs- oder (quasi-)experimentell gewonnene Daten
50
Was sagt die kritische Differenz aus?
Die kritische Differenz kann zum einen für Testwerte zwischen zwei Personen bestimmt werden und zum anderen für Testwerte bei einer Person.
Die kritische Differenz, bei der der Testwert auf einer Skala j bei zwei Personen bestimmt wird, sagt etwas darüber aus, ob sich zwei Personen substanziell in ihren Testwerten auf der interessierenden Skala j unterscheiden (z. B. ob sich die IQ-Werte von zwei Personen für den Untertest verbale Fähigkeiten unterscheiden). Die kritische Differenz, die für zwei Testwerte einer Person bestimmt wird, sagt etwas darüber aus, ob sich der Testwert auf einer Skala j (z. B. Positiver Affekt) beispielsweise von Zeitpunkt 1 (Prä-Messung) zu Zeitpunkt 2 (Post-Messung) signifikant verändert hat.
51
Facettentheorie, was ist das?
- Möglichkeit die im Rahmen der Kontentvalidität geforderte Repräsentation eines Itemuniversums zu realisieren
- Strukturierung und ggf. auch Begrenzung eines Itemuniversums
> Unsystematische Häufung von Items kann vermieden werden
- Facette = Menge an Attributen, die zusammen die konzeptuellen und semantischen Komponenten eines Inhaltsuniversums repräsentieren
- Bezug zur Kontentvalidität: Wird versucht, anhand von Facetten ein Universum möglicher Situationen / Stimuli so zu strukturieren, dass es wahrscheinlich ist, dass die konstruierten Items eine relevante Menge des Itemuniversums repräsentieren
> Strukturierung von Facetten mithilfe eines Abbildungssatzes (Zusammenfassung mehrerer Facetten)
52
Annahmen der KTT
Erste zentrale Annahme der KTT:
Ein beobachteter Messwert einer Person in einem Test setzt sich additiv aus einem wahren Wert bzw. true score u einem Messfehler bzw error score zusammen
Zweite zentrale Annahme der KTT:
Der Mittelwert der Messfehler über unendlich viele Messungen desselben Merkmals bei einer Person, ist null
> Mittelwert einer unendlich großen Zufallsstichprobe von Messungen = Mittelwert der Po-pulation von Messungen / Erwartungswert der Messungen
Dritte zentrale Annahmen der KTT:
Der Erwartungswert der Korrelationen zwischen Messfehlern und wahren Werten ist null
Vierte zentrale Annahme der KTT
Der Erwartungswert der Korrelationen zwischen den Messfehlern ist null
53
Nebengütekriterien
Skalierung
Normierung
Testökonomie
Nützlichkeit
Zumutbarkeit
Unverfälschbarkeit
Fairness
54
Personen, die ausgewählt werden, obwohl sie nicht geeignet sind
55
Anforderungsanalyse
Im diagnostischen Prozess werden typischerweise verschiedenste Informationen erhoben. Im Rahmen von Anforderungsanalysen wird dabei u. a. festgelegt, welche Merkmale und Informationen erhoben werden und welche Inventare dazu herangezogen werden. Des Weiteren wird in der Anforderungsanalyse das Modell festgelegt, das den diagnostischen Entscheidungen zugrunde liegt. Dabei kann zwischen dem kompensatorischen Modell und dem konjunktiven Modell unterschieden werden.
56
Testprofil
57
Induktive Testkonstruktion, welches gehört dazu?
a. Prototypischer und lexikalischer Ansatz X
58
Klinische Urteilsbildung
Das Urteil aus einem diagnostischen Prozess wird intuitiv, subjektiv und informell gefällt
Testtheorie und Diagnostik
flashcards
Decks in class (7)
# Cards
