5. Reliabilität

Question 1

Definiere “Reliabilität”

Answer 1

Genauigkeit/Zuverlässigkeit,
mit der ein Test ein bestimmtes Merkmal misst

(unabhängig davon,
ob der Test das gemessene Merkmal messen sollte)

Question 2

Reliabilität = Freiheit von ____________

Answer 2

Messfehlern

Question 3

Reliabilität ist lediglich eine _____________

Answer 3

SCHÄTZUNG

Question 4

Worauf basiert die Schätzung der Reliabilität?

Answer 4

auf verschiedene Methoden

meist Korrelationen zwischen Tests

Question 5

Reliabilität beschreibt Anteil der Varianz der ___________________ an der Varianz der ______________________

Answer 5

(1) wahren Werte

(2) beobachteten Testwerte

Question 6

Nenne verschiedene VORAUSSETZUNGEN der Reliabilitätsschätzung.

Answer 6

• wiederholte Messungen unter vergleichbaren Bedingungen
• Unkorreliertheit der (unsystematischen) Messfehler
• Übereinstimmung wahrer Werte
• Gleichheit der Fehlervarianzen wiederholter Messungen

Question 7

Definiere “Äquivalenz”

Answer 7

Gleichwertigkeit von Messungen

Question 8

Wofür ist ÄQUIVALENZ wichtig?

Answer 8

für eine PRÄZISE SCHÄTZUNG der Reliabilität

Question 9

Nenne verschiedene Arten der Äquivalenz von messungen

Answer 9

• STRENG PARALLEL
• IM WESENTLICHEN PARALLEL
• TAU-ÄQUIVALENT
• IM WESENTLICHEN TAU-ÄQUIVALENT
• TAU-KONGENERISCH

Question 10

Erfasse die STRENG Parallele Äquivalenz

Answer 10

Alle Items:

• – gleiche wahre Werte (τ )
• – gleiche Fehlervarianzen

Question 11

Erfasse die IM WESENTLICHEN (essenziell) Parallele Äquivalenz

Answer 11

Alle Items:

• – gleiche Fehlervarianzen
• – wahren Werte um eine additive KONSTANTE verschoben

Question 12

Wie unterscheidet sich die streng parallele Messungen von den essenziell parallelen Messungen?

Answer 12

STRENG: gleiche wahre Werte
ESSENZIELL: wahre Werte um eine additive Konstante verschoben

(beide gleiche Fehlervarianzen)

Question 13

Was wird bei der streng parallelen Äquivalenz angenommen bzgl. Reliabilität?

Answer 13

Höhe der Reliabilität und Validität für beide Messungen GLEICH

Question 14

Im wesentlichen parallele Äquivalenz: wie überprüfbar?

Answer 14

konfirmatorische Faktorenanalyse

Question 15

tau-äquivalente messungen

Answer 15

Alle Items:

• – gleichen wahren Werte
• – unterschiedliche Fehlervarianzen

Question 16

im wesentlichen tau-äquivalente messungen

Answer 16

Alle Items:

• – wahren Werte um eine additive Konstante verschoben
• – unterschiedliche Fehlervarianzen

Question 17

tau-kongenerische messungen

Answer 17

• – unterschiedliche Maßeinheiten, Mittelwerte und Fehlervarianzen
• – wahren Werte sollen perfekt miteinander korrelieren

Question 18

Items sind kongenerisch, wenn sie ____________ sind

Answer 18

eindimensional

bei FA: Alle Items laden nur auf einem Faktor hoch

Question 19

Nenne vier Methoden der Reliabilitätsschätzung

Answer 19

1) Testhalbierung
2) interne Konsistenz
3) paralleltestmethode
4) retestmethode

Question 20

Methoden zur Reliabilitätsschätzung:

— Erfasse die Methode der TESTHALBIERUNG

Answer 20

1 Test 1mal an 1 Stichprobe

• Test wird nach bestimmten Methoden in zwei Testhälften unterteilt
• beide Testhälften sind PARALLEL

Question 21

Testhalbierung: nenne die Methoden zur Halbierung

Answer 21

• Odd-Even
• Zufällige Aufteilung
• Itemzwillinge
• Aufteilung nach Testzeit

Question 22

Wann wird die Odd-Even-Methode angewandt?

Answer 22

bei Schnelligkeitstests

weil Übungseffekte gleichmäßig verteilt sind

Question 23

Odd-Even-Methode ist nur dann angewandt, wenn…

Answer 23

beide Testhälften das selbe Merkmal messen

sonst nicht sehr aussagekräftig

Question 24

Methoden zur Reliabilitätsschätzung:

— Erfasse die Methode der INTERNEN KONSISTENZ

Answer 24

1 Test 1mal an 1 SP

• Überprüfung des inneren Zusammenhangs der Items unter Berücksichtigung der Testlänge
• so viele “Einzeltests” wie Items

Question 25

Interne Konsistenz: | Voraussetzungen?

Answer 25

Äquivalenz mind. im Wesentlichen tau-äquivalent (sonst Unterschätzung der R)

Question 26

Interne Konsistenz: | Berechnung?

Answer 26

Itemvarianzen | Itemkovarianzen

Question 27

Interne Konsistenz: | Anwendung?

Answer 27

-- homogene Merkmalsbereiche -- Messung nur einmal durchführbar (nicht bei Schnelligkeitstests)

Question 28

Methoden zur Reliabilitätsschätzung: | --- Erfasse die Methode der PARALLELTESTMETHODE

Answer 28

- Darbietung zweier Parallelformen | nicht immer möglich

Question 29

Welcher anderen Methode ähnelt die PARALLELTESTMETHODE?

Answer 29

esthalbierungsmethode

Question 30

Paralleltestmethode: Berechnung?

Answer 30

Korrelation der Rohwertpaare aus beiden Testformen

Question 31

Paralleltestmethode: Nachteile?

Answer 31

Übungs- und Transfereffekte wahrscheinlich | Kontrolle mittels „cross-over designs“

Question 32

Methoden zur Reliabilitätsschätzung: | --- Erfasse die Methode der RETESTMETHODE

Answer 32

- Wiederholte Darbietung des gleichen Tests (gleiche Bedingungen) - fester Zeitabstand- sorgfältig wählen!

Question 33

RETESTMETHODE: Berechnung?

Answer 33

Korrelation der Rohwertpaare zwischen der ersten und zweiten Testung

Question 34

RETESTMETHODE: Anwendung?

Answer 34

- - Speedtests (Lösung zur Reliabilitätsüberschätzung) - - Persönlichkeitstests - - Tests wo Übungseffekte keine große Rolle spielen

Question 35

Wieso sind Persönlichkeitstests gut für die Anwendung der Restest-Methode geeignet?

Answer 35

zeitlich stabile Merkmale

Question 36

RETESTMETHODE: | --- VORSICHT!!!!!

Answer 36

 Übungs-/ Erinnerungseffekte |  Korrelationskoeffizient wird mit größerem Zeitabstand Kleiner

Question 37

Testhalbierungskoeffizienten & Konsistenzkoeffizienten:

Answer 37

bei sehr homogenen Konstrukten: | --- gute Schätzer der Reliabilität

Question 38

Retestkoeffizient/Paralleltestkoeffizient: | Nachteile

Answer 38

- anfällig für Über- / Unterschätzung der Reliabilität - Übungseffekte, lange Zeitintervalle - Schwierigkeit, parallele Tests zu konstruieren...

Question 39

____________ ist unerlässlich bei Testung psychologischer Attribute

Answer 39

Retestkoeffizient

Question 40

Wie wird die Reliabilitätsschätzung präzisiert?

Answer 40

formale Modellierung

Question 41

TESTHALBIERUNGSKOEFFIZIENT: | Wie heißen die Korrekturformeln bei parallelen Messungen?

Answer 41

- Spearman-Brown-Formel | - Formel von Kristof

Question 42

Spearman-Brown-Formel & Formel von Kristof: | wann werden diese Korrekturformeln eingesetzt?

Answer 42

bei parallelen Messungen | Ermittlung des Testhalbierungskoeffizienten

Question 43

Spearmans-Brown-Formel & Formel von Kristoff: | welche Wird häufiger eingesetzt?

Answer 43

SPEARMAN-BROWN-FORMEL | FvK bei kleinem N

Question 44

TESTHALBIERUNGSKOEFFIZIENT: | Wie heißen die Korrekturformeln bei tau-äquivalenten Messungen?

Answer 44

- Formel von Gutmann | - Formel von Feldt

Question 45

Formel von Gutmann

Answer 45

- -- konservativer als Spearman-Brown | - -- Spezialfall des α-Koeffizienten von Cronbach für zwei Testhälften

Question 46

In welchem Fall wird die Formel von Feldt gegenüber die Formel von Gutmann bevorzugt?

Answer 46

bei ungleich großen Testteilen | --> sonst Unterschätzung der Reliabilität

Question 47

Wie heißt die "Standardmethode" bei der Ermittlung des Konsistenzkoeffizients?

Answer 47

Cronbach-alpha

Question 48

Cronbach-alpha beschreibt...

Answer 48

- Höhe der mittleren Item-zusammenhänge abhängig von Itemanzahl negativ korrelierte Items --> reduzieren Koeffizienten

Question 49

Cronbach-alpha ist negativ, wenn...

Answer 49

... Verhältnis zwischen: -- Summe der Einzelvarianzen und -- Gesamtvarianz > 1

Question 50

Nenne mögliche Gründe für ein negatives Cronbach-alpha.

Answer 50

* Negativ gepolte Items * hohe negative Trennschärfen * Items sind nicht eindimensional * Wenig Probanden * Ausreißerwerte oder Inkonsistenzen in der Beantwortung

Question 51

Wofür steht MIC?

Answer 51

Mittlere Interitem Correlation | kann von Cronbach-alpha diskrepant sein

Question 52

Nenne drei Einflussfaktoren der Reliabilität.

Answer 52

- Homogenität - Streuung der Testkennwerte - Messfehler

Question 53

Homogenität --->

Answer 53

- höhere interne Konsistenz - höheres cronbach-alpha - höhere reliabilität

Question 54

Hohe Streuung --->

Answer 54

erhöhte Reliabilität ABER Ausreißer, Teilpopulationen, unterschiedliches Ankreuzverhalten ---> geringere Reliabilität

Question 55

Messfehler --->

Answer 55

geringere Reliabilität

Question 56

nenne vier verschiedene Arten von Messfehler

Answer 56

* Zufällige Antwortmessfehler * Vorübergehende Fehler von Messungen * Systematische Fehler * Spezifische Messfehler

Question 57

Beschreibe wie die Reliabilität VERBESSERT werden kanan.

Answer 57

``` • Klare Test-/Itemformulierung • Klare Auswertungsvorgaben • Items mit geringer Trennschärfe entfernen (Achtung: Inhalt zu berücksichtigen!) • Testverlängerung - homogene Items ```

Question 58

Verbesserund der Reliabilität: | VORSICHT!!!!

Answer 58

Ziel ist NICHT... | hochreliable, aber inhaltsarme Skala!

Question 59

Warum ist die Beurteilung der Höhe von Testkennwerten schwierig?

Answer 59

abhängig von: - dem Kontext - der untersuchten Stichprobe (homogen/heterogen), - der Breite des gemessenen Merkmals (breiter oder enger Merkmalsausschnitt)

Question 60

was ist MIC?

Answer 60

Homogenitätsindex

Question 61

Nenne die 2 Hauptgründe, Items zu eliminieren

Answer 61

- statistische Kriterien | - inhaltliche Gründe

Question 62

________________ > Aussondern des Items

Answer 62

Revision der Itemformulierung

Question 63

Elimination von Items hat eine Wirkung auf die __________

Answer 63

Reliabilität

Question 64

Wann ist Elimination eines Items erlaubt?

Answer 64

wenn nach Elimination des Items Cronbach-Alpha erhöht wird

Question 65

Elimination: | _____________ darf nicht das ausschließliche Ziel sein

Answer 65

Homogenität der Skalen