Wann ist ein Test valide?
-“gültig” wenn er das misst was er messen soll
- wenn die spezifischen Interpretationen von Testwerten in Hinblick auf die beabsichtigten Verwendungen eines Tests gerechtfertigt sind
- Qualitätsmerkmal hinsichtlich Zulässigkeit von Testwertinterpretationen
Welche Bereiche der Testwertinterpretation gibt es?
- Bewertung: Vergleich, abschließende Bewertung
- Verallgemeinerung Interpret Item -> auf andere Items
Testitems ensprechen Inhalte eines Lehrplans - Extrapolation auf andere Bereiche außerhalb Tests:
zB höherer Testwert -> höherer Erfolg - kausales Erklären -> Indikator für kausales Konstrukt
zB testwert Indikator für Fähigkeit - Entscheidungsfindung: mögliche Konsequenzen als Folge des Testergebnis, schlusfolgernd
-> Validierung: Überlegung welche Bereiche?
T
Welche Merkmalsdefinitionen kennen wir?
operationale Merkmalsdefinition
theoretische Merkmalsdefinition
-> fließende Grenzen
Was ist eine operationale Merkmalsdefinition?
- Testaufgaben repräsentieren Anforderungsbereich direkt
- bezieht sich zunächst nur auf spezifische Tests/Inhalte
zB Merktest für Kurzzeitgedächtnis, Fragebogen zu Einstellungen
Was ist eine theoretische Merkmalsdefinition?
Theorien herangezogen die spezifizieren worauf bestimmte Unterschiede zwischen Personen zurückgeführt werden können
zB Eysenck (1981): Annahmen neuronale Strukturen -> Persönlichkeitsdimension Extraversion
Welche Arten der Validität kennen wir?
- Inhaltsvalidität
- Kriteriumsvalidität
- Konstruktvalidität
weitere Begriffe:
- Übereinstimmungsvalidität
- prognostische Validität
- diskriminante Validität
- konvergente Validität
- Augenscheinvalidität
Was ist Inhaltsvalidität? Wie ist sie messbar?
- misst Test wirklich interessierendes Merkmal?
- unterschiedliche Antworten entsprechen unterschiede im interessierenden Merkmal?
-> bezieht sich vA auf Verallgemeinbarkeit: sind ausgewählte Items eine repräsentative Auswahl
-> nicht messbar, nur durch gute theoretische Fundierung und daran orientierte Itemkonstrukton gebunden
Was ist Augenscheinvalidität?
Gibt an wieweit der Validitätsanspruch vom bloßen Augenschein her einem Laien gerechtfertigt erscheint
Was ist Konstruktvalidität? Welche Bereiche unterscheidet man? Wie ist sie Messbar?
- Zusammenhang zwischen Items und Merkmalen wissenschaftlich fundiert
- Ergebnisse vor Hintergrund eines theoretischen Konstrukts zu interpretieren
- Bereich der Theorie/Bereich der Beobachtung = hypothetisch deduktiver Ansatz
-theoretische Zusammenhänge als Axiome formuliert = Korrespondenzregeln, verknüpfen Theorie und Beobachtung - vorhergesagte Zusammenhänge: empirische Gesetze -> werden durch empirische Beobachtungen geprüft
- nomologisches Netz aus Korrespondenzregeln und daraus abgeleiteten epirischen Gesetzen
- schrittweise Prüfung des nomologischen Netzes = Ziel der Prüfung der Konstruktvalidität
Messmethoden: diskriminante/konvergente Validität, Multi-Trait-Multi-Method-Analysen, Analyse von Antwortprozessen (zB laut denken), verglich von theoretisch erwarteten Itemschwierigkeiten mit empirisch ermittelten
- nie engültig belegt oder gar bewiesen; nur genau so lange gerechtfertigt bis sie falsifiziert wird
Problem: früher oft Mülleimerkategorie: beliebige Korrelationen als Belege für Konstruktvalidität bezeichnet
Womit beschäftigt sich der Bereich der Theorie der Konstruktvalidität?
- latente Konstrukte und deren Zusammenhänge
- im Idealfall Zusammenhänge durch Axiome formalisiert
Was besagen die Korrespondenzregeln bei der Konstruktvalidität?
geben an wie theoretische Zusammenhänge auf den Bereich des Beobachtbaren auswirken -> Zusammenhänge zwischen manifesten Variablen, Zusammenhänge zwischen Gruppen
-> Zusammenhänge empirisch weiter geprüft, überprüft ob theoretische Vorhersagen mit Empirie übereinstimmt
Wann wird von konvergenter Validität gesprochen?
es wird eine relativ hohe Korrelation zwischen zwei Tests gemessen -> Konstruktvalidität
Wann wird von diskriminanter Validität gesprochen?
es wird eine relativ niedrige Korrelation zwischen zwei Tests gemessen -> Konstruktvalidität
Was ist eine Multi-Trait-Multi-Method Matrix (MMTM)?
- auf Korrelationen basierendes Vorgehen
- sowohl interessierende als auch konkurrierende Traits mit unterschiedlichen Methoden erfasst und Ergebnisse korreliert
-> Werte für konvergente und diskriminante Validität
-> Matrix sollte bestimme Bedinungen erfüllen:
1. mono trait, mono method > mono trait, hetero method = retest
2. mono trait, hetero method > hetero trait, mono method
3. hetero trait, mono method > hetero trait, hetero method
Was ist Kriteriumsvalidität?
Test hat Kritval wenn von Testwert erfolgreich auf ein Kriterium geschlossen werden kann (=Verhalten außerhalb der Testsituation)
-> Enge der Beziehung und Belastbarkeit von Testwert und externes Verhalten bestimmt Kritval
größte Bedeutung: welche Außenkriterien gewählt?
-> muss gut begründet und nachvollziehbar sein
- können zeitlich parallel (übereinstimmungsval) existieren
- können sich auf zukünftige Ausprägungen eines Merkmals beziehen (prognostische Validität)
Wie kann die Kriteriumsvalidität praktisch berechnet werden?
Korrelation von Testergebnis (X) und Außenkriterium (A)
vâl=r(X,A)
problematisch: Validität wird durch zwei Messfehler “verdünnt” -> fällt wegen Messfehler geringer aus als in Wirklichkeit
vâl=r(X,A) ≤ vâl=r(τₓ,τₐ)
Welche Verdünnungsformeln kennen wir und wofür werden sie angewendet?
theoretische Beseitigung des Messfehlers
- beseitigung beider Messfehler:
r(τₓ,τₐ)= r (X, A) / (√rêl(X) * √rêl(A)) - beseitigung das Messfehlers vom Test:
r(τₓ,A)= r (X, A) / √rêl(X) - Beseitigung des Messfehlers vom Kriterium:
r(X, τₐ)= r (X, A) / √rêl(A)
Was ist die Grundrate bzw. Grundquote und was ist die Selektionsrate bzw. Selektionsquote?
- Individuum muss über bestimmte Mindestausprägung eines Merkmals verfügen um für Anforderung X geeignet zu sein
- je nach Ausprägung ist nur ein gewisser Anteil der relevanten Population wirklich geeignet
-> Anteil = GR bzw. GQ - auf Grund Testergebnis bestimmter Anteil als geeignet beachtet -> SR bzw. SQ
Wie läuft der argumentatnionsbasierte Ansatz der Validierung ab?
a) Spezifikation einer angestrebten Testwertinterpretation
-> muss für jede Interpretation separat erfolgen
Vorsicht bei unkritischen Generalisierungen
b) Identifikation und Formulierung von empirisch prüfbaren Grundannahmen, erschöpfende Grundannahmen
-> ist Konstrukt und Ausprägungsspektrum hinreichend gut repräsentiert?
-> Konstrukirrelevante Varianz: zusätzliche messfehlerhafte Varianzquellen
-> Konstruktunterrepräsentation: wesentliche Aspekte nicht abgedeckt
-> empirisch prüfbar zB konkurrierende Hypothesen
c) Sammlung empirischer Evidenz mit der Grundannahmen gestützt oder widerlegt werden können
-> Testinhalte, Antwortprozesse, interne Struktur der Daten, Beziehungen der Testwerte zu anderen Variablen
-> sind nicht Indizien für unterschiedliche Validitätsarten sondern integrativ zu beurteilen
d) abschließende integrative Beurteilung der Angemessenheit der intendierten Teswertinterpretation
-> alle Versuche die relevanten Grundannahmen zu widerlegen erfolglos blieben
-> Validierung:
-Prozess unterstützende Belege (Evidenz) für die beabsichtigte Testwertinterpretation zu sammeln
-immer nur vorläufigen Charakter
- ähnelt theoriegeleiteter und hypothesenbasierter Forschung
- kein immer gleiches Routineverfahren
- folgt dem Falsifikationsprinzip
Wie hat sich das Konzept Validität mit der Zeit verändert?
heute: zusammenfassendes Gütekriterium, integrativ
Verwendung und Belastbarkeit von Testwertinterpretationen
früher: Eigenschaft eines Tests
“Validität eines Tests” ist FALSCH
spezifische, explizit zu definierende Interpreationen und Verwendungen von Testwerten
-> jede Interpretation erfordert separate Prüfung der Validität
Welche Arten der Validität kennen wir?
- Kriteriumsvalidität (Aupenkriterium)
- Übereinstimmungsvalidität
- prognostische Validität
- inkrementelle Validität (Maß dafür wie der Test die Vorhersage eines bestimmten Kriteriums verbessert)
- Inhaltsvalidität (Experten)
- Augenscheinvalidität (Laien)
- konvergente Validität
- diskriminante Validität
- faktorielle Validität: Befunde der CFA die Struktur bestätigen
—> zusammengefasst als gemeinsames Qualitätsurteil
Was ist der Validitätskoeffizient nach Taylor Russel? Wie beeinflusst sie Kosten-Nutzen Rechnungen?
Was ist das Validitätsargument?
Gesamtheit der Argumentation zur Stützung der Validität einer spezifischen Testwertinterpretation
Was ist eine erklärende Inferenz?
Annahme dass Personen mit niedrigen Testwerten eine niedrige, Personen mit hohen Testwerten eine hohe Ausprägung im latenten Merkmal
