HC8 Begripsvaliditeit

Question 1

Korte omschrijving validiteit voor mezelf

Answer 1

Als je per test steeds op dezelfde score uitkomt heb je betrouwbaarheid –> test-hertest
Als je systematisch buiten het doel scoort heb je geen validiteit, bijv. systematisch boven het doel (dit is dus wel betrouwbaar, als het opdezelfde plek is)
Als je willekeurig rondom het doel scoort is er nauwelijks sprake van validiteit, omdat je gemiddeld gezien dan wel uitkomt in het doel (maar dit is dus niet betrouwbaar, want je komt niet door de tes-hertest)

Question 2

Extra uitleg validiteit voor mezelf

Answer 2

Structurele vertekening van de waardes is niet valide, wanneer de waardes inconsistent verschillen wordt het een heel klein beetje valide. Wanneer de scores altijd zitten waar je wilt dat ze zitten dan is je test valide.

Question 3

Validiteit

Answer 3

Mate waarin de test aan zijn doel beantwoord
- validiteit hangt dus af van het doel (niet de test)
- testgebruik kan valide zijn, een test op zichzelf niet

Question 4

Twee soorten validiteit

Answer 4

Begripsvalditeit en criteriumvaliditeit
–> deze zijn aan elkaar gerelateerd

Question 5

Begripsvaliditeit
- constructvalidity

Answer 5

In hoeverre is het ‘hypothetisch begrip’ verantwoordelijk voor de testscore?
- wat meet mijn test precies?
- meet de test alle onderdelen van wat ik wil meten?
- centraal bij wetenschappelijk onderzoek

Question 6

Criteriumvaliditeit

Answer 6

Hoe goed voorspelt een test gedrag of prestaties buiten de testsituatie?
- kan ik mijn test gebruiken om iets anders te voorspellen?
- centraal bij praktisch gebruik van de test

Question 7

Relatie begripsvaliditeit en criteriumvaliditeit

Answer 7

• zonder begripsvaliditeit geen criteriumvaliditeit
• zonder criteriumvaliditeit geen begripsvaliditeit

Question 8

Vijfhoek van begripsvaliditeit

Answer 8

1. inhoud van de test
2. samenhang van de testonderdelen
3. responsprocessen
4. consequenties van testgebruik
5. samenhang met andere constructen

Question 9

Inhoud van de test
- inhoudsvaliditeit (content validity)

Answer 9

• inhoud items moet aansluiten bij te meten construct
• inhoud items moet alléén aansluiten bij dit construct (geen irrelevante items)
• set van items moeten samen het construct goed afdekken (alle aspecten aan bod in goede balans)

Question 10

Face validity

Answer 10

Inhoudsvaliditeit zoals beoordeeld door leken –> vinden andere mensen dat de test meet wat die zou moeten weten (bijv. is CITO goed voor intelligentie/vaardigheid)
- sluit aan bij inhoudsvaliditeit
- niet van belang voor psychometrische kwaliteit
- soms wel belangrijk bij praktisch gebruik voor acceptatie van de test
- goede inhoudsvaliditeit zorgt voor goede face validity

Question 11

Positive manifold

Answer 11

Positieve correlaties tussen alle items

Question 12

Samenhang van de testonderdelen

Answer 12

• positive manifold
• belangrijk voor betrouwbaarheid én begripsvaliditeit
• unidimensionele test gewenst
• dimensionaliteit van een test onderzoek je met factoranalyse –> cruciaal voor validering
• onverwachte multidimensionaliteit kan ten koste gaan van fairness
• cronbachs alfa zegt niks over multidimensionaliteit
  –> meten individuele items wat ze moeten meten?

Question 13

Responsprocessen bij maximum-performance tests

Answer 13

• items zijn opgesteld om bepaalde responsprocessen ‘uit te lokken’
• maximum performance test
• als dit niet opgaat gaat het ten koste van de validiteit van de meting

Question 14

Maximum performance test

Answer 14

• Maximale inzet op oplossen vraagstuk
• Vaak één bedoeld pad naar de oplossing toe
• Volgen van het juiste pad leidt tot het goede antwoord

Question 15

Maximale inzet oplossen vraagstuk

Answer 15

• aanname is dat op een maximum performance test iedereen zich maximaal inzet
• in dat geval geeft prestatie hopelijk goede indicatie van wat je maximaal kunt
• als niet iedereen zich maximaal inzet gaat dit ten koste van de validiteit van de meting
• valt met ‘process data’ over o.a. responstijden deels te onderzoeken

Question 16

Een pad naar de oplossing

Answer 16

• prestaties zijn alleen goed vergelijkbaar als mensen hetzelfde proberen te doen
• zo heb je verschillende manieren voor het oplossen van een rekensom
• dan meet je niet bij iedereen dezelfde vaardigheid
• item-analyse

Question 17

Responsprocessen bij typical-performance tests

Answer 17

• typical-performance items bedoeld om zicht te krijgen op iemands ‘ware’ attitude of persoonlijkheid
• in de praktijk kunnen een hoop responsstijlen de validiteit bedreigen

Question 18

Verschillende responsstijlen

Answer 18

• sociale wenselijkheid
• instemmendheid
• extreme vs milde antwoordtendentie

Question 19

Sociale wenselijkheid

Answer 19

• antwoorde om een positiever beeld van jezelf te creeëren
• corrigeren hiervoor is lastig
• je kunt ook het tegenovergestelde hebben (provoceren)

Question 20

Instemmendheid

Answer 20

• Sommige mensen sneller geneigd met stellingen in te stemmen dat ze te weerspreken
• gebruik hiervoor ook contra-indicatieve items om deze mensen eruit te filteren

Question 21

Extreme vs milde responsstijl

Answer 21

• meest extreemste optie kiezen bij bijv. Likert
• of juist vaak de neutrale optie kiezen
• op te lossen met geavanceerde statistische methodes

Question 22

Invloed testgebruik op validiteit

Answer 22

• Validiteit hangt samen met hoe een test gebruikt wordt
• verkeerd of oneerlijk gebruik zorgt voor een invalide meting
• begripsvaliditeit?

Question 23

Samenhang met andere constructen

Answer 23

• begripsvaliditeit draait om de vraag of de test het beoogde construct meet
• vanuit psychologische theorie weten we hoe dit construct met andere constructen samenhangt
• samenhang tussen constructen en hun bijbehorende tests in een nomologisch netwerk

Question 24

Empirisch onderzoeken nomologische netwerken

Answer 24

Als de test meet wat hij moet meten, dan hangt de testscore…
- convergente validiteit
- discriminate validiteit

Question 25

Convergente validiteit

Answer 25

Als de test meet wat hij moet meten, dan hangt de testscore stekr samen met scores op tests die hetzelfe construct meten en samen met scores op tests die gerelateerde constructen meten

Question 26

Discriminant validiteit

Answer 26

Als de test meet wat hij moet meten, dan hangt de testscore niet samen met scores op tests die ongerelateerde constructen meten

Question 27

Multi-trek-multi-methode onderzoek (MTMM)

Answer 27

- onderzoek naar meerdere constructen (multi-trek) - iedere trek wordt met meerde methodes gemeten (multi-methode) --> correlatie tussen iedere trek-methode combinatie met iedere andere combinatie wordt bepaald

Question 28

Resultaten van MTMM onderzoek

Answer 28

#trekken x #methoden = #tests Je hoopt op hoge correlatie tussen de metingen (convergente validiteit) en lage correlatie tussen metingen van verschillende constructen (discriminant validiteit)

Question 29

Methodeneffecten

Answer 29

- samenhang tussen metingen van ongerelateerde constructen vanwege het feit dat dezelfde meetmethode is gebruikt - onwenselijk, want de constructen zelf hangen niet samen - zorgt voor schijnsamenhang

Question 30

MTMM correlatiematrix

Answer 30

Betrouwbaarheid van de tests staan op de diagonaal --> correlaties tussen de testen staan op de buitendiagonaal