Validiteit
geldigheid van metingen, ofwel de mate waarin een meetsysteem meet wat deze zou moeten meten
1. Validiteit is het ontbreken van systematische fouten. Selectie- en informatiebias zijn systematische fouten.
2. Bij categoriale metingen van dichotome aard (ja/nee) kunnen proefpersonen in de verkeerde categorie worden geplaatst. Dit leidt tot informatiebias en een invalide uitkomst. Ook het meetinstrument die je gebruikt om data te meten kan invalide zijn wat ook kan leiden tot misclassificatie.
betrouwbaarheid
de mate waarin je bij verschillende metingen van een object dezelfde uitkomst krijgt
1. Een meetinstrument of -systeem is betrouwbaar wanneer op verschillende momenten hetzelfde object wordt gemeten en dit leidt tot dezelfde uitkomst (voedingsvragenlijsten zijn onnauwkeurig, Bloeddruk is ook onnauwkeurig maar BMI is zeer nauwkeurig)
2. Het kan ook zo zijn dat je betrouwbare (dus reproduceerbare) uitkomsten krijgt, maar dat de uitkomst niet valide is omdat het verkeerde meetinstrument gebruikt is.
Reden ontwikkeling nieuwe instrumenten
- sommige kenmerken bestaan er nog geen instrumenten
- meetinsturmenten blijken onbetrouwbaar
- kan goedkoper
- nieuwe technologie
- om invasieve methoden te vermijden
Maten die gebruikt worden om validiteit en betrouwbaarheid te berekenen
- Cohen’s k
- Bland Altman plot
- Diagnostische waarde
- criteriumvaliditeit
- content- en constructvaliditeit
Cohen k
- meet de mate van overeenstemming tussen twee verschillende professionals (interobservervaliditeit) of de mate van overeenstemming van een professional op twee verschillende tijdspunten (test-hertest = precisie). Overeenstemming kan gebaseerd zijn op toeval en deze maat corrigeert voor het toeval dat twee verschillende mensen of twee verschillende tijdspunten overeenkomen.
- Wordt gebruikt voor meetinstrumenten van dichotome uitkomsten (bijvoorbeeld de acute fase van een beroerte vaststellen aan de hand van pupilreflexen of galstenen aflezen aan de iris).
- Kan op twee manieren bepaald worden: test-hertest of inter-observer.
Cohen k formule
gevonden overeenstemming - toevalsoverstemming / 1- toevalsovereenstemming
gevonden overstemming berekenen
agree yes + agree no / total
toevalsoverstemming
agreed yes R1 / total x agreed yes R2 / total + Agreed no R1 / total x agreed no R2 / total
definitie Cohen
- k = -1 duidt op perfecte tegenspraak
- k = 0 duidt op geen enkel verband tussen twee beoordelaars
- k=1 duidt op perfecte overeenstemming
- k = 0.7 is normwaarde
Bland-Altmanplot
vergelijkt een nieuw meetinstrument met een ‘gouden standaard’ (een vorm van interobservervaliditeit). Oftewel: is het nieuwe meetinstrument valide?
1. Wordt gebruikt voor meetinstrumenten van continue uitkomsten
2. Kan gebruikt worden voor test-hertest (vergelijking van twee metingen met een meetinstrument = precisie) of interobservervaliditeit (twee observatoren die dezelfde uitkomst meten of twee instrumenten).
3. In een Bland-Altmanplot wordt het verschil van twee instrumenten (y-as) geplot tegen het gemiddelde van de twee instrumenten (x-as). De ‘Limits of Agreement’ geven aan binnen welke marge 95% van de gevallen ligt.
4. Ook wordt het gemiddelde van het verschil geplot. Dit is de bias. Als deze waarde verder van 0 ligt, geeft dit aan dat de twee meetinstrumenten systematisch verschillende resultaten geven.
5. De bias zou hetzelfde moeten blijven voor alle uitkomsten die een meetinstrument zou kunnen geven. Dan is de bias onafhankelijk van de data. In het voorbeeld van het bepalen van longvolume neemt de bias toe naarmate het longvolume groter wordt. Dan wordt de bias dus afhanklijk van het longvolume. Een blaastest is dus alleen geschikt om longvolumes tot 3L te bepalen.
Interpretatie Bland-Altman
- Als de overeenkomstgrenzen smal zijn, wijst dit op een goede overeenkomst tussen de twee methoden. Brede grenzen duiden op een grotere variabiliteit en mogelijk een minder goede overeenkomst.
- Als de punten willekeurig verspreid zijn rond het gemiddelde verschil, suggereert dit dat er geen systematische fout is. Als de punten een trend vertonen (bijvoorbeeld als de verschillen groter worden naarmate de gemiddelde waarde toeneemt), kan dit wijzen op een systematische fout tussen de methoden.
Diagnostische waarde
kwantificatie van de validiteit van een diagnostische test (bepaling of iemand ziek of niet-ziek is dus wordt gebruikt voor dichotome uitkomsten).
1. De diagnostische waarde kan een positief voorspellende (PVW) of een negatief voorspellende waarde (NVW) zijn en wordt uitgedrukt als percentage. Belangrijk zijn de begrippen: sensitiviteit, specificiteit en prevalentie
Sensitiviteit
de kans dat een bestaande aandoening daadwerkelijk aangetoond wordt, het herkennen van gevallen van de desbetreffende ziekte
Specificiteit
de kans dat een afwezige aandoening ook daadwerkelijk een negatief testresultaat oplevert. Oftewel, de test is niet helemaal specifiek voor de gezochte ziekte.
Prevalentie
het aantal zieken in een bepaalde periode
NVW
terechte negatieve testen / totaal negatieve testen
PVW
Terechte positieve testen / Totaal positieve testen
Voorkeur voor hoge PVW en NVW
- bij matige PVW is er grote kans dat je niet ziek bent en kan je vertrouwen verliezen in een diagnostische test
- bij matige NVW is er grote kans dat je wel ziek bent. en kan je andere mensen besmetten
Diagnostiek optimaliseren door
- verhogen sensitiviteit en specificiteit –> in geval van corona, PCR-test boven een zelftest, verbeteren techniek
- testen bij optimale prevalentie –> alleen testen bij klachten
Criteriumvaliditeit
om de validiteit van een diagnostische test te kunnen beoordelen in een valideringsonderzoek, wordt de testuitslag in een bepaalde populatie vergeleken met de uitkomst van een ander meetinstrument.
1. In het ideale geval is dit andere meetinstrument een ‘gouden standaard’. Hierbij gaat het om een instrument dat op een objectieve manier de aanwezigheid van dezelfde aandoening meet en waarvan men weet dat het een juist beeld geeft van de werkelijkheid (=valide). Dit kan bij objectief, direct waarneembare kenmerken.
2. De gouden standaard is doorgaans duur en invasief, waardoor er behoefte is aan een vergelijkbare test. Met het resultaat van de vergelijking kan men rechtvaardigen dat de eenvoudige test voortaan gebruikt kan worden bij patiënten die lijken op degenen bij wie het valideringsonderzoek is uitgevoerd. Dan spreekt men van een valide diagnostische test. Toevallige meetfouten hoeven geen nadelige gevolgen te hebben voor de validiteit, zolang de test maar vaak genoeg herhaald wordt.
Content- en constructvaliditeit
wordt gebruikt om de validiteit van een nieuwe test te bepalen wanneer er geen gouden standaard aanwezig is (dus er is geen vergelijkingsmateriaal). Dit is geval bij subjectief, indirect waarneembare kenmerken, zoals bijvoorbeeld depressie.
content validiteit
moet je nagaan of alle relevante aspecten in het instrument zijn verwerkt (meet je wat je wilt meten?). Daarvoor is expertise nodig van deskundigen.
1. In een nieuwe vragenlijst over depressie moeten alle vragen over de symptomen van depressie gaan en mogen er geen belangrijke aspecten missen.
Convergente constructvaliditeit
kun je scores van meetinstrumenten van verwante ziektebeelden vergelijken (bijvoorbeeld depressie en angst) om een beter beeld te krijgen of je test valide is.
Divergente constructvaliditeit
Hierbij vergelijk je je score van jouw meetinstrument met de score van een meetinstrument die een kenmerk heeft gemeten waarvan je niet het idee hebt dat dat kenmerk samenhangt met depressie. Deze scores dienen niet te veel overeen te komen.
