La fidelité concerne quoi?
- la précision de notre mesure
- le niveau d’erreur de mesure qu’elle génère
- à quel point le score «vrai» est estimé avec justesse
L’expression «un test fiable» s’applique plutôt…
aux scores qu’ils génèrent
affirmer qu’un test est fiable sous-entend que fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs (degrés)
Fidelité est une question de..
degrés
Quelle est la théorie du score vrai?
score observé= score vrai + erreur de mesure
il y a tjrs de l’erreur de mesure dans tous les instruments
Quels sont les 2 grands types d’erreurs de mesure? *voir tableau
- aléatoires
- systématiques (biais)
Quels sont les 4 types de fidélité en fonction des sources d’erreur de mesure possibles?
1) Erreur d’échantillonnage de contenu –> instrurésultats cohérents au sens large sont souhaités–> coefficient des formes parallèles
2) Erreur d’échantillonnage dans le temps–> instru de traits/comp stables–> coefficient test-retest
3) incohérence interne, ou inter-items–> instru qui demande cohérence interne/inter-item–> coefficient moitié-moitié/cohérence interne
4) incohérence inter-informateurs–> instru qui demande degré élevé de subjectivité–>coefficient de fidélité inter-juges
Comment calculer la fidelité selon la théorie du score vrai (classique)?
rx= var (vraie) / var (erreur)
Qu’est-ce que la fidélité des formes parallèles?
- mesure classique
- 2 formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
- Instruments similaires conceptuellement, mais avec des items légèrement différents
- La question de l’échantillonnage de contenu est cruciale pour pouvoir interpréter avec confiance cette forme de fidélité –> pas juste au hasard mais faire une sélection quasi-aléatoire (tous les domaines/sous-domaines doivent être représentés proportionnellement)
- obj est de voir degré d’erreur dans contenu
- corrélation élevée=bonne précision/peu erreurs de mesure
- 0,70 au min
Qu’est-ce que la fidélité test-retest?
- pour construits relativement stables dans le temps (ex. traits)
- évalue les mêmes individus avec le même instrument à deux reprises dans le temps, ecq mêmes résultats (scores) ?
- intervalle de temps court (2 semaines à 1 mois)
- corrélation élevée= bonne précision/peu erreurs mesure
- 0,70=corrélation forte, instrument fiable
- si écart entre résultats (corrélation faible), difficile de déterminer raisons (intervalle? changement réel perso?)
- il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez «plastiques»/ changeants dans le temps (ex. N change plus que E)
EXAM*Qu’est-ce que la cohérence interne?
- items dans un test doivent être corrélés entre eux, forment un tout cohérent au niveau conceptuel et empirique
- faible corrélation entre items= ecq mesure vrm le mm construit?
- 2 stratégies: a) coefficient de fidélité moitié-moitié
b) coefficient de cohérence interne
EXAM Explique la stratégie du coefficient de fidélité moitié-moitié
- on divise en 2 les items d’une échelle est estime corrélation entre les 2 moitiés
- problème= avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité
EXAM Explique la prophétie de Spearman
- plus il y a d’items dans une échelle, plus sa fidélité est élevée
- Avec des échelles brèves : on peut appliquer la formule de la prophétie de Spearman-Brown pour déterminer quelle serait la corrélation avec plus d’items
- ra = 2 (rsh) / 1 + rsh
EXAM Explique la stratégie de cohérence interne
- estimer homogénéité des tous les items d’une échelle
- estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items
- 2 indices utilisés pour estimer cohérence interne:
a) Alpha de Cronbach
b) Kuder-Richardson-20
EXAM Qu’est-ce que le Alpha de cronbach?
- pour items continus
- assume que les items mesurent mm variable latente et que tous les items sont reliés de la mm façon à vari latente
- coefficient a est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)
- la covariance moyenne des items est divisée par la variance totale – donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée
- comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé
Qu’est-ce que le Kuder-Richardson-20
- Un cas spécial du alpha de Cronbach pour les items dichotomiques
Qu’est-ce que le Omega de McDonald?
- Contrairement à alpha et KR-20, avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle
- Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté – les saturations factorielles peuvent être différentes (*contrairement aux 2 autres)
- Estime la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20
- Alpha est un bon estimé de la fidélité seulement lorsque tous les items sont vraiment tau équivalents ***
- *différence avec autres test: je teste de façon explicite que items mesurent mm variable latente (font partie échelle) comme 1ere étape
*omega va avoir coefficient plus élevé
Qu’en est-il des coefficients de cohérence interne?
- varie entre 0 et 1
- coefficient de 1 est souhaité, suggère que items d’une échelle sont très cohérents/forment un tout; donc l’échelle génère peu d’erreurs de mesure
- Si près de 0, les items ne sont pas homogènes/suggère que les questions de l’échelle sont trop indépendantes/ne vont pas ensemble ; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs
- coefficient de 0,70 et plus est considéré satisfaisant
- en recherche on accepte 0,60
- en clinique min 0,80
- 0,95= peut signifier une redondance –> principe de parcimonie (on enlève questions)
- si ondices pas élevés pour échelles avec peu d’items=signifie pas de facto problème de précision (prophétie de spearman l’explique) –> on peut utiliser transformation de Spearman-Brown pour connaitre la fidélité prédite de l’échelle si elle avait davantage d’items
Qu’est-ce que la fidélité inter-juges?
- vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents évaluateurs/informateurs sont corrélés
- corrélation entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs
- cruciale en observation
Quelle est la différence entre fidélité inter-juges et accord inter-juges?
- fidélité= degré de cohérence
- accord= mesure de degré auquel les informateurs sont en accord exactement, ne considère pas variance
Pour quel type d’instruments on obtient généralement des corrélations plus faibles pour la fidélité inter-juges?
instruments dimensionnels
- pas nécessairement mauvais, c’est attendu souvent –> différents contextes=différents comp –> différents informateurs procurent donc meilleure validité écologique
- ex. méta-analyse de Achenbach et De Los Reyes
On maximise l’accord inter-juges si informateurs…
-Connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui assez élevé)
- Proviennent d’un même contexte d’observation (ex. deux enseignants)
- Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables)
Qu’est-ce que l’erreur standard de mesure (erreur type de mesure)
- une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle
- En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs
- estimé avec coefficient de fidelité
- inversement lié à la fidélité (plus la fidélité est élevée, moins l’erreur standard de mesure est grande)
Qu’est-ce que les intervalles de confiance?
- ESM servent a construire un intervalle de confiance autour du score observé
- un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée
- Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure
- intervalle de confiance à 60% = Il y a 60% des chances que
mon score se retrouve dans cet intervalle - sert aussi à faire comparaison des scores de 2 échelles selon chevauchement des IC (si chevauchent= pas de différence significative)
Qu’est-ce que l’erreur standard sur la différence?
- ESM peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de 2 échelles
- L’erreur standard sur la différence (ESdiff) est calculée à partir des ESM procurés par les auteurs d’un test
