Cours 4

Question 1

Qu’est-ce que la fidélité dans le contexte des instruments de mesure?

Answer 1

La fidélité concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère.

Question 2

Bien que l’affirmation « un test fiable » est commune, cette qualité en fait ne s’applique pas au _____ en tant que tel, mais s’applique aux _______ qu’ils génèrent.

Answer 2

test| scores

Question 3

Vrai ou Faux : Affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices.

Answer 3

Vrai :) ex: un instrument de musique accordé (piano ou guitare)

Question 4

La fidélité n’est pas un concept d___________ (ex: fiable vs non fiable) : tout est une question de d______.

Answer 4

dichotomique | degré

Question 5

Cruciale en évaluation psychoéducative : sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les v___________ des scores (entre différents individus, ou entre différents moment de mesure) résultent de différences r_________ dans le construit qui nous intéresse ou plutôt d’i__________________ de l’instrument de mesure qu’on utilise.

Answer 5

variations | réelles | imprécisions (erreurs)

Question 6

Quelle est la théorie du score vrai (calcul)?

Answer 6

score observé = score vrai + erreur de mesure

Question 7

Qu’on le veuille ou non, il y a ____________ de l’erreur de mesure, dans _____ les instruments !!! (Question d’exam probable!)

Answer 7

toujours | tous

Question 8

Quels sont les deux grands types d’erreurs de mesure?

Answer 8

1. Aléatoires
2. Systématiques (ou biais)

Question 9

Qu’est-ce qui définit les erreurs de mesure de type aléatoire?

Answer 9

• Fluctuations statistiques NON REPRODUCTIBLES; toujours présentes pour tous les instruments
• Autant au-dessus qu’en dessous de la moyenne
• Distribuées normalement

Question 10

Quelle est la cause des erreurs de mesure de type aléatoire?

Answer 10

La variation dans l’échantillonnage.

Question 11

Comment peut-on minimiser/évaluer les erreurs de mesure de type aléatoire (3)?

Answer 11

• Plus grands échantillons
• Plus de moments de mesure
• Peuvent être plus facilement estimes / contrôlées statistiquement

Question 12

Qu’est-ce qui définit les erreurs de mesure de type systématique (ou biais)?

Answer 12

• Fluctuations CONSTANTES ET REPRODUCTIBLES, qui sont toujours dans la même direction. Pas dans tous les instrument.
• Surestimation ou sous-estimation constante des paramètres (ex moyenne)
• Pas distribuées normalement

Question 13

Quelles sont les causes des erreurs de mesure de type systématique (ou biais)?

Answer 13

• Mauvaise utilisation de l’instrument
• Conditions d’administration inadéquates
• Imperfections de l’instrument

Question 14

Comment peut-on minimiser/évaluer les erreurs de mesure de type systématique (ou biais) (2)?

Answer 14

• Difficile à détecter, souvent ne sont pas connues
• Plus difficile à quantifier statistiquement

Question 15

Quel type d’instruments sont-ils sujet à l’erreur d’échantillonnage de contenu et quel indice de fidélité est utilisé pour estimer cet erreur?

Answer 15

• Instruments pour lesquels des résultats cohérents au sens large sont souhaités
• Indice de fidélité : Coefficient de fidélité des formes parallèles (ou coefficient de congruence)

Question 16

Quel type d’instruments sont-ils sujet à l’erreur d’échantillonnage dans le temps et quel indice de fidélité est utilisé pour estimer cet erreur?

Answer 16

• Instruments de mesure de traits ou comportements relativement stables
• Indice de fidélité : Coefficient de fidélité test-retest (ou de stabilité temporelle)

Question 17

Quel type d’instruments sont-ils sujet à l’incohérence interne ou inter-items et quels indices de fidélité sont utilisés pour estimer cet erreur?

Answer 17

• Instruments qui requièrent une grande cohérence interne ou inter-item
• Indice de fidélité : Coefficient de fidélité moitié-moitié et Coefficient de cohérence interne

Question 18

Quel type d’instruments sont-ils sujet à l’incohérence inter-informateurs et quel indice de fidélité est utilisé pour estimer cet erreur?

Answer 18

• Instruments qui impliquent un degré relativement élevé de subjectivité
• Indice de fidélité : Coefficient de fidélité inter-juges (ou accord inter-juges)

Question 19

Vrai ou Faux : il est possible d’évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne.

Answer 19

Faux! C’est impossible. On doit collecter les données d’un échantillons d’individus qui sont évalués avec l’instrument.

Question 20

Avec des données (donc la variance), la fidélité selon la théorie du score vrai devient représentée de quelle façon?

Answer 20

r = var vraie / var erreur

Question 21

Vrai ou Faux : Au sein de la théorie du score vrai, plus la part de variance erreur sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la variance vrai sera grande, plus le coefficient s’approchera de 0.

Answer 21

Faux! C’est le contraire!

Question 22

Quelle est la définition de la fidélité à la base?

Answer 22

C’est qu’un instrument devrait donner les mêmes résultats d’une administration à l’autre.

Question 23

Comment mesure-t-on la fidélité des formes parallèles?

Answer 23

• Il s’agit d’une mesure « classique » de la fidélité
• On développe deux formes équivalentes du mm instrument et on estime la corrélation des scores entre les deux formes pour les mm individus
• Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
• On ne peut pas simplement choisir des items au hasard dans une grande banque d’items : il faut faire une sélection quasi-aléatoire
  *Tous les domaines spécifiques du construit doivent être représentés proportionnellement

Question 24

La question de l’é____________________ de c____________ est cruciale pour pouvoir interpréter avec confiance la fidélité des formes parallèles.

Answer 24

échantillonnage de contenu

Question 25

Quel est l'objectif de mesurer la fidélité des formes parallèles?

Answer 25

Comme les deux formes parallèles sont supposées mesurer le construit de la mm façon, l'objectif est donc d'estimer le degré d'erreur dans le contenu.

Question 26

Comment interprète-t-on les données de la fidélité des formes parallèles? (que suggère une corrélation élevée et quel est le coefficient min attendu)

Answer 26

- Corrélation élevée suggère bonne précision, peu d'erreurs de mesure - Pas vrm de coefficient min attendu, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (ex: réaction différente aux deux formes, fatigue, etc.) - On s'attend quand mm typiquement à un coefficient de 0,70 au min

Question 27

Comment mesure-t-on la fidélité test-retest? Et quel genre d'instruments sont privilégiés?

Answer 27

- On mesure certains instruments qui prétendent mesurer des construits relativement stables dans le temps (ex: traits de personnalité) - Si on évalue les mm individus avec le mm instrument à deux reprises dans le temps, est-ce qu'ils obtiennent les mm résultats (scores)? - Pour l'estimer, l'intervalle de temps doit être assez court (environ 2 semaines à 1 mois)

Question 28

Comment interprète-t-on les données de la fidélité test-retest? (que suggère une corrélation élevée et quel est le coefficient min attendu)

Answer 28

- Une corrélation élevée suggère une bonne précision, peu d'erreurs de mesure - Pas vrm de coefficient min, mais si la corrélation est forte (au moins 0,70), l'instrument est considéré fiable - Mais attention: s'il y a un écart entre les résultats (corrélation faible), il est parfois difficile de déterminer les raisons *Intervalle de temps trop long? changement réel chez les individus? quantité d'erreurs de mesure?

Question 29

De façon générale, il ne faut pas s'attendre à des corrélations très élevées (0.7 et plus) pour la fidélité test-retest. Pourquoi?

Answer 29

Car certains construits sont assez « plastiques » ou changeant dans le temps. Ex: problèmes intériorisés changent plus facilement dans des courts laps de temps que problèmes extériorisés Ex: Névrotique change plus qu'Extraversion

Question 30

Pourquoi est-il important de mesurer la fidélité de cohérence interne?

Answer 30

- Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le a) plan conceptuel que sur le b) plan empirique - Autrement dit, il ne suffit pas que des experts.es suggèrent qu'un groupe d'items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux - Avec des faibles corrélations entre les items, on peut se demander s'ils mesurent vraiment le mm construit

Question 31

Quels sont les deux stratégies souvent utilisées pour évaluer la cohérence interne?

Answer 31

1) coefficient de fidélité moitié-moitié 2) coefficient de cohérence interne

Question 32

Comment mesure et interprète-ton le coefficient de fidélité moitié-moitié?

Answer 32

- Les chercheurs-euses divisent en deux les items d'une échelle et on estime ensuite les corrélations entre ces deux moitiés - Encore une fois, l'échantillonnage de contenu est très important, il faut une sélection quasi-aléatoire des items - Une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d'erreurs de mesure

Question 33

Quel est le problème méthodologique avec le coefficient de fidélité moitié-moitié? Et que peut-on faire pour régler ce problème?

Answer 33

Avec moins d'items, les corrélations vont tjr être moins fortes, nonobstant le niveau de la fidélité - Prophétie de Spearman : plus il y a d'items dans une échelle, plus sa fidélité est élevée On peut appliquer la formule de la prophétie pour déterminer quelle serait la corrélation avec plus d'items ra = 2 (rsh) / 1 + rsh ra est la corrélation ajustée avec tous les items rsh est la corrélation avec la moitié des items

Question 34

Comment mesure et le coefficient de cohérence interne?

Answer 34

- Les chercheurs.euses estiment l'homogénéité de tous les items d'une échelle * Il s'agit d'un estimé statistique quantifiant l'ensemble des inter-corrélations entre tous les items d'une échelle - Est-ce que les items d'une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés et donc génèrent peu d'erreurs de mesure

Question 35

Comment interprète-ton le coefficient de cohérence interne?

Answer 35

- On souhaite un coefficient près de 1.0, ce qui suggère que les items d'une échelle sont très cohérents, qu'ils forment un tout; donc l'échelle génère peu d'erreurs de mesure -Si près de 0, les items ne sont pas homogènes, suggère que les questions de l'échelle sont trop indépendantes, ne vont pas ensemble; donc l'échelle n'est pas précise, elle génère bcp d'erreurs - Typiquement un coefficient de 0,70 et plus est considéré satisfaisant - En recherche, nous sommes moins conservateurs puisqu'on ne peut appliquer une correction et on accepte parfois des coefficients d'environ 0,60 - Dans la pratique clinique, on préfère des indices de cohérence interne au min de 0,80 et plus - 0,95 ou plus parfois considérés moins intéressants puisque ceci suggère qu'il y a potentiellement redondance de contenu

Question 36

Vrai ou Faux : Les coefficients de cohérence interne varient tous entre 0 et 1 (Question d'exam!)

Answer 36

Vrai :)

Question 37

Quels sont les deux indices très utilisés pour estimer la cohérence interne?

Answer 37

Alpha de Cronbach/Kuder-Richardson et Omega de McDonald

Question 38

Vrai ou Faux : Omega à tendance à procurer un estimé de la fidélité d'une échelle plus près de la réalité que le alpha ou le KR-20.

Answer 38

Vrai :) En partie parce que le postulat irréaliste que tous les items sont reliés de la mm façon à la variable latente n'a pas besoin d'être respecté, les saturations factorielles peuvent être différentes.

Question 39

Comment mesure-t-on la fidélité inter-juges?

Answer 39

Pour l'estimer, on vérifie si les évaluations des mm individus effectuées avec le mm instrument, mais par différents informateurs (évaluateurs ou juges) sont corrélées

Question 40

Vrai ou Faux : La fidélité inter-juges et l'accord inter-juge sont des termes interchangeable.

Answer 40

Faux! Il ne faut pas les utilisés de façon interchangeable.

Question 41

Quelle est la différence entre la fidélité inter-juges et l'accord inter-juges?

Answer 41

- Fidélité inter-juges : renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs - Accord inter-juges : renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement - souvent avec des mesures catégorielles; ne considère pas variance

Question 42

Vrai ou Faux : Pour les instruments catégoriels, on obtient généralement des corrélations significativement plus faibles pour la fidélité inter-juges que pour les autres types de fidélité.

Answer 42

Faux! ce sont les instruments dimensionnels.

Question 43

Comment interprète-t-on la corrélation de fidélité inter-juges?

Answer 43

- Les coefficients de fidélité inter-juges plutôt faibles sont attendu - Corrélation entre informateurs similaires (ex: parents) est en moyenne de 0,60 - Corrélation entre différents informateurs (ex: un parent et un enseignant) est de 0,28 - Corrélation impliquant l'enfant/ado et un autre informateur est de 0,22

Question 44

Comment peut on maximiser l'accord inter-juges? (3)

Answer 44

les informateurs... - Connaissent bien l'enfant - Proviennent d'un mm contexte d'observation (ex: deux enseignants, deux parents) - Les objets de l'évaluation sont des comportements plus facilement observables (cpt vs pensée) - L'ESM est inversement liée à la fidélité (plus la fidélité est élevée, moins l'erreur standard de mesure est grande et vice versa)

Question 45

De quoi s'agit l'erreur standard de mesure (ESM)?

Answer 45

- Parfois aussi appelée erreur type de mesure - Donne une indication de la quantité ou du degré d'erreur de mesure associée aux scores d'une échelle - En termes de score standardisé, il s'agit de l'écart-type de la distribution

Question 46

Comment estime-t-on l'ESM?

Answer 46

- Est estimée à l'aide d'un coefficient de fidélité (alpha de Cronbach, ou autre) ESM = ÉTt racine carré (1- rt) ÉT est l'écart-type des scores au test rt est le coefficient de fidélité du test

Question 47

Dans la pratique en évaluation, les ESM servent à quoi?

Answer 47

- Servent à construire un intervalle de confiance autour du score observé. - À identifier un critère empirique qui permet de déterminer s'il existe une différence significative entre les scores de deux échelles

Question 48

Qu'est-ce qu'un intervalle de confiance et que permet-il?

Answer 48

- Est un estimé probabiliste permettant de situer le score observé à l'intérieur d'une étendue de scores donnée. - Permet une interprétation plus rigoureuse et prudente qui tient compte de l'erreur de mesure - Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM)

Question 49

Comment calcule-ton l'intervalle de confiance?

Answer 49

Pour le calculer, on doit additionner et soustraire la valeur de l'ESM au score standardisé observé. Ex: considérant un score-T observé de 60 et considèrent que l'ESM est 3 : - 68% : [57, 63] - 95% : [54, 66]

Question 50

Comment calcule-t-on l'erreur standard sur la différence (ES diff)?

Answer 50

Es diff est calculée à partir des ESM procurées par les auteurs.trices d'un test. ES diff = racine carré (ESM1) à la 2 + (ESM2) à la 2 * ESM1 et ESM2 correspondent aux valeurs des ESM des échelles 1 et 2 respectivement (ex: deux échelles comparées)