Cours 4

Question 1

Qu’est-ce que la fidélité?

Answer 1

concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère

Question 2

Lorsqu’on évalue la fidélité, on réfère au test ou aux scores?

Answer 2

• s’applique aux scores qu’il génère
• affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations possibles, avec tous les utilisateurs.trices, sous-groupes, etc.

Question 3

V ou F: La fidélité est une question de degré.

Answer 3

Vrai - IMPORTANT

Question 4

En clinique, avant de prendre une décision importante, on veut savoir si les changements dans les scores reflètent de vraies différences chez la personne (ou entre les personnes), ou s’ils sont surtout dus à des erreurs de mesure de l’outil.

Question 5

Qu’est-ce que la théorie du score vrai?

Answer 5

score observé = score vrai + erreur
- il y a toujours de l’erreur de mesure, dans tous les instruments
- praticiens.nes doivent bien connaître la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et prudente des scores

Question 6

Illustration de l’effet de l’erreur de mesure

Answer 6

voir slide 8, cours 4

Question 7

Quels sont les deux grands types d’erreur de mesure?

Answer 7

1. aléatoire
   - fluctuation statistiques non reproductibles; toujours présentes pour tous les instruments
   - autant au-dessus qu’en dessous de la moyenne
   - distribués normalement
2. systématique (ou biais)
   - fluctuations constantes et reproductibles, qui sont toujours dans la même direction; pas dans tous les mêmes instruments
   - surestimation ou sousestimation constante des paramètres
   - pas distribué normalement

Question 8

Quelle est la cause d’une erreur aléatoire?

Answer 8

variation dans l’échantillonnage

Question 9

Quelle est la cause d’une erreur systématique?

Answer 9

difficile de détecter les biais
- mauvais utilisation de l’instrument
- conditions d’administration inadéquates
- imperfections de l’instrument

Question 10

Comment minimiser une erreur aléatoire?

Answer 10

• plus grands échantillons
• plus de moments de mesure
• peuvent être plus simplement estimées/controlées statistiquement

Question 11

Comment minimiser une erreur systématique?

Answer 11

• difficiles à détecter; souvent ne sont pas connues
• plus difficile à quantifier statistiquement

Question 12

Qu’est-ce qu’une erreur de d’échantillonage de contenu?

Answer 12

Type d’instrument sujets à chaque source d’erreur:
- instruments pour lesquels des résultats cohérents au sens large sont souhaités
Indice de fidélité utilisé pour estimer l’erreur:
- coefficient de fidélité des formes parallèles (ou coefficient de congruence)

Question 13

Qu’est-ce qu’une erreur d’échantillonnage dans le temps?

Answer 13

Type d’instrument sujets à chaque source d’erreur
- instruments de mesure de traits ou comportements relativement stables
Indice de fidélité utilisé pour estimer l’erreur
- coefficient de fidélité test-retest (ou de stabilité temporelle)

Question 14

Qu’est-ce une incohérence interne, ou inter-items?

Answer 14

Type d’instrument sujets à chaque source d’erreur:
- instruments qui requièrent une grand cohérence interne ou inter-items
Indice de fidélité utilisé pour estimer l’erreur:
- coefficient de fidélité moitié-moitié
- coefficient de cohérence interne

Question 15

Qu’est-ce que l’incohérence inter-informateurs (plusieurs évaluateurs)?

Answer 15

Type d’instrument sujets à chaque source d’erreur:
- instrument qui implique un degré relativement élevé de subjectivité
Indice de fidélité utilisé pour estimer l’erreur:
- coefficient de fidélité inter-juges (ou accord inter-juges

Question 16

On ne peut pas juger de la fidélité d’un instrument à partir d’une seule personne.
Pour évaluer la fidélité, il faut mesurer plusieurs personnes afin d’observer la variabilité des scores (la variance).

r(x) = var(vraie)/var(erreur)

Dans la théorie du score vrai, la fidélité correspond à quoi?

Answer 16

Dans la théorie du score vrai, la fidélité correspond à la proportion de la variance des scores qui reflète le score réel, par rapport à la variance due aux erreurs de mesure
👉 Plus la variance vraie est importante, plus la fidélité est élevée (rₓ se rapproche de 1).
👉 Plus la variance d’erreur est importante, plus la fidélité est faible (rₓ se rapproche de 0).

Question 17

Qu’est-ce que la fidélité des formes parallèles?

Answer 17

• vérifie si deux versions équivalentes d’un même test donnent les mêmes résultats.
• les deux instruments mesurent le même construit, mais avec des items légèrement différents.
• Vérifier si les items d’une échelle forment un tout cohérent sur les plans conceptuel et empirique (statistique)
• se référer à slide 13, cours 4

Question 18

Pour interpréter correctement la fidélité des formes parallèles, l’échantillonnage de contenu est essentiel. Pourquoi?

Answer 18

• Les items ne peuvent pas être choisis au hasard dans une banque d’items.
  Il faut plutôt une sélection quasi-aléatoire et structurée.
• Tous les domaines et sous-domaines du construit doivent être représentés proportionnellement dans chaque forme.

Question 19

Dans un contexte de formes parallèles, après la collecte de donnée, que veut dire une corrélation élevée?

Answer 19

• suggère bonne précision, ou dit autrement, peu d’erreurs de mesure en terme de contenu (échantillonnage de contenu est bon)
• pas vraiment de «coefficient minimum» attendu, puisque la corrélation dépendra du contenu (complexité du construit), en plus de facteurs personnels des individus évalués (e.g., réaction différente aux deux formes, ordre des questions différents, fatigue, etc.)
• attentes: coefficient de 0,70 au minimum

Question 20

Quel est l’interval idéal pour faire un test de fidélité test-retest? Comment savoir s’il y a peu d’erreur de mesure?

Answer 20

• 2 semaines à 1 mois, doit être assez court
• si la corrélation est élevée, suggère une bonne précision
• pas vraiment de «coefficient minimum», mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994)

Question 21

Dans le test test-retest, quelles conclusions pouvons nous tirer s’il y a un écart entre les résultats (corrélation faible)?

Answer 21

Difficile à dire, pourrait être dû à une multitudes de facteurs
- Intervalle de temps trop long?
- Changement réel chez les individus?
- Quantité d’erreurs de mesure?

Question 22

Est-il vrai de dire que la fidélité test-retest est fiable?

Answer 22

De façon générale, il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest car certains construits sont assez «plastiques» ou changeants dans le temps
- Problèmes intériorisés changent plus que ceux extériorisés
- Personnalité: Névrotisme change plus qu’Extraversion
- État vs trait: Par définition, l’état change beaucoup plus

Question 23

Regarder une corrélation ne remplace pas le jugement, ce dernier est indispensible. Une corrélation basse est normale pour une mesure qui évalue quelque chose d’instable, comme un état émotif.

Question 24

Quel est le but des chercheurs en créeant des échelles?

Answer 24

• tentent de regrouper des items qui forment UN TOUT COHÉRENT, autant sur le (A) plan conceptuel que sur le (B) plan empirique
• il ne suffit pas que des experts.es suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux
• Avec des faibles corrélations entre les items, on peut se demander s’ils mesurent vraiment le même construit

Question 25

Comment évaluer la cohérence interne?

Answer 25

(1) coefficient de fidélité moitié-moitié (2) coefficient de cohérence interne

Question 26

Quel est le processus pour le coefficient de fidélité moitié-moitié, dans le but d'évaluer la cohérence interne?

Answer 26

- diviser en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés - séparer les questions d'une mesure en deux - Encore une fois, l’échantillonnage de contenu est très important, il FAUT une sélection quasi-aléatoire des items - Après collecte de données : Une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d’erreurs de mesure, une bonne cohérence quantitative

Question 27

Quel est un enjeu méthodologique concernant l'évaluation de la cohérence interne? (QUESTION À L'EXAMEN)

Answer 27

avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité

Question 28

Qu'est-ce que la prophétie de Spearman? Quel est son lien avec l'évaluation de la cohérence interne? (QUESTION À EXAMEN)

Answer 28

plus il y a d’items dans une échelle, plus sa fidélité est élevée; - on peut appliquer la formule de la prophétie de Spearman-Brown pour déterminer quelle serait la corrélation moitié-moitié avec plus d’items (pas besoin de savoir la formule) ra = 2 (rsh) / 1 + rsh - ra est la corrélation ajustée avec tous les items - rsh est la corrélation avec la moitié des items (split half)

Question 29

Quand j'enlève des items dans une mesure, la fidélité est automatiquement plus faible

Question 30

Quel est le processus pour le coefficient de cohérence interne, dans le but d'évaluer la cohérence interne?

Answer 30

- estimer l’homogénéité de tous les items d’une échelle - s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés – et donc, génèrent peu d’erreurs de mesure? Oui.

Question 31

Quels sont les deux indices très utilisés pour estimer la cohérence interne?

Answer 31

1. Alpha de Cronbach et Kuder-Richardson-20 2. Omega de McDonald

Question 32

Qu'est-ce que l'alpha de Cronbach (1951)?

Answer 32

a) C'est quoi: - pour les items continus - Statistiquement parlant, le coefficient α est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les divisions/combinaisons possibles) - Alpha est un bon estimé de la fidélité SEULEMENT lorsque tous les items sont vraiment taux équivalents (sinon utilisé Omega de McDonald b) Ce qu'on assume: - on assume (mais ne teste pas) que les items mesurent une même variable latente - on assume que tous les items sont reliés de la même façon à la variable latente (i.e., tau équivalent)

Question 33

Questions continues: 5 choix de réponses ou plus

Question 34

Que représente cette expression? Indique la signification de chaque élément de l'équation. α = (k / k – 1) * (1 – Σ vari / varx )

Answer 34

Coefficient de Cronbach - k est le nombre d’items du test - Σ vari est la somme de la variance des items - varx est la variance du score total au test Autrement dit, la covariance moyenne des items est divisée par la variance totale - donc les corrélations entre les items doivent être élevées pour donner une valeur alpha élevée - comme le nombre d’items est un facteur de l’équation, plus il y a d’items, plus alpha sera élevé

Question 35

Qu'est-ce que le Kuder-Richardson-20 (Kuder & Richardson, 1937)?

Answer 35

a) C'est quoi - cas spécial du alpha de Cronbach pour les items dichotomiques - il existe une équation plus simple (KR-21) b) Ce qu'on assume: - comme pour alpha, lorsqu’on utilise KR-20, on assume (mais ne teste pas) que les items mesurent une même variable latente - on assume que le pourcentage de réponses correctes est le même pour tous les items

Question 36

Qu'est-ce que l'omega de McDonald (1999)?

Answer 36

Contrairement à alpha de Cronbach et KR-20, on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle. - très bon estimé de cohérence internen lorsque les items tau équivalent - même saturation factorielle - Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté (i.e., les saturations factorielles peuvent être différentes) - tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20 (conclut une meilleure fidélité)

Question 37

Quel est notre souhait à la suite d'une collecte de donnée par rapport à la cohérence interne. Quel est le contraire de ce souhait?

Answer 37

1. On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure - Typiquement, un coefficient de 0,70 et plus est considéré satisfaisant (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994) 2. Si près de 0, les items ne sont pas homogènes, les questions de l’échelle sont trop indépendantes statistiquement, ne vont pas ensemble; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs

Question 38

Lorsqu'on évalue si la cohérence interne est bonne, quelle est la différence entre les standards du domaine de la recherche vs du domaine clinique?

Answer 38

Recherche - on peut appliquer une correction et on accepte parfois des coefficients plus; ~0,60 - avec des modèles statistiques avancés utilisant des variables latentes (e.g., équations structurales), on peut obtenir des estimés sans aucune erreur de mesure Pratique clinique - on préfère des indices de cohérence interne au minimum de 0,80 et plus - erreur de mesure dans une échelle est un problème grave si vous vous basez sur cet instrument pour prendre une décision clinique importante qui aura une influence sur la vie d’un individu

Question 39

V ou F: Plus la valeur du coefficient interne est élevé, plus notre mesure est meilleure.

Answer 39

Faux: - Des coefficients de cohérence interne très élevés – par exemple plus de 0,95 – suggèrent qu’il y a potentiellement redondance de contenu (i.e., certaines questions mesurent probablement la même chose) - Principe de parcimonie : les auteurs.trices pourraient potentiellement retirer certaines questions

Question 40

V ou F: Des indices peu élevés pour des échelles avec peu d'items indiquent que les items doivent être retravaillés.

Answer 40

Faux: - si les indices ne sont pas très élevés pour des échelles avec peu d’items – par exemple α = 0,50 pour une échelle à 2 ou 3 items – cela ne signifie pas de facto un problème majeur de fidélité - c’est attendu (i.e., « Prophétie de Spearman ») - on peut alors appliquer la transformation de Spearman-Brown (pas la même chose que l'autre formule) pour connaitre la fidélité ajustée (prédite) de l’échelle si elle avait davantage d’items

Question 41

Que représente cette expression? Indique la signification de chaque élément de l'équation. rp = k*ro / 1 + (k – 1) ro

Answer 41

Transformation de Spearman-Brown: - rp est le coefficient de fidélité prédit - k est le facteur par lequel le nombre d’items du test est changé – par ex., si le test original a 5 questions et le nouveau en a 10, donc 10/5 = 2 (facteur de 2) - ro est le coefficient de fidélité original

Question 42

Qu'est-ce que la fidélité inter-juges?

Answer 42

- l'instrument devrait être indépendant de la subjectivité des informateurs. - en pratique, plusieurs construits en psychoéducation et en psychologie sont influencés par le point de vue de l’informateur. - certains phénomènes (pensées, comportements sexuels, consommation) sont difficiles à observer ou varient selon le contexte - DONC, on compare les scores des mêmes personnes, obtenus avec le même instrument, mais par différents informateurs. 👉 Plus les évaluations sont corrélées, plus la fidélité interjuges est élevée.

Question 43

La fidélité inter-juges vs Accord inter-juges (Gwet, 2021; Shrout & Fleiss, 1979). Ce sont des termes souvent utilisés de façon interchangeable, mais ne le sont pas selon certains auteurs.trices. Quelle est la différence?

Answer 43

1. Fidélité inter-juges - renvoie au degré de cohérence (ou corrélation) de l’ordre relatif de différents informateurs avec des mesures continues - on compare la variabilité (variance) entre les informateurs 2. Accord inter-juges - renvoie plutôt à une mesure de degré auquel des informateurs rapportent la même réponse exacte - souvent avec des mesures catégorielles - ne considère pas la variance

Question 44

L’accord inter-juges est essentiel en observation, mais aussi avec les questionnaires, échelles d’évaluation et entrevues. Pour les instruments dimensionnels, les corrélations inter-juges sont souvent plus faibles que pour d’autres types de fidélité (souvent < 0,70). Qu'est-ce que cela insinue, alors?

Answer 44

- Ces coefficients plus faibles ne sont pas nécessairement un problème : ils sont attendus pour plusieurs construits. - Les individus adoptent des comportements différents selon les contextes (maison, école, travail, pairs). - Les différents informateurs perçoivent donc des aspects différents et complémentaires d’un même individu. - Des méta-analyses majeures (Achenbach et al., 1987 ; De Los Reyes et al., 2015) soutiennent cette interprétation (slide 39- 40, cours 4)

Question 45

Qu'est-ce que l'erreur standard de mesure?

Answer 45

- Parfois aussi appelée erreur type de mesure  - Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores stanardisés d’une échelle - En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs - Le score vrai est théorique, on tente de l’estimer

Question 46

Quel concept est décrit ci-dessous: Si un individu remplit 50 fois la même échelle, il n’obtiendrait pas le même score 50 fois, on observerait plutôt une distribution, avec une moyenne (qui serait le score « vrai ») et une distribution des erreurs de mesure (qui serait normale, avec une moyenne de 0)

Answer 46

Erreur standard de mesure (ESM)

Question 47

Qu'utilisons-nous pour estimer l'ESM?

Answer 47

L’ESM est estimée à l’aide d’un coefficient de fidélité (Alpha de Cronbach, ou autre) ESM = ÉTt √ (1 – rt) ÉTt est l’écart-type des scores au test rt est le coefficient de fidélité du test

Question 48

V ou F: L’ESM est liée directement à la fidélité: Plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa

Answer 48

FAUX L’ESM est INVERSEMENT liée à la fidélité plus la fidélité est élevée, moins l’erreur standard de mesure est grande, et vice versa

Question 49

À quoi servent les ESM dans la pratique en évaluation?

Answer 49

- construire un intervalle de confiance (IC) autour du score observé - peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores standardisés de deux échelles

Question 50

Qu'est-ce qu'un intervalle de confiance (IC)?

Answer 50

- estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée - permet interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure - selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM) - se référer à slide 44-45-46, cours 4 pour exemples visuels

Question 51

L’erreur standard sur la différence (ESdiff) (Urbina, 2014) est calculée à partir des ESM procurées par les auteurs.trices d’un test ESdiff = √ (ESM1)2 + (ESM2)2 ESM1 et ESM2 correspondent aux valeurs des ESM des échelles 1 et 2 respectivement (i.e., deux échelles comparées)

Answer 51

Exemple: Le niveau d’inattention d’un adolescent a été évalué par son père et son enseignante Les scores-T obtenus sont respectivement de 55 et 64 Les erreurs standards de mesure pour ces deux informateurs sont respectivement de 2,5 et 3,5 ESdiff = √ (2,5)2 + (3,5)2 ESdiff = √ 6,25 + 12,25 ESdiff = √ 18,5 ESdiff = 4,3 Il y a une différence de scores-T de 9, qui est plus que 4,3, il y a donc une différence significative entre le score du père et celui de l’enseignante – à un degré de confiance de 68% Outil qui permet de déterminer si la différence entre deux socres est significative ou simplement due à l'erreur de mesure