Cours 7

Question 1

À partir de quoi la validité et la fiabilité d’un test est-elle mesurée? Quelles sont ses caractéristiques?

Answer 1

Un échantillon de normalisation ou de validation. Il est grand (1000 sujets au moins)

Question 2

Qu’est-ce que la fidélité/fiabilité?

Answer 2

La reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre une même mesure deux fois.

En d’autres termes, c’est la stabilité des résultats obtenus dans le temps.

Question 3

Qu’est-ce que la validité?

Answer 3

Le degré avec lequel une mesure mesure ce qu’elle est supposée mesurer ; la pertinence des inférences que l’on tire des résultats fournis par la mesure.

Question 4

Explique le continuum validité-fidélité.

Answer 4

Si un outil de mesure est fidèle , il peut être valide ou non. MAIS s’il n’est pas fidèle, il n’a aucune chance d’être valide.

Question 5

Qu’est-ce que le coefficient de fidélité? Le pourcentage de la variance d’erreur?

Answer 5

*C’est le pourcentage r de la variance VRAIE entre deux séries d’observations.
*1-r.

Question 6

Quel est le seuil conventionnel de fidélité acceptable?

Answer 6

Autour de 60-70%, mais tout dépend de nos propres critères.

Question 7

Qu’est-ce que l’erreur de mesure en termes de fidélité?

Answer 7

La fluctuation des scores due à des facteurs NON PERTINENTS et DUS AU HASARD.

Question 8

Pourquoi la fluctuation des scores doit-elle être due à des facteurs NON PERTINENTS et DUS AU HASARD?

Answer 8

• La fluctuation des facteurs pertinents est ce que le test doit mesurer.
• La fluctuation non pertinente et prévisible doit être contrôlée par retrait ou par covariation statistique.

Question 9

Quels sont les 5 différents types de fidélité et comment les mesure-t-on? Si possible, donne des exemples pour chaque.

Answer 9

• Stabilité : fidélité par test-retest
• Équivalence : fidélité par version parallèle
• Cohérence interne : fidélité par bissection
• Homogénéité : fidélité par cohérence inter-items
• Fidélité inter-correcteurs ou inter-examinateurs : idem

Question 10

Qu’est-ce que la stabilité représente?

Answer 10

La stabilité d’une mesure indique à quel point on peut généraliser les résultats d’une mesure à diverses occasions.

Question 11

Qu’est-ce que la fidélité par test-retest? Quel est le postulat associé? Que représente le coefficient de fidélité?

Answer 11

*Administrer à nouveau la même mesure aux mêmes sujets après un certain intervalle de temps (2, 3, 4 fois).
*La caractéristique mesurée ne change pas à l’intérieur de l’intervalle de temps considéré.
* La corrélation entre les scores obtenus à chacune des deux (ou plus) mesures.

Question 12

Quelles sont les limites de la fidélité test-retest?

Answer 12

• La corrélation test-retest diminue à mesure que l’intervalle de temps augmente (ex. l’intelligence - 6 mois)
• L’apprentissage modifie de façon différentielle la performance à la mesure (sensibilisation)
• L’analyse de la fidélité par test-retest est rarement utilisée sauf lorsque la mesure est peu ou pas sensible à l’effet de la répétition.

Question 13

Si l’on constate que la fidélité test-retest est trop basse, comment l’augmenter?

Answer 13

Utiliser la formule de Spearman-Brown pour obtenir le facteur d’allongement nécessaire du nombre de questions qu’on a déjà.

Footnote
N = rn x (1-rt)/rt x (1-rn)

Question 14

Qu’est-ce que l’équivalence représente?

Answer 14

À quel point les scores fournis sont indépendants du contenu spécifique des observations (items) qui composent la mesure.

Question 15

Qu’est-ce que la fidélité par version parallèle? Quel est le postulat associé? Que représente le coefficient de fidélité?

Answer 15

• Administrer deux versions d’une même mesure aux mêmes sujets, soit tout de suite après - ou après un certain intervalle de temps.
• Les mesures doivent être vraiment équivalentes.
• La corrélation entre les scores obtenus pour chacune des deux versions de la mesure.

Question 16

Quelles sont les limites de la fidélité par version parallèle?

Answer 16

• Il y encore l’effet de sensibilisation.
• L’erreur d’échantillonnage lors de la création des deux versions est possible (pas de vraie équivalence).
• Manque de stabilité si les deux mesures ne sont pas administrées l’une directement après l’autre.

Question 17

Qu’est-ce que la cohérence interne représente?

Answer 17

À quel point les scores fournis sont indépendants du contenu spécifique des items qui composent le test (échantillonnage des contenus).

Question 18

Qu’est-ce que la fidélité par bissection? Quel est le postulat associé? Que représente le coefficient de fidélité?

Answer 18

• Diviser un test (une seule version) en deux parties «équivalentes» afin de calculer un «sous-score» pour chacune de ces parties.
• La difficulté des questions doit être égale (prendre les questions paires et impaires).
• La corrélation (corrigée) entre les deux «sous-scores».

Question 19

Quelles sont les limites de la fidélité par bissection?

Answer 19

• Les échantillons particuliers des items qui servent à calculer chaque «sous-score» doivent être égaux.

Question 20

Que faire pour corriger la fidélité par bissection?

Answer 20

Tenir compte de la séparation du test en plusieurs parties avec la formule de Spearman-Brown.

Footnote
R = n r / 1 + (n-1)r

Question 21

Qu’est-ce que la fidélité par cohérence inter-items? Quel est le postulat associé? Que représente le coefficient de fidélité?

Answer 21

• Étudier la cohérence des réponses à toutes les observations (items) d’une mesure, considérées simultanément.
• Les observations qui le forment doivent constituer un tout homogène.
• Le coefficient de fidélité est le coefficient α (alpha de Cronbach) : ATTENTION.

Question 22

Quelles sont les limites de la fidélité par cohérence inter-items?

Answer 22

• Si la caractéristique à mesurer est définitivement hétérogène (par exemple, l’intelligence), il convient alors d’élaborer plusieurs sous-tests homogènes qui mesurent chacun une et une seule des facettes à considérer.
• Il faut qu’il y ait de la variance entre les observations.

Question 23

Comment calculer la fidélité par cohérence inter-items si le score attribué à chaque observation est dichotomique (i.e. succès/échec)? Comment appelle-t-on ce résultat?

Answer 23

• La variance des scores à une observation peut être remplacée par le produit pq, où: p représente la proportion d’individus qui ont réussi l’observation et q représente la proportion d’individus qui ont échoué l’observation (q = 1-p)
• Le coefficient Kuder-Richardson, connu sous le nom de «coefficient KR-20»

Question 24

Qu’est-ce que la fidélité inter-correcteurs/examinateurs? Que représente le coefficient de fidélité?

Answer 24

• Faire corriger (ou administrer) la mesure séparément par au moins deux correcteurs (ou examinateurs).
• La corrélation entre les deux scores (ou plus) ainsi attribués à chaque examiné.

Question 25

Quelles sont les limites de la fidélité inter-correcteurs/examinateurs?

Answer 25

* Pour deux examinateurs à variables continues, on utilise la corrélation de Pearson ; pour plus de deux, le coefficient de corrélation intraclasse (CCI). * Pour deux examinateurs à variables catégorielles, on utilise l'indice K de Cohen ; pour plus de deux, le K de Fleiss.

Question 26

Quels sont les types de validité? Que représentent-elles?

Answer 26

* La validité de contenu : pertinence et couverture totale des contenus * La validité de construit : cohérence avec la structure théorique * La validité critériée : relation avec un critère externe

Question 27

Qu'est-ce que la validation de contenu? Quelles questions implique-t-elle?

Answer 27

* L'analyse du contenu pour assurer sa représentativité comme échantillon du domaine à mesurer. * L'observation appartient-elle au domaine à mesurer? (pertinence) * Les observations couvrent-elles tous les sous-aspects du domaine? (exhaustivité)

Question 28

Avec quoi ne pas confondre la validité de contenu?

Answer 28

La validité apparente.

Question 29

Qu'est-ce que la validité apparente?

Answer 29

La pertinence des questions par rapport à ce que l'outil semble mesurer aux yeux des non-experts (sujets, administrateurs, etc.)

Question 30

Quelles sont les 4 étapes de la validation de contenu?

Answer 30

1. Détermination des utilisations prévues de la mesure 2. La définition de ce que l’on souhaite mesurer 3. La création des observations 4. L’évaluation des observations

Question 31

Quelles sont les deux questions associées à la détermination des utilisations prévues de la mesure, lors de la validation de contenu?

Answer 31

* Quels sont les buts de la mesure ? * À quelle clientèle est-elle destinée ?

Question 32

Comment définit-on ce que l’on souhaite mesurer, lors de la validation de contenu?

Answer 32

À déterminer soit la portée de la construction mentale (guidée par la théorie et le construit hypothétique) ou l’étendue du domaine mesuré (guidée par l'analyse de contenu du domaine de comportements).

Question 33

Quelles sont les étapes de création des observations (mesure), lors de la validation de contenu?

Answer 33

1. Le format 2. La difficulté 3. Le nombre d'observations 4. La première rédaction Footnote Les étapes 1 à 3 font partie du devis de rédaction.

Question 34

Quelles sont les étapes d'évaluation des observations, lors de la validation de contenu?

Answer 34

En s'assurant de la représentativité conceptuelle : 1. Interrogation d'experts sur la rprésentativité et la pertinence 2. Première révision 3. Mise à l'essai : étude qualitative des jugements des sujets sur la clarté et la signification 4. Sélection finale

Question 35

Qu'est-ce que la validation critériée/pragmatique? De quel type peut-elle être?

Answer 35

* Le calcul de la corrélation entre le résultat à une mesure et un critère (mesure indépendante et directe de la caractéristique à mesurer). IMPORTANT : IL FAUT QUE CE CRITÈRE EXISTE. * Concomitante ou prédictive

Question 36

Quelle est la différence entre la validation critériée concomitante et prédictive?

Answer 36

Concomitante : l'administration de la mesure et la mesure du critère sont simultanées. Prédictive : l'administration de la mesure précède la mesure du critère

Question 37

Quand faut-il utiliser la validation critériée concomitante? prédictive?

Answer 37

* Quand la mesure doit être utilisée comme diagnostic * Quand la mesure doit être utilisée comme pronostic

Question 38

Que faire quand l'intervalle de temps entre administration et mesure du critère est trop long en validation concomitante?

Answer 38

Utiliser des échantillons pré-sélectionnés, dont on connaît les données critériées : ex. un test de lecture chez des enfants de 4 ans et de 10 ans.

Question 39

Quels les 7 principaux critères d'analyse pour la validation critériée? Pour quoi sont-ils utilisés?

Answer 39

* Performance académique : notes, niveau d'éducation, etc. Pour les tests d'intelligence, d'aptitudes * Performance à un cours spécialisé : évaluation, abandon ou non. Pour des aptitudes spécifiques. * Rendement au travail : Même objectifs que le cours spécialisé, mais standardisation est plus ardue (milieux varient). * Groupes constratés : ex. aptitudes musicales entre musiciens et profanes. Pour un critère composite, à plusieurs sous-aspects, ou pour valider un test de personnalité. * Diagnostic psychiatrique : Pour valider des tests de personnalité. * Jugements appréciatifs : avis de l'entourage. Pour les tests de personnalité. * Liens avec les tests existants : corrélation entre la mesure et une autre, plus lourde à administrer (ressembler à la validité de construit).

Question 40

Qu'est-ce que la validation de construit?

Answer 40

* Un ensemble de méthodes qui établit à quel point l'outil mesure adéquatement le construit théorique à mesurer.

Question 41

Quels sont deux faits essentiels à considérer lorsqu'on étudie la validation de construit?

Answer 41

* La définition du construit à mesurer doit être claire et explicite. * La validation implique aussi la qualité de la construction théorique elle-même, pas seulement celle de la mesure.

Question 42

Quels sont les deux preuves de la validation de construit?

Answer 42

* Preuve positive : montrer la présence de corrélation entre la mesure et d'autres mesures qui sont supposées mesurer le même construit (validation convergente) * Preuve négative : montrer l'absence de corrélation entre la mesure et d'autres mesures qui sont supposées mesurer des construits théoriquement indépendants (validation discriminante)

Question 43

Vrai ou faux. Le coefficient d'homogénéité peut être considéré comme un indice de validité de construit.

Answer 43

FAUX. Le coefficient d'homogénéité mesure la cohérence d'une mesure par rapport à elle-même, alors que le construit mesure la cohérence par rapport à une théorie.

Question 44

Que faut-il ajouter à l'affichage du coefficent de validité? Comment peut-on l'utiliser?

Answer 44

* Une description détaillée de l'échantillon de validation. * Auprès de populations semblables à l'échantillon de validation.

Question 45

Qu'est-ce que le coefficient de validité?

Answer 45

Coefficient de corrélation entre la performance à la mesure et d'autres «observations» de la caractéristique que l'on tente de mesurer.