Que fournissent l’application du cadre (principales composantes et considérations techniques) de construction efficace d’instruments de mesure?
En plus de fournir une approche cohérente, elle permet de favoriser les arguments concernant l’adéquation des preuves de validité.
La construction des tests est un processus _____________ et ____________qui ne se termine pas nécessairement au moment de sa ____________________
Très long et dynamique
publication
Selon Anastasie, aux combien de temps devraient être mis à jour les outils de validation?
- Dans des pays à l’économie stable (ex : USA, Canada), devrait être mis à jour aux 5 ans
- Dans des pays à l’économie moins stable (ex : Brésil), devrait être mis à jour aux 3 ans.
La validation d’un instrument psychométrique peut donner lieu à de nombreux ________________________.
travaux complémentaires
Quelles sont les étapes de la construction (adaptation) d’un instrument de mesure?
1ère Étape: Analyser les besoins;
2ème Étape: Identifier les comportements;
3ème Étape: Spécifier quelques principes;
4ème Étape: Rédiger (adapter) les items;
5ème Étape: Expertiser la première version (construite ou adapté);
6ème Étape: Pré tester;
7ème Étape: Analyser les items;
8ème Étape: Dimensionner/Calibrer
Décrivez l’étape “Analyser les besoins”
- Identifier les motifs qui justifient les besoins d’évaluation.
- Si nous examinons les mesures déjà existantes, certaines d’entre elles répondent-elles à nos besoins ?
- Devons-nous créer (ou adapter) une mesure pour répondre à nos besoins ?
- Quels sont les objectifs de cette nouvelle mesure ?
Décrivez l’étape “Identifier les comportements”.
Quels sont les comportements observables susceptibles de représenter le construit qu’on veut mesurer ?
Décrivez l’étape “Spécifier quelques principes”.
- Nombre d’items de l’instrument (préoccupation de la construction),
- Caractéristiques du matériel (et de la population);
- L’échelle Likert (pair ou impair)?
Exemple: 4, 5, 6 ou 7 pts = Fortement en désaccord à fortement en accord (?)
Décrivez l’étape “Rédiger les items”.
Il faut un nombre bien plus grand d’items au départ (construction ou d’option d’adaptation) pour avoir un certain nombre d’items utiles.
Exemple : pour avoir 15 items dans l’instrument à la fin, commencer avec 50.
Que faut-il fondamentalement observer lors de l’étape de rédaction des items?
- Le contenu de questions (un contenu par question)
- La formulation de questions
- La séquence de questions (niveau de difficulté)
- Le format des réponses souhaitées
- La présentation du matériel
Quelles sont les “consignes” pour la rédaction des items?
- Utilisez une communication simple et des mots familiers;
- Évitez des mots ambigus ou de compréhension difficile;
- Évitez des items qui suggèrent déjà les réponses; Ou, qu’une question répond à une autre (effet de halo);
- Évitez les items dont le contenu suscite des sentiments d’approbation ou de désapprobation émotionnelle;
- Éviter les questions longes (plus courte c’est mielleux);
Quelles observations sous forme de questions devons-nous nous poser?
- L’item est inutilement détaillée ou trop spécifique?
- Plusieurs items sont nécessaires pour évaluer ce contenu ou l’une seule est déjà suffisante?
- Tous les éléments importants de ce contenu sont obtenus sur la façon dont les items ont été formulés ou adaptés ?
- Les gens ont les informations (les vécus, les formations, etc.) nécessaires pour répondre aux items proposés ?
- Les items contiennent des jugements liés au sujet d’évaluation?
- Les répondants sont prêts à répondre les contenus demandés ?
- Faut-il que les items soient plus concrètes, spécifiques et plus directement liés à l’expérience personnelle ?
- Le contenu de la question est biaisé dans une certaine direction?
- Quelles réactions (ou objections, ou résistance) pourrait-on avoir quand on va répondre aux items (aurons-nous de fausses réponses ?) ?
Décrivez l’étape “Expertiser la première version”.
Soumettre, au moins, à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert (juge spécialiste)
Observer chez les experts: combien d’années de formation, de pratique, localisation géographique (formation en Afrique vs en Europe), lieu de formation (ex : formé par le même prof), etc.
On veut s’éloigner de la consanguinité intellectuelle.
Décrivez l’étape “Pré-tester”.
Pré-tester la première version (construite ou adaptée) à l’aide d’un échantillon de la population ciblée, visant peaufiner cette première version (et peut-être déjà développer la version définitive).
La variance de cet item explique déjà la variance d’un autre item, etc.
Donc la combinaison linéaire de ces trois items (items 1,2,3) explique déjà la variance de l’item 4, parce que si la combinaison linéaire des items 1, 2, 3 explique déjà la variance de l’item 4, je n’ai pas besoin de litem 4. Je vais donc garder l’item 1, 2, 3.
Cet échantillon doit être suffisamment grand (la problématique de l’échantillonnage) pour garantir une bonne qualité des résultats au pré-test.
Besoin d’un grand échantillon, parce qu’on ne veut pas que l’erreur associée au processus d’échantillonnage intervienne dans nos analyses.
- Si j’ai peu de personnes, l’erreur d’échantillonnage va prendre bcp d’importance
- Si J’ai beaucoup de personnes, l’erreur d’échantillonnage des personnes sera moins importante.
Décrivez l’étape “Analyser les items”.
On fait d’abord une analyse initiale.
- Vérifier/explorer, premièrement, les résultats descriptifs (relation variance et écart-type) et corrélationnels ;
- Explorer/détecter les possibles problèmes d’acquiescence (positive ou négative) ;
- Tester la normalité des variables latentes
o Généralement, les gens vont faire des tests univariés de la normalité par le biais de « K-S » (à la base c’est un test de fréquence) avec correction de Lilliefors (va devenir test de normalité avec cette correction)
o « S-W » (test de normalité univarié)
o Test de Mardia (test de normalité multivarié)
o Test de distance de Mahalanobis (test de normalité multivarié), si cela s’applique (évidement)
- Chercher les possibles problèmes de colinéarité (ex : item 1 trop corrélé avec item 2)
On aime pas la colinéarité, car on va avoir de trop bons résultats
Quelle est la distinction entre une version univariée et multivariée d’un test?
Multivarié : 5 variables ensemble, donc la combinaison linéaire de ces 5 variables ensemble, voir si normale.
Univarié : utilise juste 1 variable, voir si normale
Qu’est-ce que le biais d’acquiescement?
Le biais d’acquiescement est un phénomène par lequel les individus sont susceptibles d’être d’accord avec quelque chose, indépendamment de ce qu’ils ressentent réellement.
Dans les enquêtes, il s’agit d’un type de biais de réponse dans lequel les personnes interrogées ont tendance à être d’accord avec les énoncés de la question de l’enquête plutôt que de donner leur avis personnel et impartial.
Expliquez la matrice Anti-image.
Les choses que je ne veux PAS analyser.
On veut que les corrélations dans la matrice soient très petites, voire presque nulles.
Type d’erreur que la matrice Anti-Image touche : variance unique (l’opposé de la variance commune)
On veut minimiser au maximum la variance unique.
En ce qui a trait la matrice de corrélation « anti-image », les valeurs hors diagonale principale doivent être majoritairement petites, parce que les effets linéaires des autres variables ont été éliminés (variance unique, n’expliquent pas le phénomène).
Dans le cas à l’étude, on remarque que les corrélations sont majoritairement petites, quelque fois presque inexistantes (pratiquement nulles).
En ce qui a trait la diagonal principale de la matrice de corrélation anti-image, elle mesure précisément l’adéquation de la solution factorielle en comparant la force des coefficients de corrélation observés en relation avec la force des coefficients de corrélation partielle (mesure de la force de l’association entre deux variables quand toutes les autres sont maintenues constantes); plus précisément, il s’agit d’une mesure KMO par chacune des variables à l’étude.
KMO : statistique d’adéquabilité d’échantillonnage, est-ce que l’échantillon est adéquat?
Il faut que la diagonale principale soit élevée, et tout ce qui n’est pas dans la diagonale principale ne doit pas être élevé (autre que la diagonale principale = erreur)
Expliquez la qualité de la représentation (communalities) initiale et extraction.
INITIALE:
La qualité de la représentation « initial » est une mesure de la variance de chaque variable qui peut être expliquée par l’ensemble des toutes les autres variables (la combinaison linéaire de toutes les autres variables)
On va faire une régression (qui a une pseudo direction/cause-effet) des items 2 à 12 pour faire une prédiction de l’item 1, le résultat sera 0.526 (variance obtenue)
VD : item que l’on veut expliquer
VI : Les autres items
EXTRACTION:
La qualité de la représentation « Extraction » est une mesure de la variance de chaque variable qui peut être expliquée par le nombre de facteurs retenus;
- À partir de 0,3 c’est considéré acceptable, à partir de 0,4 c’est satisfaisant
- Moins de 0,3 = item candidat à partir
Expliquez la variance totale expliquée avec le tableau.
Nombre de facteurs : 3 car 3 lignes
- 1er facteur explique 41,86% de la variance de la personnalité réaliste.
- 2e facteur explique 14,02% de PLUS (qui n’a pas encore été expliqué par le facteur 1) de la personnalité réaliste
Juste avec ces deux facteurs, j’explique déjà 55,88% de la personnalité réaliste. - 3e facteur explique 7,21% de PLUS (qui n’a pas été déjà été expliqué par le 1er et le 2e facteur) de la personnalité réaliste.
Expliquez la matrice de corrélation reproduite.
Expliquez la matrice de forme.
Lorsqu’on analyse les items, plus particulièrement la fidélité, avec quoi le faisons-nous?
Décrivez l’étape “Dimensionner/calibrer”.
