La congruence (questions, objectifs et moyens) - Bleu
- instrument mesure ce qu’il est censé? qu’est-ce que je mesure réellement?
Objectifs:
> Vérifier les quantifications et/ou l’organisation des concepts
Moyens:
> Analyses corrélationnelles
> Analyses factorielles
> Équations structurelles
>Approche hypothético-déductive
Vérification des hypothèses
Système hypothético-déductif : ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
> les critères servent à créer le système
> la non-confirmation soulève des doutes sur la validité
types de validité
1- validité critériée
- critère
- groupe contrasté
2- validité de construit
Barème de Cohen
Corrélation faible : r=0,10
Corrélation moyenne : r=0,30
Corrélation forte : r=0,50
1- Il faut toujours prendre en considération le coefficient p.
Si p ≤ 0,05 : la corrélation est significative.
Si p > 0,05 : la corrélation est non significative.
Tableau croisé
Permet de voir les corrélations entre les critères
Hypothèses non confirmées
Pour être confirmée = aller même direction ou ça infirme, +/- 0,10 du résultat obtenu sinon partiellement
explications possibles :
- l’hypothèse n’est pas bonne > vérification dans la littérature
- critère n’est pas bon > vérification propriétés psychométriques du critère, vérification des liens entre les critères
- le nouvel instrument n’est pas bon
Atténuation
Le coefficient de validité (la corrélation) entre le test et le critère est sous-estimé à cause de l’erreur de mesure, car elle atténue la validité…
Est-il possible d’estimer la validité théorique maximale d’un instrument en éliminant l’erreur de mesure?
- ecq la nouvelle valeur permet de confirmer les hypothèses?
Formule de l’atténuation #1
rxy = coefficient validité observé
rxx = coefficient fiabilité du test (stabilité temporelle ou split)
ryy = coefficient fiabilité du critère (possible que ce ne soit pas dispo)
- Le coefficient de validité désatténué (et donc corrigé pour l’atténuation) donne la limite supérieure théorique de la corrélation qu’il serait possible d’atteindre dans l’étude de validation si les instruments étaient sans erreur.
- montre l’effet que l’erreur de mesure du test étant validé et du critère ont eu sur mon coefficient de validité observé (évalue l’impact de la fiabilité sur la validité)
Formule de l’atténuation #2
rxy = coefficient validité observé
r’xx = coefficient fiabilité désiré test
r’yy = coefficient fiabilité désiré critère
rxx = coefficient fiabilité observé test
ryy = coefficient fiabilité observé critère
- possible que info du critère ne soit pas disponible
Conclusion sur l’atténuation
- La fiabilité de l’instrument et la fiabilité du critère affectent négativement le coefficient de validité
- La formule d’atténuation aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (problème de fiabilité ou de validité également?)
Rappel: si mon hypothèse est confirmée avant l’utilisation de la formule, il peut quand même y avoir un problème de fidélité ! - Il faut choisir un critère qui a de bonnes propriétés psychométriques
- Les formules #1 et #2 ne fonctionnent qu’avec des corrélations comme coefficients de fiabilité
- L’alpha de Cronbach ne doit pas être utilisé
- Le même type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)
Groupes contrastés
Le test permet-il de différencier un groupe d’un autre?
Plus la différenciation est grande, plus le test est valide
veut que les courbes se chevauchent le moins possible
On calcule la différence de moyennes entre les groupes:
- Il faut que la différence soit statistiquement significative, mais ait aussi une taille d’effet importante.
- On utilise principalement des analyses de variances (ANOVA) ou des tests t
ex : TDA vs non
Validité de construit (analyses factorielles)
Analyse factorielle exploratoire (AFE) :
- Technique où on fait entrer les items dans la machine et d’où on espère voir ressortir un résumé adéquat
- À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement.
Analyse factorielle confirmatoire (AFC)
- Technique de classification où on sait ce que l’on cherche a priori
- On indique au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
- Les résultats nous aident à déterminer si oui ou non, la structure est bien représentée par les données
Analyses factorielles exploratoires
Comment mes items se regroupent? structure du questionnaire?
ex : en 3 facteurs distincts
Analyses factorielles confirmatoires
les items se regroupent-ils dans ces 2 facteurs?
ex: on voit qu’il y a plutôt 3 facteurs
Saturation
On nomme saturation la corrélation entre un item et un facteur
Analyses factorielles
*les items appartiennent à leur dimension? les 3 dimensions au construit globale?
Technique statistique issue des travaux initiaux sur l’intelligence
- Le facteur «g» = une analyse factorielle
Chaque facteur résume de l’information provenant de plusieurs items
Les items supposés mesurer une dimension devraient être fortement corrélés entre eux ET moins corrélés avec les autres dimensions
L’interprétation des analyses factorielles :
Ne donne pas une réponse absolue ;
On parle de « niveau d’adéquation avec les données » ;
Nécessite une grande part d’interprétation de la part du concepteur de l’instrument.
- Il existe plusieurs méthodes statistiques différentes pour faire des analyses factorielles
Utilité des analyses factorielles
- Confirmation de la structure ou de l’organisation d’un construit
- Nombre de sous-dimensions et leur organisation - Détecter des moins bons items
Analyse factorielle avec maximum de vraisemblance
Ce type d’analyse factorielle est recommandé lorsque l’on mesure des concepts abstraits ou latents.
Matrice d’intercorrélations des items
Les patrons de corrélations devraient indiquer si les items appartiennent à leur dimension
MAIS…
La matrice est difficile à interpréter et à visualiser
Il y a souvent des corrélations qui sont fortes en dehors des zones où il est logique d’en trouver
Il y a souvent plus que 18 items dans les instruments (surtout si on a créé plus d’items dans le but d’éliminer les moins bons)
Résultats d’analyses factorielles
Les saturations devraient être élevées pour les facteurs attendus et presque nulles pour les autres
Si une telle structure était observée dans les résultats, il serait facile de nommer les facteurs
F1 = assurance
F2 = affirmation
F3 = détermination
* Difficile de comprendre «le résumé»
La majorité des items «saturent» sur plus d’un facteur
Difficile de nommer les facteurs
