Étape 5 : la congruence
- Validité à la phase de vérification
- “qu’est-ce que je mesure vraiment?”
- “ecq les inférences sont vraies?”
- Juste milieu entre ce qu’il y a dans mon instrument et le construit que je mesure
Système hypothético-déductif
Ensemble d’hypothèses dont les confirmations permettront de déduire que notre instrument est valide
Confirmation d’1 des hypothèses
Démontre validité
Confirmation de plusieurs des hypothèses
Démontre + solide de validité
Non-confirmation d’hypothèses
Soulève doutes sur la validité
À quoi servent les critères?
À créer un système hypothético-déductif qui servira à démontrer la validité de l’instrument à l’étape 5
Barème de Cohen
- Doit prendre en considération le coefficient p (p<0,05 = corrélation significative, p>0,05 = corrélation non-significative)
- Corrélation faible (r = 0,10)
- Corrélation moyenne (r = 0,30)
- Corrélation forte (r = 0,50)
Quelles sont les raisons possibles d’obtenir une hypothèse non confirmée
- Hypothèse de recherche pas bonne (vérification dans la littérature)
- Critère pas bon (vérification des propriétés psychométriques du critère -indice de fidélité- ou vérification dans la littérature des liens entre les critères)
- Nouvel instrument n’est pas bon (souvent le cas)
Comment vérifier les hypothèses?
Voir arbre décisionnel
Atténuation
Limitation/réduction/atténuation/sous-estimation de la validité de l’instrument à cause de l’erreur de mesure
Formule d’atténuation
- Permet d’obtenir un coefficient de désatténuation qui correspond à l’estimation de la corrélation s’il n’y avait pas d’erreur de mesure : estimation de la validité théorique maximale
- Aide à comprendre pourquoi certaines hypothèses de validité critériée ne sont pas confirmées (ecq c’est à cause de l’erreur de mesure? ou pcq l’hypothèse est mauvaise?)
Formule 1 de l’atténuation
- Permet d’évaluer l’impact de la fiabilité sur la validité en faisant comme si les instruments étaient exempts d’erreur de mesure
- Comprendre comment utiliser la formule
Qu’obtient-on avec la formule d’atténuation 1?
Coefficient de désatténuation donne limite supérieure théorique de la corrélation possible d’atteindre dans l’étude de validation si instruments sans erreur (théoriquement)
Faiblesse de la formule 1
Réalité = les tests ont toujours au moins une part minimale d’erreur de mesure
Formule 2 de l’atténuation
- Estime validité théorique en éliminant une partie de l’erreur de mesure
- Comprendre comment utiliser la formule
Éléments à considérer avec les formules d’atténuation
- Il faut choisir un critère qui a de bonnes propriétés psychométriques
- Coefficients de fiabilité doivent être des corrélations
- On peut pas utiliser alpha de Cronbach
- Le mm type de coefficient doit être utilisé partout dans la formule (split-half ou test-retest)
Groupes contrastés
+ différentiation entre 2 groupes est grande, + le test est valide
Comment estimer la différentiation entre les groupes?
- Différence de moyennes entre les groupes
- Il faut que la différence soit statistiquement significative et ait une taille d’effet importante
- ANOVA ou test t
Analyse factorielle
- Facteur “g”
- Chaque facteur résume info provenant de plusieurs items
- Items qui mesurent une dimension = fortement corrélés et moins corrélés avec les autres dimensions
- Il y a plusieurs méthodes stats pr faire des analyses factorielles
Saturation
Corrélation entre un item et un facteur
Utilité des analyses factorielles
- Confirmation de la structure ou de l’organisation d’un construit (sous-dimensions et leur organisation)
- Détecter des moins bons items
Analyse factorielle exploratoire (AFE)
- On fait entrer les items dans la machine d’où on espère voir ressortir un résumé adéquat?? what
- À utiliser lorsqu’on ne sait pas ce que l’on cherche ou que la structure du construit n’a jamais été testée mathématiquement
- Voir exemple slide 57
Analyse factorielle confirmatoire (AFC)
- Technique de classification où on sait ce qu’on cherche
- Indiquer au logiciel combien de facteurs sont désirés et quels items se retrouvent dans chaque facteur
- Résultats permettent de déterminer si structure est bien représentée dans les données ou non
- Voir exemple slide 59
Interprétation des analyses factorielles
- Ne donne pas une réponse absolue
- On parle de “niveau d’adéquation avec les données”
- Nécessite une grande part d’interprétation de la part du concepteur de l’instrument
