Quels sont les méthodes d’estimation ?
- Validité d’apparence
- Validité de contenu
- Validité critériée
- Validité de construit
- Validité de conséquence
Nommez les 4 grands principes de la validité.
- La validité est un élément essentiel de la qualité d’une mesure, le plus important selon les normes de pratique de testing en psychologie et en éducation
- L’étude de la validité vise à répondre à la question : « Est-ce que mon test mesure bien ce qu’il est censé mesurer ? »
- La validité d’un test est limitée par sa fidélité. Un test ne peut être valide sans être fidèle
- Un test n’est pas valide de façon absolu
En quoi constitue le classement traditionnel ?
- Validité de contenu
- Validité critériée
- Validité de construit
L’ancien classement est encore plus utilisé que le nouveau. Vrai ou faux ?
Vrai.
En quoi constitue le nouveau classement ?
- Validité de contenu
- Relations avec les autres variables: Validités convergente et divergente + relations avec les critères du test
- Processus de réponse
- Structure interne
- Validité de conséquence
Quels sont les principes de base de la validité d’apparence ?
- S’intéresse à la crédibilité du test pour les personnes qui le passent.
- Si le client ne croit pas dans le processus, il sera moins motivé à s’investir et ses résultats ne seront pas représentatifs du construit évalué.
Quel est la démarche employée dans la validité d’apparence ?
- Demander à des gens qui ont passé le test ce qu’ils pensent de certaines caractéristiques du test ou s’ils pensent que les résultats de ce test reflèteront bien qui ils sont.
- Analyse assez subjective: Pas une preuve empirique de la validité d’un instrument.
Quel est le contexte d’utilisation de la validité d’apparence ?
- La validité d’apparence est rarement étudiée.
- Plus pertinente pour certaines mesures:
- Par exemple: les tests projectifs, les tests remplis par les enfants et adolescents, les tests avec des caractéristiques particulières pouvant influencer la motivation à les remplir.
- On pourrait aussi vouloir démontrer qu’un test semble plus crédible ou intéressant pour le répondant qu’un autre.
- C’est une qualité technique non négligeable.
- Présentation des données…
- sous une forme qualitative;
- par le biais de pourcentages.
Quels sont les principes de base de la validité de contenu ?
• Est-ce que les items contenus dans le test sont représentatifs du construit?
• La représentativité comprend deux aspects:
• Respect des limites du construit (Frontières du domaine, où s’arrête le construit?)
• Respect de la structure du construit (Structure du domaine, importance relative des dimensions du construit)
• Notions associées à la validité de contenu :
• Sous-représentation du construit (Non respect des limites et de la structure);
• Variance non reliée au construit (Variance du test associée à autre chose que le
construit. P. ex.: facteurs non intellectifs dans un tests d’intelligence);
• Tableau de spécifications (Tableau qui précise les limites et la structure du
• L’évaluation de la validité de contenu est influencée par notre opinion sur le construit.
Quel est la démarche employée de la validité de contenu ?
- Consultation d’experts de contenu pour évaluer…
• la pertinence des dimensions identifiées par les auteurs du test;
• la qualité des items pour mesurer les dimensions;
• le vocabulaire employé;
• les biais possibles (biais ethniques, désirabilité, etc.). - Analyse assez subjective:
• Pas une preuve empirique de la validité d’un instrument.
Quel est le contexte d’utilisation de la validité de contenu ?
- Il est toujours pertinent de vérifier la validité de contenu.
- Première étape dans l’acceptation du test par ceux qui sont susceptibles de l’utiliser.
- Présentationdesdonnées…
• sous une forme qualitative;
• par le biais de pourcentages.
Quels sont les principes de bases de la validité critériée ?
- Le test va-t-il dans le même sens qu’un critère extérieur qui permet de détecter la présence ou le niveau du construit à l’étude?
- Si le test mesure le construit, il devrait réagir de façon semblable à
cette autre façon d’estimer le construit. - La validité de critère d’un test est influencée par…
• Le critère employé (sa fidélité, sa validité, contamination du critère);
• La fidélité du test à l’étude (principe d’atténuation). - La validité critériée est une forme de validité empirique. Il est toujours pertinent que des études de validité critériée soient réalisées.
Quels sont les 3 grandes catégories de critères ?
- Critère externe réaliste
- Groupes contrastés
- Un test reconnu pour évaluer le construit d’intérêt ou un construit plus ou moins associé
Quel est la démarche employée pour la validité critériée ?
Si critère externe réaliste ou groupes contrastés, 2 démarches possibles:
- Concomitante:
• Le critère est évalué en même temps que le test.
- Prédictive:
• Le critère est su après le test seulement.
Si le critère est un test, 2 démarches possibles:
- Validité convergente:
• Le test est mis en lien avec un autre qui mesure le même construit ou un construit associé.
- Validité divergente:
• Le test est mis en lien avec un autre qui mesure un construit différent, peu en lien avec le test ou moins en lien avec le test.
Dans la littérature, les validité convergente et divergente sont associées autant à la validité critériée qu’à la validité de construit. Vrai ou faux ?
Vrai.
Comment interprète-t-on une corrélation avec la validité critériée ?
- Corrélation positive ou négative, tout dépendant du lien conceptuel attendu entre le
critère et le test. - La corrélation attendue sera modérée et plus, tout dépendant du critère employé (r =0,40 et plus).
Comment interprète-t-on des résultats d’une comparaison de moyenne ?
- Comparaison de la moyenne de groupes au test (test T, anova, oneway, etc).
- La différence entre les moyennes doit aller dans le sens attendu et être significative (p<0,05).
Comment interprète-t-on des résultats selon la théorie de la décision ?
- Analyse de l’efficience d’un test:
• Vise à estimer dans quelle mesure le test est capable de prédire l’appartenance au groupe en fonction des résultats à celui-ci.
• Concrètement, un seuil est fixé dans le test qui déterminera l’appartenance ou non à un groupe. - Plus utile avec les tests de classement ou de diagnostic:
• Tests d’intelligence.
• Tests évaluant les désordres de la personnalité.
Expliquez la différence entre le taux d’efficience, le taux de sensibilité et le taux de spécificité.
Efficience = Combien de sujets sont bien classés avec ce test? Sensibilité = Combien d’individus du groupe critère sont bien classés? Spécificité = Combien d’individus des groupes de contrôle sont bien classés?
Quels sont les principes de base de la validité de construit ?
- L’instrument réagit-il de façon similaire au construit, si on l’expose à des variables qui entretiennent un lien avec le construit?
• Vérifier l’effet de différentes variables expérimentales sur les résultats au test.
• Vérifier si les résultats fluctuent en fonction de changements
développementaux qui influencent le construit. - Est-ce que l’opérationnalisation du construit est conforme à la théorie sous-
jacente au test?
• Vérifier si les dimensions postulées par l’auteur du test sont réellement
présentes dans le test (analyses factorielles).
• Dès qu’un test propose des dimensions (plusieurs scores), il est pertinent de réaliser des analyses factorielles.
Quels sont les contextes d’utilisation de la validité de construit ?
- Interprétation des données d’analyses factorielles :
- Une analyse factorielle calcule de multiples corrélations entre les parties d’un test. Elle
permet d’identifier les parties d’un test qui corrèlent le plus entre elles afin de constituer
des regroupements. Ces regroupements devraient refléter la théorie postulée. - Les analyses factorielles fournissent des niveaux de saturation variant de 0 à 1 pour
chacun des scores que l’on retrouve dans un test. - En fonction de ces balises:
• Quels sont les sous-tests du test Wechsler qui reflètent moins bien la théorie postulée?
Quels sont les meilleurs sous-tests (diapositive suivante)?
• Que conclure quant à la structure factorielle du test de coping?
Quel sont les principes de base de la validité de conséquence ?
- Renvoie aux conséquences tant positives que négatives associées au fait d’utiliser un test.
- Implique de prendre en compte l’énoncé d’intention du test, i.e. l’utilisation projetée par les concepteurs.
Quels sont les opinions/critiques sur la validité de conséquence ?
Les experts sont en désaccord sur le bien fondé de cette forme de validité:
• Certains considèrent qu’elle est essentielle;
• D’autres affirment que la conséquence de l’évaluation est plus une question de politique qu’une question de validité du test.
• Certains se demandent comment il serait possible de définir toutes les conséquences liées à l’usage d’un test pour les évaluer?
• Pour l’instant, c’est une forme de validité peu définie et peu étudiée.
En quoi consiste la généralisation de la validité ?
Consiste à soupeser toutes les preuves existantes de validité d’un test pour juger de la validité probable de celui-ci dans des circonstances données.
