1
Q
Qu’est-ce que la validité?
A
Lorsqu’on évalue la validité d’un instrument de mesure, on veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer. On veut savoir si l’échantillon d’items (i.e., les questions)de l’échelle représente bien le construit qu’on veut mesurer
2
Q
Le degré de validité détermine l’________________________ et les _____________________ que l’on peut faire à partir des scores d’une échelle
A
Le degré de validité détermine l’INTERPRÉTATION et les INFÉRENCES que l’on peut faire à partir des scores d’une échelle
3
Q
Vrai ou faux
Le nom d’un test ou d’une échelle constitue toujours un indice adéquat du construit mesuré
A
Faux
Le nom d’un test ou d’une échelle ne constitue pas toujours un indice adéquat du construit mesuré – Soyez toujours méfiants.es !
4
Q
La vraie question n’est pas «est-ce que ce test est valide ou pas», mais bien:
A
«est-ce que ce test est une mesure valide de ce construit, pour cette population et pour cette application particulière»
5
Q
Vrai ou faux
Pour plusieurs auteurs.trices, demander si un test «mesure vraiment ce qu’il prétend ou devrait mesurer» est trop général et fait peu de sens
A
Vrai
6
Q
La validité d’un test ou d’une mesure doit être évaluée relativement à trois aspects, quels sont-ils?
A
- Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
- Est-ce qu’il mesure bien ce construit pour la population ciblée (e.g., groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
- Est-ce qu’il mesure bien ce construit pour une application particulière (e.g., classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?
7
Q
Les organisations professionnelles soulignent trois points clés à propos de la validité des tests, quels sont-ils?
A
- La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique du test
- La validité est une question de degré ; ce n’est pas une question absolue, de «tout ou rien»
- La validité d’un test repose sur de solides bases théoriques et empiriques
8
Q
Quelles sont les 3 sources de validité?
A
- Contenu
- Construit (factorielle, convergente, discriminante)
- Critère (concomitante, prédictive, incrémentielle)
9
Q
Vrai ou faux
La vraisemblance est une source de validité
A
Faux
Les auteurs font parfois l’erreur. La vraisemblance est parfois confondue avec la validité de contenu.
10
Q
Qu’est-ce que la vraisemblance?
A
- Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de (a) les personnes qui sont évaluées avec le test (i.e., clients.es, profanes, non-experts.es qui sont évalués) et/ou (b) les personnes qui utilisent le test (i.e., intervenants.es, mais peut aussi être des représentants légaux reliés à la population ciblée, etc., par ex. parents, enseignants, etc.)
- Une mesure détient une bonne vraisemblance lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle «semble pertinente et adéquate» pour mesurer le construit
- Si l’instrument ne paraît pas valide ou vraisemblable pour les personnes évaluées/utilisatrices dans les situations concrètes d’évaluation, cela peut devenir une menace à la validité
11
Q
Quels sont les facteurs qui peuvent influencer la vraisemblance?
A
- Contexte d’évaluation (e.g., endroit physique de l’administration, les consignes, attitude et apparence physique de l’évaluateur.trice, etc.)
- Capacités cognitives des répondants.es
- Santé mentale et état psychologique des répondants.es
- Personnalité des répondants.es
- Motif de l’évaluation (désirabilité sociale [+ ou -])
- etc.
12
Q
Qu’est-ce que la validité de contenu?
A
- La plus importante (pourtant négligée)
- Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit
- La plupart du temps établie de façon déductive
- Les auteurs.trices du test demandent à un groupe d’experts.es indépendants.es de se prononcer sur la pertinence des items
On demande est-ce que :
1. Chaque item individuellement correspond bien au construit ?
2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) expliqués par le construit d’intérêt ?
13
Q
Vrai ou faux
Il est difficile de faire un bon échantillonnage de contenu pour des construits psychologiques complexes – et ici, les méthodes statistiques ne sont d’aucune aide … ou presque
A
Vrai
14
Q
Comment pouvons-nous vérifier la représentativité du validité de contenu?
A
- Tous les domaines (et sous-domaines) du construit sont-ils représentés ?
e.g., Échelle d’agressivité: agressivité directe, indirecte, réactive, proactive, physique, relationnelle, etc. - Éviter la sur- ou sous-représentation d’items des différents sous-domaines du construit
15
Q
Avant de construire une échelle, les auteurs.trices doivent toujours décrire en détails et de façon compréhensive les différents _______________ et ______________ du construit d’intérêt
A
Avant de construire une échelle, les auteurs.trices doivent toujours décrire en détails et de façon compréhensive les différents DOMAINES et SOUS-DOMAINES du construit d’intérêt
16
Q
À partir de quoi les chercheurs.euses définissent un construit (et donc, son contenu) ?
A
- Cadre théorique
- Recherches empiriques (recension)- expérience/observation
- Connaissances et expériences professionnelles/pratiques
17
Q
Nommer 2 types de validité de contenu
A
Nominale : fait par auteurs.trices du test
Consensuelle : fait par groupe de spécialistes indépendants
18
Q
Comment pouvons-nous quantifier le degré de validité de contenu?
A
Donner aux experts.es un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout
ex., Extraversion : «Dans une situation sociale impliquant plusieurs personnes, j’ai de la difficulté à faire les premiers pas pour aller vers les autres»
Pas du tout pertinent / représentatif = 0
Un peu pertinent / représentatif = 1
Assez pertinent / représentatif = 2
Très pertinent / représentatif = 3
19
Q
Puisque nous avons des données numériques, on peut donc calculer un ___________________________________. En calculant un indice pour chaque item et pour l’échelle totale.
A
indice de validité de contenu
20
Q
Quelles sont les 2 grandes menaces à la validité de contenu?
A
- Inclusion de contenu conceptuellement non pertinent
e.g., des items d’hyperactivité sont intégrés dans une échelle d’inattention - Sous-représentation conceptuelle de certains domaines du construit
21
Q
Qu’est-ce que la validité de construit?
A
Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes
22
Q
Vrai ou faux
La validité se situe sur un continuum (on ne peut pas dire que qqchose est complètement valide ou non)
A
Vrai, on parle de degré de validité
23
Q
Quelles sont les deux grandes façons de vérifier la validité de construit?
A
- Validité factorielle
- Validité convergente / discriminante
24
Q
Qu’est-ce qu’un réseau nomologique?
A
- La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits (Cronbach & Meehl, 1955)
- Nomologie est «l’étude des lois», donc bien plus qu’une liste de domaines ou sous-domaines
- RN devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants
25
Le réseau nomologique concerne souvent relations concurrentes, mais peut inclure des facteurs ___________________ (i.e.e, les précurseurs, ou facteurs de risque du construit (si on mesure une psychopathologie)) et des _______________________ développementales plus distales
- RN devrait _______________ être dans le manuel du test, mais y est _________________ …
Le réseau nomologique concerne souvent relations concurrentes, mais peut inclure des facteurs ÉTIOLOGIQUES (i.e.e, les précurseurs, ou facteurs de risque du construit (si on mesure une psychopathologie)) et des CONSÉQUENCES développementales plus distales
- RN devrait TOUJOURS être dans le manuel du test, mais y est RAREMENT …
26
Vrai ou faux
Il y a un lien direct entre les comportements anti sociaux d'un adolescent et ses conditions socioéconomiques
Faux, il n'y a pas de lien direct entre ces deux aspects (mais peut y avoir des liens indirects)
27
Qu'est-ce que la validité factorielle?
- On veut vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique (i.e., avec des données)
Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (e.g., traits spécifiques associés à trait général) ?
domaines = facteurs
28
- On utilise généralement le terme « ___________ » pour représenter une dimension latente (ou trait latent), d’où l’utilisation du terme validité factorielle
- Ceci une réduction parcimonieuse de plusieurs variables (items ou questions) en une variable ___________________________
- Dans les instruments ________________________________, les items se regroupent évidemment en plusieurs ________________
- On utilise généralement le terme « FACTEUR » pour représenter une dimension latente (ou trait latent), d’où l’utilisation du terme validité factorielle
- FACTEUR : une réduction parcimonieuse de plusieurs variables (items ou questions) en une variable LATENTE HYPOTHÉTIQUE
- Dans les instruments MULTIDIMENSIONNELS, les items se regroupent évidemment en plusieurs FACTEURS
29
L’objectif est de vérifier deux aspects inter-reliés de la structure factorielle théorique, quels sont-ils?
- Les items sont-ils significativement (statistiquement) associés au facteur (construit) ?
- Dans le cas d’un instrument multidimensionnel, les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs ? Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général
30
Quels sont les 2 types de validité factorielle?
1. Analyse factorielle exploratoire
2. Analyse factorielle confirmatoire
31
Qu'est-ce que l'analyse factorielle exploratoire?
- On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire (e.g., Si les répondants.es ont tendance à répondre oui à la Q#1 ont aussi tendance à répondre oui à Q#5 et à Q#8, ces items seront donc regroupés dans un même facteur)
- Le chercheur.euse n’impose aucune restriction à la matrice de corrélations (ou de covariances) entre les items
- Critère classique : on devrait avoir des saturations factorielles (corrélation entre variable observé et facteur)de 0,40 ou plus pour les items associés à un facteur
32
Qu'est-ce que l'analyse factorielle confirmatoire?
- Le chercheur.euse impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données (i.e., on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs)
- C’est la méthode qu’il faudrait normalement employer à l’étape de la validation puisque la structure est supposée être connue
33
Vrai ou faux
L'analyse factorielle confirmatoire est encore trop peu employée en psychométrie
Vrai, c'est ainsi en partie parce que les analyses statistiques sont plus complexes
34
Comment pouvons-nous distinguer la validité convergente de la validité discriminante?
Validité convergente : Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
***monotrait-hétérométhode***
Validité discriminante : Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure PAS le même construit
***hétéro-trait-monométhode***
Habituellement, on les test ensemble
35
L’idéal pour tester rigoureusement la validité C/D est d’employer la méthode de la ____________________________________________
matrice multitraits-multiméthodes
36
Qu'est-ce que la matrice multitraits-multiméthodes?
Voir page 32 du powerpoint 5
37
Qu'est-ce que la validité de critère?
- Aussi appelée validité pragmatique
- Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
- Les scores à l’échelle sont donc comparés à ceux d’un critère externe
- Le critère devrait être une mesure objective et indépendante, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)
ex:
critère : test sur l'aptitude mécanique
scores : performance dans un programme de formation professionnel
38
Quels sont les 2 grands types de validité de critère?
Concomitante et prédictive
39
Quelles sont les 2 façons d'estimer la validité de critère concomitante?
1. Corrélation avec un critère indépendant :
- Test d’intelligence avec réussite académique (notes)
- Test d’empathie avec conduites délinquantes
2. Méthode des groupes contrastés :
- On teste les différences de scores moyens entre des groupes (e.g., Pour EDC, on prend un échantillon d’enfants déjà identifiés avec des TC (par psychologues scolaires) et on les compare avec un groupe d’enfants sans TC afin de déterminer si les scores à l’EDC distinguent bien les groupes )
40
Qu'est-ce que la validité de critère prédictive?
- Le degré auquel une mesure est capable de prédire un critère externe prospectivement, i.e. plus tard dans le temps
- Besoin d’une étude longitudinale prospective
- e.g., les scores à une échelle d’impulsivité à la fin de l’enfance peuvent-ils prédire l’abus de psychotropes lorsque les individus sont au début de l’adolescence, deux ans plus tard ?
- e.g., les scores sur une échelle de qualité de l’attachement aux parents au préscolaire permettent-ils de prédire un diagnostic d’anxiété de séparation plus tard, à l’entrée à l’école ?
41
Qu'est-ce que la validité incrémentielle?
- Forme de validité pas toujours présente dans les livres de psychométrie, mais dans les faits, est une forme spécifique de validité de critère (Haynes & Lench, 2003)
- À quel point les scores à un test ont une « valeur ajoutée » pour prédire un critère externe, au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants ?
- Liée à l’idée de « contrôle statistique » en analyse de régression (e.g., quel est l’effet d’un prédicteur important après que le SSÉ soit contrôlé ?)
- En contexte de classification (par ex., les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire)
- Peut aussi s’appliquer à la révision d’un test (Les scores de la nouvelle version (a) prédisent mieux un critère au-delà de facteurs de contrôle, ou encore (b) procurent une meilleure sensibilité et spécificité que l’ancienne version)
42
Qu'est-ce que la théorie de la décision?
- La théorie de la décision comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests (Glaros & Kline, 1988; Wiggins, 1973)
- Pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, la dérogation scolaire, etc.
- Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
43
Vrai ou faux
Les concepts de la théorie de la décision sont intimement liés à la validité de critère
Vrai
44
Validité et prédiction
Voir page 39 du powerpoint 5
45
Qu'est-ce que la sensibilité?
- Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (e.g., un trouble) qu’elle prétend identifier
- Se rapporte donc à la capacité de détection
- Dans le tableau 2 X 2, on voit qu’il s’agit simplement des vrais positifs divisés par tous ceux qui ont vraiment le statut (i.e., trouble)
46
Qu'est-ce que la spécificité?
- Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut (ex., un trouble) qu’elle prétend identifier
- Se rapporte donc à sa capacité de discrimination
- Dans le tableau 2X2, on voit qu’il s’agit des vrais négatifs divisés par tous ceux qui n’ont réellement pas le statut (i.e., trouble)
47
Les indices de sensibilité et de spécificité sont des observations empiriques de la ______________________________ d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres).
On estime la ___________________ des individus dont le statut est ____________ en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère.
Ces indices sont déterminés par le _____________________ établi par les auteurs.trices du test.
Les indices de sensibilité et de spécificité sont des observations empiriques de la PERFORMANCE RÉTROSPECTIVE d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres).
On estime la PROPORTION des individus dont le statut est CONNU en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère.
Ces indices sont déterminés par le SCORE CRITÈRE établi par les auteurs.trices du test.
48
***Vrai ou faux
Si le score critère suggéré pour identifier le trouble est changé, les indices de sensibilité et de spécificité de l’échelle vont aussi changer
Vrai
49
Vrai ou faux
Malgré le besoin de connaître le statut, dans la pratique clinique, les tests sont utilisés avec des personnes dont le statut n’est pas connu (ou pas confirmé), par exemple pour le dépistage
Vrai
50
En clinique, la tâche de l’évaluateur.trice est plutôt de déterminer le _____________________ qui peut être accordé à un résultat positif (ou un résultat négatif) pour un individu classifié.
Autrement dit, on veut savoir la probabilité qu’un individu ____________________________________, étant donné un résultat positif à un test.
Pour obtenir des indices probabilistes de ce genre, il faut calculer le __________________________ d’une échelle
En clinique, la tâche de l’évaluateur.trice est plutôt de déterminer le NIVEAU DE CONFIANCE qui peut être accordé à un résultat positif (ou un résultat négatif) pour un individu classifié.
Autrement dit, on veut savoir la probabilité qu’un individu PRÉSENTE RÉELLEMENT LE TROUBLE, étant donné un résultat positif à un test.
Pour obtenir des indices probabilistes de ce genre, il faut calculer le POUVOIR PRÉDICTIF d’une échelle
51
Qu'est-ce que le pouvoir prédictif positif (PPP) et le pouvoir prédictif négatif (PPN)?
PPP : La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
PPN : La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit
52
Comment pouvons-nous différencier les PPN et PPP de la sensibilité et spécificité?
- Les PPN et PPN sont des indices de performance extrinsèques d’un test et ils dépendent de la prévalence du trouble. Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence
- Sensibilité et spécificité sont des paramètres d’un test – ils sont seulement influencés par le score critère choisi (la prévalence est fixe, puisqu’elle est connue)
- PPP et le PPN sont quant à eux des paramètres d’un test et de la prévalence du trouble
53
Vrai ou faux
Lorsque la prévalence est faible, le PPN > PPP – et c’est l’inverse lorsque prévalence élevée
Vrai
54
Quels sont les 2 problèmes potentiels avec les indices de sensibilité, spécificité et de pouvoir prédictif?
1. L’estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé (e.g., est-ce que les diagnostics du DSM sont suffisamment valides et fiables ?)
2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile (Néanmoins, des estimés imprécis (sans être grossièrement incorrects) n’ont pas un impact important sur les estimés du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées)
55
Vrai ou faux
La validité est un préalable à la fidélité
Vrai
À quoi sert de ne pas faire d’erreur de mesure si on ne sait pas ce qu’on mesure vraiment ?
56
Vrai ou faux
La fidélité est une condition nécessaire à la validité
Vrai
Est-ce qu’on mesure vraiment ce qu’on prétend mesurer si on fait beaucoup d’erreurs de mesure ?
57
Vrai ou faux
les indices de validité sont directement influencés par le degré de fidélité
Vrai
Quantité d’erreur influence la taille des corrélations; le nombre d’items aussi
58
il faut toujours se rappeler que les chercheurs.euses valident un instrument d’évaluation pour une __________________ particulière et/ou une _________________ particulière.
Ne jamais oublier : autant la fidélité que la validité est une question de ____________
il faut toujours se rappeler que les chercheurs.euses valident un instrument d’évaluation pour une POPULATION particulière et/ou une UTILISATION particulière.
Ne jamais oublier : autant la fidélité que la validité est une question de DEGRÉ
59
Vrai ou faux
Les scores d’un instrument peuvent être tout à fait valides et très fiables pour une population et une utilisation particulière, mais pas du tout pour une autre population ou une autre utilisation
Vrai
Psychométrie et évaluation normative
flashcards
Decks in class (11)
# Cards
