Psychométrie > 5- Validité > Flashcards

5- Validité Flashcards

(66 cards)

Study These Flashcards
1
Q

Qu’évalue-t-on avec la validité d’un instrument?

A

on veut généralement savoir s’il mesure vraiment ce qu’il prétend ou devrait mesurer. On veut savoir si l’échantillon D’items de l’échelle représente bien le construit qu’on veut mesurer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Que détermine le degré de validité?

A

détermine l’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle
(Plus le degré de validité est élevé, plus on peut faire des inférences solides. Plus il est faible, plus il faut être prudent)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quelle est la question principale à se poser pour évaluer la validité?

A

« est-ce que ce test est une mesure valide de ce construit, pour cette population et pour cette application particulière
“

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Quels sont les 3 aspects qui doivent être évalués pour évaluer la validité?***

A

1.Est-ce qu’il mesure bien le construit qu’il prétend mesurer ?
2.Est-ce qu’il mesure bien ce construit pour la population ciblée (e.g., groupe d’âge, niveau académique, groupe clinique particulier, etc.) ?
3.Est-ce qu’il mesure bien ce construit pour une application particulière (e.g., classifier dans des groupes diagnostiques, donner une valeur quantitative sur continuum, etc.) ?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quels sont les 3 points clés à propos de la validité des tests soulignés par les organisations professionnelles?

A
  1. La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique du test
  2. La validité est une question de degré
  3. La validité d’un test repose sur de solides bases théoriques et empiriques
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Quelles sont les 3 sources de validités?

A
  • Contenu
  • Construit (Factorielle, convergente, discriminante)
  • Critère (Concomitante, prédictive, incrémentielle)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

À quoi fait référence la vraisemblance?

A

Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de (a) les personnes qui sont évaluées avec le test (i.e., clients.es, profanes, non-experts.es qui sont évalués.es) et/ou (b) les personnes qui utilisent le test (i.e., intervenants.es, mais peut aussi être des représentants légaux reliés à la population ciblée, etc., par ex. parents, enseignants, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Vrai ou faux. La vraisemblance est une source de validité.

A

faux. c’est une validité d’apparence.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Comment détermine-t-on qu’une mesure détient une bonne vraisemblance?

A

lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle « semble pertinente et adéquate » pour mesurer le construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Vrai ou faux. La vraisemblance est la même chose que la validité de contenu

A

Faux. Pas du tout la même chose

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Quel est le lien entre la vraisemblance et la validité?

A

Si l’instrument ne paraît pas valide ou vraisemblable pour les personnes évaluées/utilisatrices dans les situations concrètes d’évaluation, cela peut devenir une menace à la validité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Qu’est-ce que la validité de contenu?

A

Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Comment est souvent établie la validité de contenu?

A

La plupart du temps, établie de façon déductive:
- Les auteurs.trices du test demandent à un groupe d’experts.es indépendants.es de se prononcer sur la pertinence des items

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quelles questions sont posées pour déterminer la validité de contenu?

A
  1. Chaque item individuellement correspond bien au construit ?
  2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) du construit d’intérêt ?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Quel concept est central dans la validité de contenu?

A

La représentativité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Que veut-on dire par représentativité?

A
  • Tous les domaines (et sous-domaines) du construit sont-ils représentés ?
  • Éviter la sur- ou sous-représentation d’items des différents sous-domaines du construit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Comment les auteurs peuvent-ils construire une échelle ?

A
  • Doivent décrire les domaines et sous-domaines du construit d’intérêt:
  • Doivent se demander:
    Quels sont les domaines inclus selon la théorie/recherches?
    Quelle est l’importance relative de chacun?
    Y a-t-il des sous-domaines selon la théorie/recherches?
    Quelle est leur importance relative?
    Avec quels items (et de quel format) peut-on bien représenter ces domaines et/ou sous-domaines?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

À partir de quoi les chercheurs.euses définissent un construit?

A
  • Cadre théorique ( Une théorie, un concept théorique, plusieurs théories ensemble. Ex: Bandura dit que l’auto-efficacité c’est… )
  • Recherches empiriques (Rescension)
  • Connaissances et expériences professionnelles/pratiques
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Quels sont les 2 types de validité de contenu?

A
  • Nominale : auteurs.trices du test
  • Consensuelle** : groupe de spécialistes indépendants (meilleure option)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Comment peut-on estimer le degré de validité de contenu empiriquement?

A

Avec une échelle de mesure quantitative, on demande à des experts.es indépendants.es d’estimer :
A. à quel point (degré) chacun des items d’un test est pertinent et représentatif du construit d’intérêt
B. à quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit

Choix de réponse avec une gradation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Quels sont les différents types d’indice de validité de contenu? Comment les calcule-t-on?

A
  • IVC-I = Nombre d’experts.es qui ont jugé l’item représentatif (choix 2 ou 3), divisé par le nombre total d’experts.es (Par item)
  • IVC-É = Proportion d’items jugés représentatifs (choix 2 ou 3) – ou dit autrement, la moyenne des IVC-I – divisée par le nombre total d’experts.es (Pour l’échelle totale)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Quelles sont les 2 grandes menaces à la validité de contenu?

A
  1. Inclusion de contenu conceptuellement non pertinent
  2. Sous-représentation conceptuelle de certains domaines du construit
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

À quoi réfère la validité de construit?

A

Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Comment peut-on vérifier la validité de construit?

A
  1. Validité factorielle
  2. Validité convergente / discriminante
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Qu'Est-ce qu'un réseau nomologique?
Le réseau nomologique est la théorie expliquant le construit par le biais de ses interrelations avec d’autres construits
26
Que devrait représenter le réseau nomologique?
devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants
27
Que peut inclure le réseau nomologique?
Le réseau nomologique concerne souvent relations concurrentes, mais peut inclure des facteurs étiologiques (i.e., les précurseurs, ou facteurs de risque du construit (si on mesure une psychopathologie)) et des conséquences développementales
28
Que vérifie-t-on avec la validité factorielle?
* On veut vérifier si la structure factorielle théorique qui représente le construit est reproduite sur le plan empirique (i.e., avec des données)
29
Dans la validité factorielle, qu'utilise-t-on pour représenter une dimension latente?
un facteur
30
Qu'Est-ce qu'un facteur?
une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente
31
Quels sont les 2 aspects à vérifier dans la structure factorielle théorique?
1. Les items sont-ils significativement (statistiquement) associés au facteur (construit) ? 2. Dans le cas d’un instrument multidimensionnel, a) Les items sont-ils significativement associés au bon facteur et non-associés aux autres facteurs ? b) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général (e.g., traits spécifiques associés à trait général) ?
32
En quoi consiste l'analyse factorielle exploratoire?
Permet de voir si les items sont associés au bon facteur; le logiciel le fait On identifie des regroupements d’items inter-corrélés (les gens y répondent de la même façon), signifiant que les individus tendent à y répondre de façon similaire
33
Quel est le critère classique en analyse factorielle exploratoire?
on devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur
34
En quoi consiste l'analyse factorielle confirmatoire?
- Le chercheur.euse impose une structure stricte a priori à la matrice de corrélations (ou de covariances) et teste si elle correspond aux données - on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs
35
Quelle méthode d'analyse devrait-on utiliser à l'étape de la validation?
analyse factorielle confirmatoire
36
De quoi s'Agit-il? Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le même construit théorique
Validité convergente
37
De quoi s'Agit-il? Degré auquel les scores d’une échelle ne sont pas associés avec une échelle qui ne mesure pas le même construit
Validité discriminante
38
Quelle méthode est idéale pour tester la validité discriminante et convergente?
La méthode de la matrice multitraits-multiméthodes
39
À quoi réfère la validité de critère? (Aussi appelé validité pragmatique)
Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus
40
Comment teste-t-on la validité de critère?
- Les scores à l’échelle sont donc comparés à ceux d’un critère externe - Le critère devrait être une mesure objective et indépendante de l’instrument, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)-
41
Quels sont les 2 grands types de validité de critère?
- Validité de critère concomitante - Validité de critère prédictive
42
Quelles sont les 2 façons d'estimer la validité de critère concomitante?
- Corrélation avec un critère indépendant - Méthode des groupes contrastés (On teste les différences de scores moyens entre des groupes)
43
De quoi les tests suivants sont-ils des exemples? - Test d’intelligence avec réussite académique (notes) - Test d’empathie avec conduites délinquantes
Corrélation avec un critère indépendant pour estimer la validité de critère concomitante
44
En quoi consiste la validité de critère prédictive?
Le degré auquel une mesure est capable de prédire un critère externe prospectivement, i.e. plus tard dans le temps
45
De quoi avons nous besoin pour estimer la validité de critère prédictive?
d'une étude longitudinale prospective
46
De quoi s'Agit-il? * À quel point les scores à un test ont une « valeur ajoutée » pour prédire un critère externe, au-delà de la capacité d’autres facteurs (autres tests) prédictifs importants ?
Validité incrémentielle
47
À quoi est lié la validité incrémentielle?
* Liée à l’idée de « contrôle statistique » en analyse de régression e.g., quel est l’effet d’un prédicteur important après que le SSÉ soit contrôlé ?
48
À quoi peut-on appliquer la validité incrémentielle?
- En contexte de classification (Ex: les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire) - à la révision d'un test: Les scores de la nouvelle version (a) prédisent mieux que l’ancienne version un critère au-delà de facteurs de contrôle, ou encore (b) procurent une meilleure sensibilité et spécificité que l’ancienne version
49
Que comprend la théorie de la décision et à quoi sert-elle?
La théorie de la décision comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests
50
Dans quels contextes la théorie de la décision est-elle pertinente?
Pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, la dérogation scolaire, etc.
51
Concrètement, de qu'est-ce que la théorie de la décision?
Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent classifier adéquatement les personnes dans des groupes
52
À quoi réfère le concept de sensibilité?
Capacité d’une échelle de procurer un résultat positif pour les personnes présentant le statut (e.g., un trouble) qu’elle prétend identifier. Se rapporte donc à la capacité de détection
53
Qu'est-ce que la spécificité?
Capacité d’une échelle de procurer un résultat négatif pour les personnes ne présentant pas le statut (ex., un trouble) qu’elle prétend identifier. Se rapporte donc à la capacité de discrimination
54
Quel concept se rapport à la capacité de détection d'un test? et à la capacité de discrimination d'un test?
- Détection: sensibilité - Discrimination: spécificité
55
En quoi consistent les indices de sensibilité et de spécificité?
des observations empiriques de la performance rétrospective d’un test calculés à partir d’une classification de différents groupes diagnostiques (ou d’attributs autres). On estime la proportion des individus dont le statut est connu en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère
56
Sur quoi se basent les indices de sensibilité et de spécificité?
* Ces indices sont déterminés par le score critère établi par les auteurs.trices du test * Si le score critère suggéré pour identifier le trouble est changé, les indices de sensibilité et de spécificité de l’échelle vont aussi changer (voir Tableau)
57
Quelle est la tâche importante en clinique à faire en regard du pouvoir prédictif des tests?
- En clinique, la tâche de l’évaluateur.trice est plutôt de déterminer le niveau de confiance qui peut être accordé à un résultat positif (ou un résultat négatif) pour un individu classifié - Autrement dit, on veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif à un test
58
Qu'est-ce que le pouvoir prédictif positif?
La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit
59
Qu'est-ce que le pouvoir prédictif négatif?
La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit
60
De quoi dépendant les PPP et les PPN?
dépendent de la prévalence du trouble. Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence
61
Quelle est la règle générale pour l'ensemble des tests de dépistage en regard des PPP et des PPN?
Lorsque la prévalence est faible, le PPN > PPP – et c’est l’inverse lorsque prévalence élevée
62
Quels sont les 2 problèmes potentiels avec les indices de sensibilité, de spécificité et de pouvoir prédictif?
1. L’estimation de ces indices statistiques dépend de la validité et de la fidélité du critère utilisé (e.g., est-ce que les diagnostics du DSM sont suffisamment valides et fiables ?) 2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile. Néanmoins, des estimés imprécis (sans être grossièrement incorrects) n’ont pas un impact important sur les estimés du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées (e.g., Griner et al., 1981)
63
Vrai ou faux. La fidélité est une condition nécessaire à la validité.
Vrai
64
Quel concept est un préalable à la fidélité?
la validité
65
Comment son reliés les indices de validité et de fidélité?
- Les deux sont interreliées empiriquement: les indices de validité sont directement influencés par le degré de fidélité - Quantité d’erreur influence la taille des corrélations; le nombre d’items aussi
66
Psychométrie
flashcards
Decks in class (13)
# Cards
Brainscape helps you reach your goals faster, through stronger study habits.
© 2026 Bold Learning Solutions. Terms and Conditions