cours 5 : validité

Question 1

Donne 5 exemples de la validité

Answer 1

1. Admissions à l’Université de Drummondville
2. Inventaire de dépression et diagnostic
3. Dépistage des problèmes scolaires
4. Inventaire de personnalité
5. Test de rendement

Question 2

Généralement, c’est quoi la définition de la validité?

Answer 2

Est-ce qu’un test mesure ce qu’il devrait mesurer?

Question 3

Donne 3 précisions à la définition de la validité

Answer 3

1. Un score dans un but précis
2. Une question de degré et non pas de tout ou rien
3. Validité vs exactitude des normes

Question 4

Explique ce que veut dire “un score dans un but précis” pour la validité

Answer 4

Doit pas dire test est valide ou test n’est pas valide
- Doit dire le test est valide pour qqch (ex: mon entrevue est valide pour prédire le rendement des vendeurs de voiture dans 1 an)

Question 5

C’est quoi le degré? (de validité)

Answer 5

Le coefficient de corrélation (mesure le degré de lien entre 2 variables)

Question 6

Explique la précision “une question de degré et non de tout ou rien” pour la validité. Surtout…?

Answer 6

Surtout comparativement aux autres tests…
- 0.3
- 0.4 (test est golden standard)
- Vs si votre test prédit à 0.5 mais tous les autres tests aussi on s’en fou un peu plus

*Donc quand dit test est valide pour prédire le rendement des vendeurs de voiture dans 1 an à 0.5 mieux qu’à 0.3
- Donne coefficient de corrélation entre les 2

Question 7

Explique validité vs exactitude des normes

Answer 7

Même si valide, veut pas dire que normes sont exactes ou valable
- Questionnaire sur consommation d’alcool pour dépister alcoolisme problématique et soir de vin et fromage et regarde qui capable de marcher ou non; corrélation très forte
—> Est-ce que normes seraient valable pour population en général

Question 8

Explique l’adéquation du test construit, donne les 3 composantes nécessaires

Answer 8

1. Mesure valide
   - Superposition du test et du construit
2. Construit sous-representé
   - exemples
3. Variance non pertinente
   - Exemples
   —> Règle générale: partir avec une bonne definition (pour verifier que tous les aspects du construit sont compris)

Question 9

Le tableau du classement traditionnel pour établir validité contenait quelles 3 composantes?

Answer 9

1. Contenu
2. Critère
   - concomitante
   - prédictive
3. Construit

*Autrefois, lorsque voulait établir la validité, fallait établir validité de contenu, valitdité de critère et validité de construit
*Ces termes là sont encore là dans le nouveau système mais maintenant en plus il faut validité congervente et divergente

Question 10

C’est quoi les 4 composantes du nouveau classement pour établir la validité?

Answer 10

1. Contenu
2. Relations avec d’autres variables
   - Convergente et discriminante
   - Test-critère (= validité de critère)
3. Structure interne (= validité de construit (méthode utilisée = analyse factorielle))
4. Conséquences

Question 11

C’est quoi le premier type de validité?

Answer 11

validité d’apparence

Question 12

C’est quoi la validité d’apparence?

Answer 12

Est-ce que le test “paraît” valide ?
- Je suis souvent anxieux
- J’éprouve bcp d’anxiété
- L’anxiété et moi ne font qu’un

*Est-ce que le test a l’air de mesurer ce qu’il prétend mesurer
*Ex anxiété en haut: bonne validité d’apparence car a l’air d’étudier anxiété

Question 13

Pourquoi on ne trouve pas la validité d’apparence dans la classification?

Answer 13

car certains auteurs trouvent que ce n’est pas vrm scientifique

Question 14

Explique comment la validité d’apparence contraste avec des études empiriques

Answer 14

• Avant le MMPI de 1942 validité d’apparence était bcp prise en considération
• J’aurais aimé travailler dans un cirque ou une fête foraine
  *Dire oui à fête foraine donne 1 point à échelle de délinquance (avantage = change souvent de ville)

Question 15

Donne 1 force du MMPI

Answer 15

bcp d’items qui n’ont pas validité d’apparence élevé, contourne désirabilité sociale

Question 16

Donne une faiblesse de la validité d’apparence

Answer 16

Une des grandes faiblesses de la validité d’apparence c’est le problème de la désirabilité sociale (qui va dire oui à ça)

Question 17

Pourquoi il y a des divergences d’opinion à propos de la validité d’apparence?

Answer 17

Parfois utile ex: contexte d’emploi
*Validité d’apparence a une certaine importance pour maintenir la motivation de la personne (car voit le lien)

Question 18

C’est quoi un emploi typique de la validité de contenu? (2)

Answer 18

Tests en éducation et tests en emploi
- Analyse de poste

Question 19

La validité de contenu a un problème de quoi?

Answer 19

Un problème d’opérationnalisation

Question 20

Explique le problème d’opérationnalisation de la validité de contenu

Answer 20

Je donne des bonbons à mes enfants
- Renforcement positif ou négatif vs punition positive vs negative
–> Très peu discriminant car tout le monde l’a

*Problème d’opérationnalisation: chaque dimension vaut pour autant? (1/3 chaque?)
*ex: entrevue devrait montrer ce que tu vas faire
*Test devrait être adéquat du contenu

Question 21

Validité de contenu vs de construit?

Answer 21

Contenu = très théorique (parfois demande experts dans le domaine); validité d’apparence mais fait par personnes qui savent de quoi ils parlent
Construit = très statistique

Question 22

Donne un exemple de la validité de contenu avec l’alcoolisme

Answer 22

Veux faire un test sur l’alcoolisme
- Aller voir quelle est la définition de la variable et ses dimensions
- Définition alcoolisme (points sont dimensions) =
–> Dépendance (peut pas t’empêcher de boire)
—–> Items : quand je ne bois pas j’ai des symptômes de sevrage
–> Quantité en même temps
–> Boire malgré conséquences négatives
—-> Je continue de boire même si mon/ma partenaire me le reproche
—-> J’ai des problèmes d’égo à cause de ma consommation

Question 23

C’est quoi le principe de base de la validité de critère?

Answer 23

Relation du test avec un critère externe
- Critère externe = comportement qui n’est pas un test
—> ex: entrevue pour sélectionner vendeurs de voitures; critère serait nb de voitures vendues annuellement

Question 24

Donne un exemple de crière externe

Answer 24

Test d’agressivité à des enfants: critère nombre de coups de poing donnés dans cours d’école

Question 25

C'est quoi les 2 catégories de prédiction de la validité de critère?

Answer 25

1. Concomitante 2. Prédictive

Question 26

Validité de critère: C'est quoi la catégorie de prédiction 'concomitante'?

Answer 26

En même temps - Concomitante: test et tout de suite après dans cours d’école (dans les même 24h)

Question 27

Validité de critère: C'est quoi la catégorie de prédiction 'prédictive'?

Answer 27

Plus tard - Passe test et va voir un an plus tard qui a été arrêté - Psychologues aiment plus validité de critère prédictive (par contre plus le temps passe plus c’est difficile d’avoir une forte corrélation entre les deux)

Question 28

C'est quoi les 3 approches principales de la validité de critère?

Answer 28

1. Critère externe et réaliste 2. Contrastes entre les groupes 3. Autre test 

Question 29

Validité de critère: Explique l'approche principale de critère externe

Answer 29

S'attend à une corrélation le plus positive possible (doit retenir que s’attend à corrélation positive entre notre test er notre critère) - s’attend que ceux ayant haut score test aie haut score critère

Question 30

Validité de critère: Donne un exemple des contrastes entre les groupes

Answer 30

Création d’un test évaluant l’abus d’alcool - Étudiants à UdeSherbrooke vs - Clients à un centre de désintoxication *Veut le plus grand contraste possible entre groupe et groupe contraste (souhaitable)

Question 31

Validité de critère: C'est quoi qui est utilisé pour les contrastes entre les groupes?

Answer 31

D de cohen = (m groupe 1 – moyenne groupe 2)/écart type - Groupe 1 = 130 - Groupe 2 = 100 - D de cohen = 130-100/15 = 2 - Nécessairement 2 écarts types car 2 x 15

Question 32

Validité de critère: Plus le D de Cohen est élevé...?

Answer 32

PLUS le D de cohen est élevé plus ça veut dire que ça discrimine entre 2 groupes

Question 33

Validité de critère: Il est parfois difficile de quoi? pour le contraste entre les groupes

Answer 33

Parfois difficile d’obtenir un contraste significatif dépendamment des groupes utilisés - Clients atteints d’un Trouble anxieux généralisé - Étudiants en psycho à UdeS *Par contre, dans la vraie vie, quand ça arrive qu’on doit comparer détenus de pénitencier avec étudiants en psycho *Aimerait différencier dépression et vont faire une tentative de suicide (pas différence énorme) *Pas groupes si différents que ça *Peut pas nous attendre à un D de cohen immense entre les 2

Question 34

Droite de prédiction et dispersion

Answer 34

Peut y avoir points en dehors courbe normale (mais rarement)

Question 35

Groupes contrastés: Groupe à droite (usagers centre désintoxication) Groupe gauche = groupe contraste D de cohen exprime quoi? Explique les graphiques

Answer 35

- D de cohen qui exprime ampleur du contraste - Certains usagers du centre de désintox sont également aussi alcooliques que les plus alcooliques parmi les étudiants de l’udes (donc jamais discrimination parfaite; toujours un peu superposition) - D de cohen petit dans première image

Question 36

Validité de critère: C'est quoi les corrélations avec d'autres tests?

Answer 36

- Utilise bcp - Test de dépistage de personnalité doit être fortement corrélé avec autre test de référence - Pourquoi et quand? Des fois tests doivent être à jour - Simple application des méthodes corrélationnelles

Question 37

Validité de critère: Nomme 3 conditions affectant R

Answer 37

1. Linéarité 2. Homoscédascité ou non *Si groupe pas homogène il va y avoir restriction de la variance 3. Homogénéité du groupe

Question 38

Validité de critère: Relations fidélité validité?

Answer 38

Très important - Si mesure pas fidèle, va devenir problématique pour le corrélé avec y - Sait jamais si corrèle vrai score ou tlm de variation que quel score va prendre pour corréler avec y?

Question 39

Validité de critère: Doit se demander quoi? Donne 1 exemple

Answer 39

Jusqu’à quel point le critère est-il bon ? Exemple How I Think Questionnaire et critère juridique *Tel juge a pris telle décision récemment *Accord interjuge entre les juges est très faible (un juge peu donner une peine très sévère et un autre juge avec même dossier peut ne pas être sévère) (pas très fidèle) - Autres influences

Question 40

Validité de critère: Explique la contamination du critère

Answer 40

Si le test contamine le critère et donc créerait une corrélation artificiellement élevée - Si crée un test pour dépression et fais passer ce test là à plein de monde et ensuite voit psychologue (psychologue = critère; il décide si diagnostic ou non) ---> Psychologue doit pas avoir accès au test (il peut pas considérer ce qu’il y a dans le test) - Mes examens sont valides car ils sont corrélés avec moyenne en fin de bac (puisque donne bcp de cours c’est sur que moyenne ressemble notes)

Question 41

C'est quoi la validité convergente et discriminante?

Answer 41

Convergente = le degré auquel un test est corrélé avec d'autres tests qui mesurent le même construit ou un construit similaire Discriminante = pas de corrélation ou très faible corrélation avec autre chose

Question 42

Donne un exemple de la validité convergente

Answer 42

Si tu crées un nouveau test pour mesurer l’anxiété, il devrait correlater positivement avec d’autres tests reconnus d’anxiété (comme le STAI par exemple). Une corrélation élevée est un signe de validité convergente

Question 43

Donne un exemple de validité discriminante

Answer 43

Ton test d’anxiété ne devrait pas avoir de forte corrélation avec un test mesurant l’estime de soi ou l’intelligence, car ce sont des construits différents. Si la corrélation est faible, cela montre une bonne validité discriminante.

Question 44

La validité discriminante et convergente est facile à quoi?

Answer 44

Souvent facile à aller chercher

Question 45

Comment aller chercher la validité convergente et discriminante, donne un outil

Answer 45

Matrice Multitrait-multiméthode - Plus théorique que réellement utilisé *c’est l’idéal*

Question 46

Donne 1 exemple de la Matrice Multitrait-Multiméthode (explique la)

Answer 46

Crée Inventaire de dépression - Dépression n'est pas la même chose qu’anxiété ---> Mettons que dit que dépression est un trait et qu’anxiété est un trait donc 2 traits (Si plus qu’un trait appelle ça multitraits) - Inventaire de dépression avec tests objectifs (méthode pour évaluer des traits) et tests projectifs sont aussi une méthode pour évaluer les traits ---> DONC tests objectifs de dépression et anxiété et des tests projectifs de dépression et anxiété = matrice multitraits-multiméthodes Tests de dépression toujours corrélés plus forts avec des mesures de dépression qu'avec des mesures d’anxiété peu importe les instruments de mesure

Question 47

Corrélation simple vs régression simple ?

Answer 47

même chose

Question 48

Combiner de l'information consiste à quoi?

Answer 48

Plusieurs coefficients ‘’r’’ /betas - Pour prédire le rendement de qqun on va pas seulement utiliser une variable pour prédire on va utiliser plusieurs variables

Question 49

C'est quoi une régression multiple?

Answer 49

On veut prédire y à partir de x mais aussi à partir d’une autre variable indépendante (pourrait être une entrevue par exemple) *Explication de la variance R2 (même chose que R carré)

Question 50

Avantage de régression multiple

Answer 50

X prédisait y quand même assez bien mais pour 2 participants x prédisait très mal y mais en rajoutant une autre variable ça aide car - La variance d’erreur qui n’était pas prédite par x est prédite par le 2e x

Question 51

Objectif de plusieurs coefficients R/betas

Answer 51

2 prédicteurs ensemble prédisent 100% de la variance

Question 52

Qu'est-ce qu'il faut éviter lors d'un ajout d'un coefficient R (beta)? (2)

Answer 52

- Si explique toujours même variance avec régression multiple = aide pas - Doit éviter absolument d’aller tester la même variance (affaiblie ratio F) Important d'aller chercher prédicteurs qui vont mesurer variance pas encore mesurée (prédit y à partir de plusieurs betas)

Question 53

Quand veut prédire y, est-ce qu’on est mieux avec la prédiction statistique ou la prédiction clinique (Prédiction Statistique/Actuarielle vs. Prédiction Clinique)?

Answer 53

Résultat habituel = supériorité statistique - L’équation de régression fait habituellement moins d’erreur que la décision d’un clinicien - ex: assurances auto hommes vs femmes *Est-ce qu’on est mieux d'appliquer une formule statistique peu importe ce qu’il ce passe ou on donne la formule au clinicien qui décide si et comment l’utiliser?

Question 54

Prédiction Statistique/Actuarielle vs. Prédiction Clinique Cas spécial?

Answer 54

Cas spécial où de l’information est combinée provenant de plusieurs sources

Question 55

Quels sont les 3 termes pour la Théorie de la décision?

Answer 55

1. Hits 2. Faux positif 3. Faux négatif

Question 56

Théorie de la décision: C'est quoi les hits?

Answer 56

résultats exacts

Question 57

Théorie de la décision: C'est quoi les faux positifs?

Answer 57

Vous passez un test de dépistage du sida.  Vous n’avez pas le sida mais le test affirme que oui.

Question 58

Théorie de la décision: C'est quoi les faux négatifs?

Answer 58

Vous passez un test de dépistage du sida.  Vous avez le sida mais le test affirme que non.  

Question 59

Théorie de la décision: À chaque fois qu’on a un test on a un point de coupure à partir d’un résultat, pourquoi modifier ce point?

Answer 59

Pour jouer sur la sensibilité vs spécificité - Meilleur des mondes (100% sensibilité et 100% spécificité) vs réalité

Question 60

Théorie de la décision: Si on est trop... Sensible? Spécifique?

Answer 60

Si on est trop sensible on va manquer de spécificité Si trop spécifique va manquer sensibilité

Question 61

Théorie de la décision: Donne 2 exemples où il est mieux d'être trop sensible

Answer 61

1. Alarme d’incendie = mieux d’être trop sensible 2. Risque suicidaire = mieux d’être plus sensible que trop spécifique (mieux qqun en psychiatrie inutilement que le contraire)

Question 62

Théorie de la décision: Donne 1 exemple pour illustrer trop de sensibilité et trop de spécificité

Answer 62

Lever la main ceux qui ont pris 2 ou plus consommation d’alcool dans la dernière semaine; je vous déclare consommateurs d’alcool à problème - Si qqun a un problème d’alcool, pas mal certain que ramassé la personne dans le filet mais avec lui il y a plusieurs personnes que pas de problème ---> Veut dire que test trop sensible mais pas assez spécifique (pas juste consommateurs à problèmes dans mon groupe j’ai un paquet de faux positifs) Mais si dit, qui parmi vous a bu 49 consommations et plus la semaine dernière - Aucun faux positifs mais manque de sensibilité, trop spécifique

Question 63

C'est quoi la définition de la sensibilité?

Answer 63

Identifier correctement les membres du groupe critère

Question 64

C'est quoi la définition de la spécificité?

Answer 64

Degré auquel le test détermine ou non les membres du groupe constraté

Question 65

Quand maximiser la sensibilité ou la spécificité? Donne 1 exemple pour chaque

Answer 65

Risque suicidaire = vaut mieux être plus sensible * Pire de manquer de sensibilité pour risque suicidaire qu’un problème de spécificité (mieux faux positifs que faux négatifs) Poids du diagnostic = vaut mieux être plus spécifique (à mon avis) *Poids du diagnostic = on a tendance de sur diagnostiquer (et ce très rapidement)