Qu’est-ce que la sous-représentation du construit ?
La variance non-reliée au construit ?
- La portion du construit que l’instrument ne mesure pas
2. La variance mesurée qui n’est pas due au construit (due à l’instrument)
Quels sont les 3 grands types de validité ?
Validité de contenu
Validité critériée
Validité de construit
Outre les 3 principaux, nommez 4 autres types de validité
Apparente
Différentielle
Incrémentale
De conséquences (sociale)
Pour que la validité de contenu soit rencontrée, les items doivent : (2)
Être des indicateurs valides du construit
Mesurer tous les aspects principaux de façon proportionnelle et exacte
Si ces 5 éléments ne sont pas adéquats, ils constitueront une limite du test au niveau de la validité de contenu :
- Instructions données
- Présentation des stimuli
- Temps alloué
- Modalités de réponse
- Critères de cotation
À quel outil/élément doit-on comparer le résultat d’un test de rendement pour établir sa validité de contenu ? Un test d’aptitudes professionelles ? Un tests d’aptitudes intellectuelles / inventaire de personnalité ?
- Comparer à un tableau de spécification
- Analyse de poste par des experts
- Définition
Quels sont les 4 types de validité critériée ?
Axe temporel : Concomitante / Prédictive
Axe du sens de la relation : Convergente / Divergente
Pourquoi la validité critériée pourrait ne pas être démontrée ?
Fidélité limitée
Défintion opérationnelle du critère non-valide
Instrument trop facile / difficile
Variable modératrice
Faut-il prioriser la sensibilité ou la spécificité ? Expliquez
- Échelle de risque suicidaire
- Sélection de pilotes d’avion
- Prioriser la sensibilité : même si quelques non-cas sont détectés, il faut quand même détecter le plus de cas possible
- Prioriser la spécifité: il faut le plus possible écarter les non-cas, même si quelques cas sont non-détectés
Qu’est-ce que la validité de contenu ?
À quel point les aspects de l’instrument représentent le construit qu’on veut mesurer ? Items (représentatifs), instruments, temps, modalités de réponse, etc. doivent être satisfaisants
Qu’est-ce que la validité critériée ?
Relation résultat - critère
Une mesure valide devrait être bien corrélée avec une variable voisine (inférence possible)
Quels sont les indices de la validité de construit ?(3)
Corrélations avec d’autres versions
Corrélations convergentes / divergentes (validité critériée)
Analyse factorielle (facteurs extraits correspondent-ils à la théorie?)
Quelles sont les 7 règles de validation de contenu d’un instrument ?
- Définition des facettes du concept (à valider également)
- Créer les items + aspects du test (temps, critères cotation)
- Valider contenu selon les aspects (items, temps, critères)
- Juges quantifient leurs jugements : accord interjuge, appariement item-concept, identification d’items prototypes
- Vérifier si les items représentent proportionnellement les facettes du construit
- Résultats de validation de contenu présentés
- Considérer que d’autres analyses ultérieures pourront peaufiner la validité de contenu
Qu’est-ce que la validité concomitante ?
Prédicitive ?
Concomitante : association transversale entre résultat et critère externe actuel
Prédictive : association entre le résultat et un critère externe futur
Comment se mesure la validité critériée de l’axe du sens de la relation ?
Définissez la validité convergente et divergente
À l’aide du corrélation avec un autre instrument déjà validé
Convergente : mesurer s’il y a corrélation forte avec un instrument mesurant un construit proche
Divergente : mesurer s’il y a une corrélation faible ou négative avec une construit opposé / différent (faible: sympathie, empathie; négatif : détresse émotionnelle; implication du thérapeute)
Les exemples suivants sont des exemples de validité critériée …:
TPL –> satisfaction conjugale
Introspection; expression comportementale de la colère
TPL –> risque ruptures
thérapie basée sur la mentalisation; anxiété après traitement
Concomitante; convergente
concomitante : divergente
prédictive : convergente
prédictive : divergente
Qu’est-ce que la spécificité ? La sensibilité ? Donnez l’équation de chacune
Spécificité : Détection des non-cas (proportion détectée parmi tous les non-cas)
Sensibilité : Détection des cas (proportion détectée parmi tous les cas)
Sensibilité : VP / (VP + FN) X 100
Spécificité : VN / (VN + FP) X 100
Qu’est-ce que la validité de construit ?
À quel point l’instrument mesure les construits qu’il est sensé mesurer et offre une mesure adéquate de la théorie (sont pour la plupart basés sur une théorie)
Quelles sont les 2 raisons pour lesquelles un instrument démontrerait une faible validité de construit ?
- Théorie n’est pas empiriquement validée (pas adéquate)
2. Instrument n’offre pas une bonne mesure (mauvaise opérationnalisation) des construits de la théorie
Qu’est-ce que la validité différentielle ? Comment la mesure-t-on ?
Repose sur le fait qu’un instrument peut ne pas être équivalent pour tous les groupes auxquels il est destiné
Mesurer validité de contenu (sens des items selon les groupes, fonctionnement différentiel (moyennes, écart-types, pouvoir discriminant (+ difficile, spécifique pour population clinique), critériée (prédictive, sensibilité / prédictivité) et de construit (basé sur théorie valide)
Qu’est-ce que la validité incrémentale ?
Est-ce que le test ajoute d’une info pertinente au processus d’évaluation (précision, info qui ne pourrait être obtenue autrement, coûts-bénéfices)
Qu’est-ce que la validité de conséquences ?
Considération des conséquences de l’administration de l’instrument sur l’évalué (résultats, conditions de passation)
Quel est le degré de validité recherché pour
Convergente
Divergente
Convergente : r > 0,50
Divergente : r < 0,50
