1
Q
Qu’est-ce que la fidélité?
A
Réfère à la précision de l’instrument peu importe ce qu’il mesure.
2
Q
Comment considère-t-on une technique de mesure fidèle?
A
- On considère une technique de mesure fidèle lorsque son application entraîne toujours des résultats semblables
- Si elle mesure toujours le construit psychologique de la même façon
- Intelligence, personnalité, anxiété…
- Si elle mesure toujours le construit psychologique de la même façon
3
Q
Sur quoi dépend la fidélité d’une mesure?
A
- La fidélité d’une mesure dépend de l’absence relative d’erreur de mesure.
4
Q
Un test fidèle est-il également valide?
A
- Des mesures constantes ou fidèles peuvent ne pas être valides
- Votre test d’intelligence peut donner à chaque fois le même résultat chez une même personne
- Gage de fidélité, oui, mais ce n’est pas ce qui vous confirme qu’en soit le test mesure l’intelligence
- Votre test d’intelligence peut donner à chaque fois le même résultat chez une même personne
- Exemple: ces deux règles prétendent mesurer 30 cm
___
______
5
Q
Quels sont les trois types de fidélité?
A
- Stabilité temporelle : fiable dans le temps
- Équivalence : comparable à d’autres instruments qui mesurent la même chose
- Homogénéité : mesure de manière homogène
6
Q
Comment se détermine la stabilités temporelles?
A
- Se détermine sur la base de la constance des résultats obtenus à la suite d’applications répétées de l’instrument
- Habituellement, on a recours à 2 administrations de l’instrument
- Cette technique s’appelle fidélité test-retest
7
Q
Quand utiliser le test-retest?
A
- Recommandé pour des construits qui possèdent une stabilité temporelle
- E.g., traits de personnalité, intelligence
- Peu recommandé pour :
- Des tests de type situationnel qui mesurent un état passager
- E.g., émotions, humeur
- Des tests qui sont influencés par la mémoire ou l’apprentissage
- Des tests de type situationnel qui mesurent un état passager
–> Effet de pratique observé dans les tests d’intelligence
8
Q
Qu’est-ce que l’équivalence?
A
Consistance des résultats obtenus à la suite de l’utilisation soit de différents instruments visant la mesure de la même caractéristique (p. ex., 16PF formes A et B) ou soit d’un même instrument où l’observateur est une source possible d’erreurs.
9
Q
Qu’est-ce que l’indice d’équivalence?
A
- Si plusieurs observateurs sont impliqués, l’indice d’équivalence peut être le pourcentage d’accord inter-juges (coefficient Kappa)
- Si ce sont des questions de tests, l’indice d’équivalence est un coefficient de corrélation entre les réponses à des échantillons de questions des deux instruments.
10
Q
Qu’est-ce que l’homogénéité (ou consistance interne)?
A
- C’est le degré de consistance qu’offrent les réponses d’un individu aux questions variées d’un test
- S’intéresse à la probabilité qu’un (des) item(s) mesure(nt) autre chose que ce qui est prévu
11
Q
Quels outils statistiques mesurent l’homogénéité?
A
- Alpha de Cronbach
- Formule 20 de Kuder-Richardson (K-R-20)
- Méthode moitié-moitié (split-half de Spearman-Brown)
12
Q
Qu’est-ce que l’alpha de Cronbach?
A
- Une statistique fréquemment utilisée pour mesurer la consistance interne d’instruments de mesure
- Approprié pour échelles type dichotomiques, Likert ou mesures intervalle/rapport
- Interprétation (DeVellis, 2003)
a < 0,60 → inacceptable
a entre → 0,60 et 0,65 indésirable
a entre → 0,65 et 0,70 minimalement acceptable
a entre → 0,70 et 0,80 respectable
a entre → 0,80 et 0,90 très bien
a > 0,90 → excellent
13
Q
Qu’est-ce que la formule de Kuder-Richardson (K-R-20)?
A
- Une statistique anciennement utilisée pour mesurer la consistance interne d’instruments de mesure où les items sont dichotomiques (e.g., oui-non)
- Cronbach a peut faire le travail aussi, étant plus versatile
- K-R 20 = désuet
- Cronbach a peut faire le travail aussi, étant plus versatile
- Interprétation du coéficient (étendue 0.0 –1.0) similaire à Cronbach
14
Q
Qu’est-ce que la méthode moitié-moitié (split-half de Spearman-Brown)?
A
- On divise en deux le test pour évaluer la relation entre les deux moitiés
- La corrélation P*xx’ nous dit ce que serait la fidélité si le test était N fois plus long que ses moitiés
- N > 2: prédiction pour test plus long
- N < 2: prédiction pour test plus court
15
Q
Qu’est-ce que la validité interne?
A
- Est-ce que les données sont vraiment dues à ce qu’on prétend (expérience) ou à ce qu’on observe (étude)?
- Alternativement, est-ce que les résultats ne dépendent pas d’autres facteurs non contrôlés?
16
Q
Qu’est-ce qu’un haut degré de validité interne entraîne?
A
- Haut degré de validité interne = empêcher que des éléments étrangers ou variables parasites ne contaminent la mise à l’épreuve de l’hypothèse
- Pensez aussi biais (cours 6)
17
Q
Quel exemple peut-on donner à la validité interne?
A
- Résultats: Tel que prévu, les parents entraînés à adopter une attitude interrogative et exploratoire dans leurs comportements pendant une période de 6 mois voient s’accroître la curiosité intellectuelle de leurs enfants inscrits à la maternelle
- Question de validité interne: Comment être certain que l’augmentation de la curiosité intellectuelle ne serait pas attribuable à l’évolution normale des enfants et à la nature facilitatrice de leurs activités préscolaires?
- Réponse: groupe contrôle
- Question de validité interne: Comment être certain que l’augmentation de la curiosité intellectuelle ne serait pas attribuable à l’évolution normale des enfants et à la nature facilitatrice de leurs activités préscolaires?
18
Q
À quoi tient la validité interne?
A
La validité interne tient à la qualité ou à la solidité du protocole expérimental utilisé et à l’efficacité et à la rigueur des contrôles effectués.
19
Q
Quelles sont les sources d’invalidité à considérer?
A
- Expérience vécue du participant
- La maturation
- L’opération de mesure
- La constance de l’instrument
- La régression statistique
- La sélection des participants
- La perte de participants (mortalité ou attrition)
20
Q
Comment l’expérience vécue du participant pour être une source d’invalidité?
A
Événements qui surviennent pendant et entre les prises de mesures et qui ne dépendent pas de la manipulation expérimentale (e.g., divorce, perte d’emploi, nouvelle relation, etc.)
21
Q
Comment la maturation peut être une source d’invalidité?
A
- Les processus individuels qui se développent en fonction du passage du temps, tels le vieillissement, la croissance, l’expérience personnelle, etc.
- Des modifications de cette nature se produisent souvent à l’intérieur de périodes de temps très brèves
- Étant donné que ce facteur joue dans toutes études, l’utilisation d’un groupe témoin provenant de la même population précisera et contrôlera les effets de la maturation.
22
Q
Comment l’opération de mesure peut être une source d’invalidité?
A
- Le seul fait de répéter un test risque d’influencer les résultats
- Les différences observées entre la première mesure et sa répétition peuvent dépendre simplement de l’opération de mesure et non du traitement expérimental (naïf vs savant)
- Un groupe témoin qui n’est pas exposé à la VI permettra de préciser cet effet de l’opération de mesure
23
Q
Comment la constance de l’instrument peut être une source d’invalidité?
A
- Il peut se produire des changements dans la calibration d’instrument de mesure ou dans la manière dont l’expérimentateur recueille ses données
- E.g., l’emploi d’observateurs: ils peuvent se fatiguer, s’améliorer, ou empirer!
- Le changement observé entre les mesures du pré-test et du post-test peut donc dépendre de l’instrument de mesure.
24
Q
Comment la régression statistique peut être une source d’invalidité?
A
- Phénomène qui se manifeste surtout quand on choisit des groupes qui se situent aux extrémités d’une échelle de mesure
- En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus
- Lors d’évaluations subséquentes, ils auront tendance en tant que groupe à se rapprocher de la moyenne
- S’applique aux construits variables
- Les mesures stables moins susceptibles
- En faisant la sélection des participants, l’expérimentateur choisit ceux-celles qui obtiennent un score très élevé ou très bas à un moment précis, ce qui ne représente pas la position habituelle de ces individus
–> On peut choisir des cas cliniques qui obtiennent de scores très élevés. Cependant, plusieurs problèmes de santé mentale fluctuent dans le temps et ces personnes auront tendance à obtenir un score plus près de la moyenne plus tard.
25
Comment la sélection des participants peut être une source d'invalidité?
* Déformations systématiques dans la composition comparative des groupes expérimentaux et témoins
- E.g., étude sur le traitement de la peur des hauteurs. Groupe expérimental est composé de personnes qui consultent un psy. et groupe témoin qui provient de la population générale
* Le fait que les participants proviennent d'une population différente peut-être suffisant pour expliquer un changement éventuel.
26
Comment la perte de participants (mortalité ou attrition) peut être une source d'invalidité?
* Si plusieurs participants d'un même groupe abandonnent, il peut s'en suivre des effets spécifiques qui ne dépendent aucunement de la variable expérimentale
- Peut entraîner une diminution de la représentativité
- Pourquoi un groupe a plus d’abandons qu’un autre?
27
Qu'est-ce que la validité externe?
* Se préoccupe de la possibilité de généraliser les résultats de l’étude au-delà de l’échantillon, des circonstances
- 9 de vos 10 amis vous disent aimer le kale… devriez-vous investir dans le kale?
28
Quels sont les facteurs importants à considérer concernant la validité externe?
1. La réaction à la mesure
2. Les effets d'interaction d'un ou des facteurs de validité interne avec VI
3. Effets spécifiques liés au déroulement de l'expérience
4. L'interférence associée à un traitement multiple
29
Qu'est-ce que la réaction à la mesure?
* La prise de mesure au cours d'un pré-test peut contribuer à augmenter ou diminuer la sensibilité du participant à l'endroit de la variable étudiée
- Les individus qui savent qu'ils sont observés vont agir différemment de ceux qui ne sont pas avertis
* Le seul fait de demander d'observer ou d'enregistrer la
fréquence ou la durée d'un comportement entraînera une modification de ce comportement
- E.g., Programme pour cesser de fumer
* Au pré-test les sujets doivent compter les cigarettes qu’ils fument --> ça peut les sensibiliser au fait qu’ils fument trop
30
Que sont les effets d'interaction d'un ou des facteurs de validité interne avec VI?
* Se produit alors qu’un élément de validité interne co-varie avec une variable indépendante
- E.g., mon ordinateur surchauffe(*), avec la conséquence que les temps de réactions à ma tâche sont surestimés plus la journée avance
* Or, malheureusement, une majorité de participant-e-s du groupe contrôle sont testé-e-s en après-midi, contrairement au groupe expérimental
(*) Constance de l’instrument (due à problème de fidélité)
31
Que sont les effets spécifiés liés au déroulement de l'expérience?
* Parfois, les particularités de la démarche expérimentale sont telles qu'elles incitent les sujets à donner telle réponse plutôt que telle autre
- E.g., un sondage sur l’anxiété liée à prendre l’avion dont une partie des répondants l’ont rempli après un écrasement d’avion médiatisé
* Les résultats ainsi obtenus limitent grandement la portée des conclusions ou les rendent invalides.
32
Qu'est-ce que l'interférence associée à un traitement multiple?
* Lorsque plusieurs traitements sont présentés simultanément, il devient difficile d'évaluer le poids relatif de chacun d'eux
- E.g., programme pour diminuer le bégaiement qui inclut la relaxation, l’imagerie, l’exposition, etc. Le traitement fonctionne, mais on ne sait pas à quoi l’attribuer
* À moins d’avoir un plan factoriel
33
Qu'est-ce que la validité écologique?
* Contexte dans lequel se déroule la recherche, y compris les tâches que les participants effectueront
- Similitude du contexte matériel et du niveau psychologique avec l’environnement réel?
* E.g., casino en labo - similitude au niveau du décor physique, mais pas au plan psychologique
* Signification que confère le sujet à la situation dans laquelle le chercheur le place ou l’étudie
- Pertinence?
34
Qu'est-ce que la validité de construit?
* Est-ce que le test mesure bien le construit tel qu’il est défini par son cadre théorique de base?
* Deux approches
- Validité convergente
- Validité divergente (ou discriminante)
35
Qu'est-ce que la validité de construit convergente?
* Capacité d’une mesure de produire des résultats semblables à ceux produits par d’autres mesures qui sont reliées au construit en question
* Consiste à corréler un test avec un critère approprié
- E.g., deux questionnaires d’estime de soi
--> Deux questionnaires pour être certain de mesurer l’estime de soi (pas pour savoir si les deux fois, le résultat est le même puisque ce serait de s’assurer de la fidélité dans ce cas)
- E.g., deux mesures d’anxiété (l’une par questionnaire et l’autre par entrevue ou taux de cortisol)
36
Qu'est-ce que la validité de construit divergente?
* Consiste à démontrer que le test n’est pas significativement corrélé avec des critères non pertinents
- E.g., l’échelle d’intelligence verbale ne corrèle pas avec l’échelle de narcissisme dans notre batterie intelligence-personnalité.
--> S’assurer de ne pas mesurer involontairement le narcissisme, alors que nous voulons mesurer l’intelligence.
37
Quel est le but du contrôle?
* Les conclusions sont impossibles à tirer en présence d’interprétations alternatives plausibles
* Les interprétations alternatives surviennent quand des variables externes ou parasites ou confondantes peuvent avoir influencé les résultats
- E.g., tester l’efficacité de comprimés anti-soif avalés avec un grand verre d’eau
* Les interprétations alternatives empêchent le progrès
- Un ensemble de procédures existent pour contrôler les variables parasites.
38
Que permet de maintenir la variable parasite constante?
* Certifie qu’elle ne peut avoir causé les différences entre les groupes
- E.g., groupe contrôle qui boit de l’eau mais pas de comprimé anti-soif
* Peut limiter la validité externe des résultats
- E.g., si on avale la pilule “à sec”?
39
Que permet la sélection et l'assignation aléatoire?
* L’échantillonnage aléatoire protège contre les biais d’échantillons
- Voir cours 7
* L’assignation aléatoire « assure » que les groupes sont comparables avant toute intervention
- Les variables parasites sont distribuées également à travers les différents groupes
* Tout ce qui peut être randomisé devrait l’être (e.g., stimuli, ordre des tâches, expérimentateurs…)
* Demande un gros échantillon
40
Que faire avec des plans factoriels en lien avec les variables parasites?
* Si on ne peut les éliminer…. les inclure!
- La variable parasite devient une VI additionnelle
- E.g., un plan 2 (sexe) x 3 (drogue) x 3 (eau)
41
Quand utilise-t-on les contrôles statistiques?
* Lorsque les contrôles expérimentaux sont inexistants ou insuffisants
- Scores de changement (avant-après)
- Analyse de la covariance
- Corrélations partielles
42
Quelle est la meilleure approche?
* Le plus de contrôles possible!
- Contrôle total n’est pas un objectif réalisable
* L’incapacité à contrôler les variables parasites est un des obstacles les plus importants en science
- Dès qu’un évaluateur identifie un parasite raisonnable, la publication devient TRÈS difficile
Méthode de recherche II
flashcards
Decks in class (8)
# Cards
