Quelles sont les 5 étapes de construction d’un test ?
- 1ère Étape: La détermination des utilisations prévues du test;
* 2ème Étape: La définition de ce que l’on souhaite mesurer;
* 3ème Étape: La création des items;
* 4ème Étape: l’évaluation des items;
* 5ème Étape: La détermination des propriétés métriques du test définitif
Comment peut-on déterminer l’utilisation prévue du test ? (étape 1)
- Le point de départ: un objectif plus général:
- L’estime de soi (on n’a pas encore déterminé les dimensions!);
- Le développement social de 3 à 6 ans (quels aspects!);
- Diagnostiquer les troubles de la mémoire (…);
- Sélectionner des secrétaires (…);
- Pour ensuite définir, avec plus de précision, les caractéristiques psychologiques (ou dimensions) que le test devra mesurer (la validation du contenu du test repose précisément sur ce travail préalable de définition de ce que l’on veut mesurer)
Expliquez la 2ème étape : définition de ce que l’on souhaite mesurer
Pour aider à mieux définir ce que l’on veut mesurer, cinq processus (ou méthodes) peuvent être mis en action:
• (1) La définition des objectifs pédagogiques:
• préciser les performances dont les étudiants devront être capables à un moment donné de leur formation;
• (2) L’analyse de contenu des interviews:
• Interviewer des personnes permet de recueillir un grand nombre d’informations qui seront sélectionnées et classées
• (3) L’observation directe des comportements:
• Dans certains cas, il est préférable d’observer les sujets dans leur milieu de vie ou de travail;
• (4) La méthode des incidents critiques:
• On demande aux supérieurs de décrire des situations de travail où les employés ont agi de manière particulièrement efficace (ou inefficace). Ces comportements « critiques » sont mis en évidence pour construire des items.
• (5) La référence à un modèle théorique:
• Cette méthode ne part pas de l’expérience, mais d’un modèle de la réalité, construit au cours de recherches antérieures. Par exemple, depuis le début des années 80, les développements de la psychologie cognitive ont conduit à la création de nombreux modèles théoriques utilisables par les constructeurs de tests.
Expliquez la citation quant à la création des items (étape 3)
« Trop d’attention a été accordée à la constitution des échantillons et trop peu à la création des questions […]. Des différences dans la construction des questions conduisent souvent à des résultats qui présentent de plus grandes variations que celles habituellement observées en fonction des différentes techniques d’échantillonnage
-on s’appuie souvent sur les statistiques mais quelles sont réellement les bonnes questions à se poser ?
Lors de la création des items (étape 3) , que faut-il clarifier ?
- Le format des items!
Questions ou affirmations; style de réponse – ouverte, dichotomique, Likert, etc. – Il n’y a pas de « meilleur format »! Un format est bon s’il est adéquat au but et à la situation d’évaluation. - Le niveau de difficulté des items!
Dépend de l’objectif du test (la nature des informations que l’on désire recueillir): Population générale ou spécifique; - La quantité d’items qu’il faut créer!
Dépend de plusieurs facteurs:
La durée du test;
Le niveau de fidélité désiré (plus long, plus fidèle);
Si le test final doit contenir autour de 10 items, initialement il faut construire 30, ou même plus…
Qu’est-ce que la théorie de base nous indique (les contenus théorique à explorer)?
Deux démarches sont habituellement suivies pour évaluer les items (étape 4). Lesquels ?
(1) Évaluation des items par des juges:
Conformité des items (clarté, pertinence, dimensionnalité, etc.)
(2) Réalisation d’une mise à l’essai des items:
Faire passer tous les items à un échantillon de la population (la taille de cet échantillon dépend de l’hétérogénéité de la population visée par le test; un échantillon trop homogène risque de masquer certains items problématiques);
Les résultats de cette mise à l’essai doit être analysés d’un point de vue qualitatif et quantitatif
Expliquez l’étape 5, détermination des propriétés métriques des items
Une fois les meilleurs items sélectionnés et la version définitive du test constituée, il reste à déterminer les propriétés métriques de ce test:
- Évaluation des indices de validité;
- Évaluation des indices de fidélité (coefficient)
- Établissement des normes (courbe normale)
Quels sont les autres aspects importants à considérer ?
- La rédaction d’un manuel d’utilisateur, on présente:
- Les fonctions pour lesquelles il a été crée;
- Les bases théoriques du test;
- Les qualifications requises pour l’appliquer et l’interpréter;
- Les données métriques (pour assurer son utilisation). - Le constructeur doit assumer une responsabilité éthique
- Les informations du manuel doivent garantir un usage correct du test, dans le respect des principes éthiques
Question examen :
La construction des items est souvent escamotée au profits des analyses statistiques
Vrai
Question examen développement (au moins 5 points à relever) :
Faire la distinction entre un juge expert et un juge de compétition
Juge expert : connaissance approfondie du sujet ou de la population, thème à l’étude (pas nécessairement des gens instruits) Expliquer ce que l’on devrait modifier pour que le test soit plus cohérent pour mesurer ce que l’on cherche à mesure, pour ne pas rencontrer des problèmes, éclairer sur la qualité du test, embuches, outil mieux adapté à la population et à ce que l’on souhaite mesurer.
*Pour récolter des preuves de validité basées sur le contenu
Juge de compétition : mesure une performance et ses critères (subjectifs) vagues, donne une cote à quelqu’un.
Validité apparente : se base sur une évaluation de surface des items, les juges chargés de l’évaluation ne sont pas des experts du domaine et n’utilisent pas de méthodologie particulière pour effectuer leur travail
Question déontologique :
Un psychologue fait une évaluation neuropsychologique (évaluation ponctuelle, pas un suivi) d’un enfant, est-ce que le psychologue peut développer une amitié ou une relation affective avec un membre de la famille de l’enfant après celle-ci ?
Non, tu gardes une relation d’autorité avec la personne, tu sais des choses que les choses ne savent pas, invalide la question du jugement professionnel de la distance (ex : en court de justice)
ON NE PEUT JAMAIS DÉVELOPPER UNE RELATION AVEC UN PATIENT/EX PATIENT POUR TOUTE LA VIE
