review: définition d’instrument psychométrique
outil développé scientifiquement qui permet de mesurer un concept psychologique de manière objective et standardisé
ils peuvent prendre plusieurs formes
qu’est-ce qu’un concept latent
des concepts qui ne peuvent être observés directement
les instruments psychométriques ont recours à quoi pour mesurer des concepts latents
des indicateurs
dans la construction d’un test, quelle est l’étape centrale
la création d’items
définition item
unité de mesure la plus élémentaire afférente à un problème ou questions
essentiel que l’échantillonnage des items soit représentatif de tout l’univers évalué et n’en omette aucune dimension
- si le concept est trop grand, ça veut dire qu’il y a des sous-dimensions
avant la construction d’un test, qu’est-ce qu’il est important de faire
identifier les besoins
- on fait un recension sur les instruments existants, pas refaire ce qui existe déjà
Quelles sont les étapes qui font consensus lors de la construction d’un test
il y en a 8
- déterminer les utilisations prévues ainsi que les objectifs/buts
- définir l’objet de mesure: définir et opérationnaliser le concept
- détermination du format et du système de cotation
- créer, rédiger les items
- développement du matériel de soutien
- évaluer les items: procédure
- révision de l’outil de mesure
- déterminer les propriétés métriques (métrologiques)
Quelles sont les questions à se poser lorsqu’on veut déterminer les utilisations prévues et les objectifs du test
6
- qu’est-ce que je veux mesurer et pourquoi
- quelles population et quel échantillon
- quelle durée
- quel mode d’administration, mode de réponse, niveau de mesure
- combien d’items
- quels types de données
qu’est-ce qu’une population et comment sont appelé les individus
ensemble d’individus sur lesquels porte l’étude statistique
chaque individu est appelé “unité statistique”
une fois qu’elle est définie, on utilise un échantillon représentatif
qu’est-ce que l’échantillonnage
opération de sélection d’un groupe d’individus présentant les caractéristiques de la population parente à laquelle le test est destiné
lorsque je veux définir l’objet de mesure, quelles questions dois-je me poser
5
dans un cadre théorique et selon l’était des connaissances sur le sujet
- quelle est la conceptualisation de la problématique que je veux mesurer
- comment on conceptualise ce type de problème dans la littérature
- est-ce que je m’intéresse à la perspective d’une approche en particulier
- y a-t-il des sous-dimensions typiques
- est ce que je m’intéresse à une ou des sous-dimensions en particulier
pour la conceptualisation de la problématique lorsqu’on veut définir l’objet de mesure, quelles sont les sources d’infos qu’on peut avoir
4
- analyse de contenu d’entretiens: interroger qqn sur un thème spécifique
- observation directe des comportements
- incidents critiques (ex: quand qqch d’important se passe, on regarde comment les gens réagissent)
- modèle théorique (nous permet de déduire des items par rapport au modèle)
qu’est-ce que le système de cotation permet de faire
compiler les données
c’est une conséquence, ça dépend de nos questions
l’étape du développement du matériel du soutien consiste en quoi
comprend un manuel d’instruction incluant:
- procédure d’administration de l’outil
- consignes
- matériel
- système de compilation des données (cotation)
Quelle est la procédure (les étapes) pour évaluer les items
1) par des juges, experts
2) mise à l’essai des items: administrer le test à un +/- grand nbr d’individus
3) Nouvelle version
4) mise à l’essai des items: administrer à un grand nbr d’individu
Qu’est-ce que les juges et les experts évalue
plus la conceptualisation du concept
plutôt informel, mais essentiel
lors de l’évaluation des items, qu’est-ce que la 2e étape (administrer le test à un petit groupe) permet de faire
sur échantillon représentatif de la population visée (connait le concept), elle permet un premier examen des qualités métriques du test en développement
- détection de problèmes techniques (qualitatif) ex: durée, compréhension
- analyse des items (quantitatif)
lors de l’étape 3 (nouvelle version) de la procédure pour évaluer les items, peut-on tout de suite la valider
ça dépend, oui s’il y a juste quelques détails à changer après l’avoir administré à un petit échantillon représentatif
lorsqu’on administre le test à un grand nbr d’individus pour l’évaluation des items, quels sont les deux stades à suivre et expliquez chacun
stade informel: basé sur petit échantillon (5-10)
- sert d’analyse qualitative et non stat inférentielle pour trouver des coquilles
- clarté grammaticale, consignes, échelle de réponse
- présentation générale du questionnaire
- temps de passation
stade formel = basé sur plus grand échantillon et une variété d’indices statistiques
- données descriptives (moyennes, fréquences)
- corrélations inter-items (trop grande = questions trop similaires, aucune = questions mesure deux choses différentes)
- indices de discrimination, courbes caractéristiques d’items, cohérence interne, etc.
que se passe-t-il lors de l’étape (révision de l’outil de mesure) de l’évaluation des items
selon les résultats obtenus au pré-test, certaines corrections peuvent être apportées afin de répondre aux critères prédéterminés
- on retravaille les items non corrélé -> recommence
- on enlève cas problématiques
lorsqu’on crée des items, le format des items dépend de quoi
des objectifs et des conditions matérielles de l’évaluation
lorsqu’on crée des items, le niveau de difficulté dépend de quoi
de la nature des informations que l’on souhaite recueillir ou de la sélection
lorsqu’on crée des items, le nombre d’items dépend de quoi
3
- durée
- fidélité du test ( + d’items = + de chance fidèle)
- élimination d’items par évaluation (on en crée bcp au début, puis on réduit)
- etc…
lorsqu’on rédige des items, quelles sont certaines contraintes dont il faut tenir compte
4
- les capacités cognitives à mesurer
- les conditions matérielles de l’évaluation
- les fonctions du test
- les risques liés à la suggestion des réponses
- etc…
