Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine

1. Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine Jean-Luc GILLES, Pascal DETROZ & Myriam DUPONT CHU - 30/05/2005

2. Réponses à des questions ponctuelles : Avantages / inconvénients vrai-faux vs QCM ? Quels systèmes de cotation appliquer lors de vrai-faux ? Faut-il utiliser la consigne « Choisissez la meilleure solution » ? Comment améliorer la qualité des tests standardisés interdisciplinaires ?

3. Avantages et inconvénients respectifs Avantages / inconvénients vrai-faux vs QCM Leclercq (1986)

4. Avantages / inconvénients vrai-faux vs QCM 1. Du point de vue des possibilités de feedbacks Vrai-faux QCM « The distractor a student chooses may give you diagnostic insight into difficulties the student is experiencing » Nitko (2001) Les propositions incorrectes apparaissent plus comme des « masques à la réponse correcte » que comme des propositions qui pourraient fournir des informations sur le type d’erreur commise par l’étudiant.

5. Avantages / inconvénients vrai-faux vs QCM 2. Du point de vue des réponses dues au hasard Vrai-faux QCM Dans le cas d’une question vrai-faux, les évalués ont dès le départ 50 % de chances de donner la réponse correcte... Les vrai-faux surestiment les performances des étudiants. « There is less of a chance for a student to guess the correct answer to a multiple-choice item than to a true-false item or to a poorly constructed matching exercise » Nitko (2001)

6. Avantages / inconvénients vrai-faux vs QCM 3. Du point de vue de la fidélité Niveaux de fidélité Nombre de questions nécessaires pour obtenir une fidélité donnée quand toutes les QCM ont le même nombre de solutions proposées Nombre de solutions proposées Ebel (1969) Pour atteindre une fidélité théorique de 0,8 Il faudrait prévoir 135 Vrai-faux Il faudrait prévoir 56 QCM

7. QCM Dans le cas de QCM avec 9 solutions, il en faudrait environ 56 Avantages / inconvénients vrai-faux vs QCM 4. Du point de vue du temps de réponse nécessaire Imaginons que l’on vise une fidélité théorique de 0,8… Vrai-faux Dans le cas de vrai-faux, il en faudrait environ 135 Estimons le temps de réponse moyen pour chaque QCM à 4 minutes : 56 x 4 = 224 min. soit environ 3h45 d’examen Estimons le temps de réponse moyen pour chaque vrai-faux à 2 minutes : 135 x 2 = 270 min. soit 4h30 d’examen

8. Avantages / inconvénients vrai-faux vs QCM 5. Du point de vue de l’authenticité des questions Vrai-faux QCM De part leur nature dichotomique, en général, les questions vrai-faux ne se prêtent pas bien à l’évaluation de compétences mises en jeu dans des situations complexes « authentiques », comme celles qu’on peut rencontrer dans un contexte professionnel. En fait, ils sont souvent utilisés pour évaluer des connaissances factuelles. « The multiple-choice format can be used to assess a greater variety of learning targets than other formats of response-choice items » Nitko (2001) Exemple : les QCM « cas à analyser »

9. Avec degrés de certitude * QCM Avantages / inconvénients vrai-faux vs QCM 6. Du point de vue des niveaux taxonomiques Bloom (1956, 1984) Vrai-faux

10. Avantages / inconvénients vrai-faux vs QCM Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) Besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doctorat en février 2003

11. 2 systèmes de cotations possibles Type 2 Type 1 Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées Chaque proposition est considérée comme une question indépendante et corrigée comme telle. On peut omettre à une ou plusieurs solutions. … sévérité  … sévérité  Systèmes de cotation appliqué lors de vrai-faux Systèmes de cotations possibles dans le cas de vrai-faux généralisés (d’après Leclercq, 1986) Indiquez, pour chacune des couleurs suivantes, si elle appartient (vrai ou faux) à la catégorie des couleurs spectrales primaires. 1. l’infra-rouge 2. le rouge …………...… (V) 3. l’orange 4. le jaune 5. le vert ………………. (V) 6. le bleu ………………. (V) 7. l’indigo 8. le violet 9. l’ultra-violet

12. Si le nombre de solutions vraies et de solutions fausses n’est pas annoncé => plus difficile ! Tâche de jugement multiple. Si on annonce le nombre de solutions vraies et le nombre de solutions fausses => plus facile ! Tâche de discrimination d’un pattern de réponses (une fois les X solutions correctes repérées, les autres peuvent être considérées comme incorrectes). 53 % de patterns de réponses exacts 27 % de patterns de réponses exacts Systèmes de cotation appliqué lors de vrai-faux Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées Noizet et Caverni (1978) Expérience menée avec des étudiants en médecine (N = 556)

13. Systèmes de cotation appliqué lors de vrai-faux Dans le cas d’un vrai-faux généralisé, c’est le tarif de la « correction for guessing » qui est le plus souvent utilisé pour contrer les effets des réponses correctes dues au hasard : En cas de réponse correcte : + 1 En cas de réponse incorrecte : avec NSP = Nombre de Solutions Proposées, dans le cas d’un vrai-faux « type 1 » = le nombre de combinaisons possibles dans le cas d’un vrai-faux « type 2 » = 2 En cas d’omission : 0

14. Critiques : « … rather difficult to craft…You need to create distractors that are partially correct… unlike typical multiple choice items for which one option is the only correct one » « … What is legitimately a best answer in one teacher’s class (given what students have been taught) is not the best answer in another teacher’s class. » « …Best implies a set of criteria that may not have been taught or understood by students. » « …A teacher may easily write a “tricky” item in which an option’s correctness depends on a trivial fact, …or an easily overlooked word in a phrase. » Nitko (2001) La consigne « Choisissez la meilleure solution » « Il est en principe plus difficile de répondre à une QCM de la forme ci-dessus qu’à une QCM classique … En effet… plusieurs solutions peuvent être considérées comme correctes (4 et 5), et il faut les classer entre elles pour, finalement, choisir la meilleure. » Leclercq (1986)

15. Objectifs de qualité Besoins des évaluateurs & des évalués Ressources en personnel et en matériel Modèles & procédures Comment améliorer la qualité des tests standardisés interdisciplinaires ? Une approche qualité

16. Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire Besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doctorat en février 2003 … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. … préparer les étudiants depuis les candis et affiner le système progressivement. … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02)

17. Les besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doc. Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai) Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire …répartir les QCM sur 2 x 2h et sur 2 demi journées … formation des enseignants à la rédaction des QCM (28/10/02) … entraînement des étudiants durant l'année. Utilisation des boîtiers de votes électroniques. une analyse des avis des étudiants à propos des différentes modalités d'évaluation proposées dans le cadre des tests interdisciplinaires ? unfeedback individualisé pour chaque étudiant accessible via le web après chaque test interdisciplinaire ? … préparer les étudiants depuis les candis et affiner le système progressi-vement. … régulation des cotes en fonction de questions se révélant problématiques a posteriori (simulation le 28/10/02) Suggestions cycle de gestion qualité des tests standardisés

18. L’équipe du SMART peut vous aider à : • Construire vos tables de spécification • Choisir vos méthodes de questionnement • Analyser la qualité docimologique de vos questions (d’un point de vue formel) relecture selon les règles de rédaction des QC et proposition d’améliorations • Gérer vos banques de questions • Concevoir et mettre en œuvre des examens « à blanc »avec les moyens logistiques du SMART (BVE, TIMI, …) • Accompagner dans l’analyse a posteriori des questions (r.bis, …) • Concevoir des feedbacks plus diagnostiques et plus précis • Utiliser les informations liées aux EVALENS pour améliorer vos examens

19. Site web du SMART : http://www.smart.ulg.ac.be