Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007

1. Université de Liège Département de Médecine Générale Boîtiers de votes et simulation du Test de Concordance de Script (TCS)à la Faculté de Médecine de l’Université de Liège Pr. Didier GIET Valérie MASSART CDS – 23 mai 2007

2. sommaire 1.contexte de la mise en place du TCS 2.procédure de simulation du TCS 3.exemples d’exercices proposés aux étudiants DG

3. procédure exemples contexte dispositifs d’évaluation mis en place à la Faculté de Médecine de l’ULg ECOS/EMS évaluation V-F oral multidisciplinaire stages …  CONSTAT : manque d’évaluation du raisonnement dans un contexte d’incertitude DG

4. procédure exemples contexte Test de Concordance de Script (TCS) proposé depuis 2003 à des étudiants volontaires de 4ème doctorat à titre expérimental (non sanctionnant)

5. procédure exemples contexte depuis 2003, récolte et analyse des données  place du TCS dans le panel d’évaluations de fin de formation prégraduée médicale ?

6. contexte exemples procédure mai • présentation de l’expérience • présentation du TCS • simulation de l’examen avec boîtiers de votes juin 4. passation du TCS sur papier 5. feed-back différés VM

7. contexte exemples procédure 1. présentation de l’expérience constats et besoins de la Faculté évaluation : - globale - professionnalisante - informative - longitudinale - évaluation de connaissances - précision variable de l’évaluation des compétences - évaluations sanctionnantes (≠ informatives) TCS

8. contexte exemples procédure 2. présentation du TCS - évaluation du raisonnement clinique - évaluation de la capacité à résoudre des problèmes mal définis  expertise professionnelle - discriminant (novices / experts)

9. contexte exemples procédure Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic.

10. contexte exemples procédure Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte pour obtenir un diagnostic. scénario : vie clinique réelle problème, même pour un expert quel effet sur le statut de votre opinion ? une des options pertinentes nouvelle donnée échelle de Likert

11. contexte exemples procédure • groupe d’experts passent le test • la réponse de chaque expert reflète une opinion valide • exemple : 10 membres 3 experts 7 experts score : diviser par la valeur la plus haute 3/7 = 0,42 pt 7/7 = 1 pt 0/7 = 0 pt 0/7 = 0 pt 0/7 = 0 pt crédit de l’étudiant fonction du nb de réponses des experts test de CONCORDANCE de scripts

12. contexte exemples procédure 3. simulation de l’examen avec boîtiers de votes permet aux étudiants de : - se familiariser avec le TCS - recevoir un FB immédiat : confrontation des scripts étu-experts

13. contexte procédure exemples simulation du TCS 3 types de questions 1. diagnostic  6 exercices 2. investigation  6 exercices 3. traitement  6 exercices DG

14. contexte procédure exemples question diagnostique Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. • -2 l’hypothèse est absolument ou pratiquement éliminée • 1 l’hypothèse devient moins probable • 0 l’information n’a aucun effet sur l’hypothèse • +1 l’hypothèse devient plus probable • +2 il ne peut s’agit pratiquement que de cette hypothèse

15. contexte procédure exemples question diagnostique Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur. avis des experts 0,4 2 • -2 l’hypothèse est absolument ou pratiquement éliminée • 1 l’hypothèse devient moins probable • 0 l’information n’a aucun effet sur l’hypothèse • +1 l’hypothèse devient plus probable • +2 il ne peut s’agit pratiquement que de cette hypothèse 5 1 2 0,4 1 0,2 0

16. contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable

17. contexte procédure exemples question d’investigation Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures. avis des experts 0,3 -2 inutile ou non pertinent -1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée +1 plus utile +2 indispensable 1 0,5 2 1 4 0,8 3 0

18. contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable

19. contexte procédure exemples question de traitement Martine, 23 ans, présente un œil rouge et prurigineux. avis des experts 1 5 -2 inutile ou non pertinente -1 moins utile, moins pertinente 0 non influencée par la nouvelle donnée +1 utile et souhaitable +2 indispensable 2 0,4 0 0,6 3 0

20. contexte procédure exemples Résultats TCS 2004, envoyés aux étudiants courbe des résultats par matière résultats (notes) de l’étudiant

21. contexte procédure exemples Résultats TCS 2004, envoyés aux étudiants : corrélation TCS-examens

22. Université de Liège Département de Médecine Générale merci pour votre attention !