Méthodologie de conception d’applications Multimédias Educatives : la méthode EMPI

1. Méthodologie de conception d’applications Multimédias Educatives :la méthode EMPI

2. Les sources des critères d’analyse Les Sources : • Les Normes • Les Guides de style • Les Critériologies et Ontologies des domaines D ’où un grand nombres de recommandations : • A tout les niveaux de détails : directives, critères, recommandations… • Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie…

3. Les sources des critères d’analyse… en ergonomie • Normes : • Norme ISO/WD 9241 • Accessibilité W3C WAI ATAG / UAAG / WCAG • Guide de style : • The Windows Interface Guidelines For Software Design • OSF Motif Style Guide • Mac OS 8 Human Interface Design Apple • Recueils de recommandations et critériologies : • J. Vanderdonckt - Guide ergonomique des IHM. Namur. 1994 • D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems.(97) • De nombreuses revues et conférences : International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM...

4. Les sources des critères d’analyse… en multimédia • Questionnaire NUMI • Standards for Multimedia User Interfaces (Ziegler J.) • Les normes d ’édition • Musicologie (Chion M.), Photographies… pour le Web • WAMMI (Website Analysis and MeasureMent Inventory) • WebSAT • Projet EvalWeb (INRIA, LIHS Toulouse,UCL)

5. Les sources des critères d’analyse… en pédagogie • La norme RIP : critères pédagogiques, critères techniques, critères juridiques • Le questionnaire d ’évaluation METANE • A l ’intérieure de différentes méthodes ou ouvrages comme MEDA

6. Les sources des critères d’analyse… conséquences • Un très (trop) grand nombre de recommandations • Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation • Un temps d ’évaluation long • Pas besoin de toutes les recommandations tout le temps

7. La nécessité d’une structuration adaptative • Un parcours synchrone

8. Q1 Q2 Q3 Q4 1 3 3 Criterion mark 1 La nécessité d’une structuration adaptative • Un parcours synchrone • Une pondération adaptable

9. C C C 21 23 22 … … Q 221 Q 222 Q 223 … La nécessité d’une structuration adaptative • Un parcours synchrone • Une pondération adaptable • Une adaptation dynamique P=1 P=3 Question : Avez-vous… Réponses : Proposition 1 Proposition 2 ...

10. Do you see this default ? always often sometimes never La nécessité d’une structuration adaptative • Un parcours synchrone • Une pondération adaptable • Une adaptation dynamique • Des calculs évolués

11. La nécessité d’une structuration adaptative • Un parcours synchrone • Une pondération adaptable • Une adaptation dynamique • Des calculs évolués Une évaluation toujours incomplète

12. La nécessité de prendre en compte la subjectivité • Un contexte complexe : plaisir d’utilisation, motivation, empathie etc. • Des compétences hétérogènes des enseignants • Pouvoir confronter les a priori de l ’évaluateur • Détecter des défauts ressentis et non formulés

13. La nécessité de prendre en compte la subjectivité • Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel • Une capitalisation • Une description « neutre » • Deux exploitations futures : • des impressions « calculées » • une description du public cible

14. La nécessité de prendre en compte la subjectivité • Les Impressions Générales • Une Notation Instinctives • Une Profondeur d’Analyse Variable

15. La confrontation entre subjectivité humaine et évaluation analytique • Le résultat doit être vue comme une proposition : • sa qualité est de la responsabilité de l ’évaluateur • il permet de confronter son opinion à la vision analytique • la méthode aide et ne remplace pas l ’évaluateur

16. Help Explanation Reformulation Exemples Theory La confrontation entre subjectivité humaine et évaluation analytique • Une aide à l ’évaluation Vers un apprentissage de l ’évaluation

17. La confrontation entre subjectivité humaine et évaluation analytique • Une aide à l ’évaluation • Un indice de cohérence Notes Instinctives +10 C 2 C C C 21 23 22 … … La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants -9 -10 -8

18. La confrontation entre subjectivité humaine et évaluation analytique • Une aide à l ’évaluation • Un indice de cohérence • Une proposition de note « intelligente » Note Calculée Note Instinctive Pondérée par Indice de cohérence Proposition de résultat

19. La confrontation entre subjectivité humaine et évaluation analytique • Une aide à l ’évaluation • Un indice de cohérence • Une proposition de note « intelligente » • Vers un rapport descriptif Génération de descriptions Commentaires Rapport descriptif Notes finales Rapport final d ’évaluation

20. Notre prototype

21. Notre prototype Note instinctive Impressions Générales

22. Notre prototype Proposition de note finale :

23. Validations • Des cycles de conceptions avec des étudiants de second cycle : • environ une cinquantaine d ’étudiant pour une trentaine de logiciels • Usage réel • recueil d ’information sur l ’usage du prototype par des enseignants • Observation sur le terrain • observation de l ’usage de différents logiciels par une classe de cm2 • Une confrontation avec les concepteurs

24. Validations

25. Perspectives : (M)-1 • Un outil d ’aide à la conception • La même base de critère que EMPI • Génération d ’un « cahier des charges » QML • Un formalisme de description • Gérer toutes les caractéristiques de la méthode • Produire le questionnaire sur différents supports

26. Conclusions • La base de recommandations est riche en taille et en diversité • Ne jamais oublier le contexte humain • Une instrumentation plus qu’une automatisation