Bastien Sasseville Université du Québec à Rimouski Chercheur régulier, GIREFAD

1. L'approche Learner Verification and Revision (LVR) dans le développement d'un dispositif de formation à distancede qualité Bastien Sasseville Université du Québec à Rimouski Chercheur régulier, GIREFAD 77ème Congrès de l’ACFAS, Ottawa, mai 2009

2. Plan de la présentation • L’approche Learner Verification and Revision (LVR) • Concepts de base • L’évaluation • La révision • La modification • Les étapes de la LVR • La construction d’un prototype • La sélection des participants • La collecte de données • Schéma des étapes de la LVR • L’approche LVR dans la recherche qualité • Conclusion

3. L'approche LVR • Développée par Stolovitch dans les années 70, s'inspirant des travaux de Markle (1967), Gropper (1975), Henderson et Nathenson (1977), cette approche s'inscrit dans une perspective systémique de développement pédagogique où chaque étape du processus de développement, chaque modification apportée, doit tenir compte de l'ensemble du système ou dispositif en cours d'élaboration. • Elle est également liée à la technologie de l'instruction et à la formation médiatisée. • Cette approche a fait l'objet d'évaluations au plan de son applicabilité, de sa capacité à améliorer le processus de conception et à produire des résultats (Dupont, 1980; Larin, 1982; Chinien & Boutin, 2005)

4. L'approche LVR • Selon Stolovitch (1983) et Chinien et Boutin (2005), l'approche Learner Verification and Revision (LVR) se conçoit comme une évaluation en cours de construction afin d'identifier et de corriger les erreurs par un processus de mise à l'épreuve répétée du matériel ou dispositif en développement. • Cette approche s'inscrit dans le cadre du second volet de la recherche Qualité qui vise à concevoir un dispositif de formation à distance tenant compte de critères de qualité des interactions, préalablement déterminés au moyen d'entrevues et de questionnaires auprès d'étudiants en FAD. • De façon à ce que cette prise en compte s'opère plus efficacement, il est important d'inclure les étudiants dans l’élaboration du dispositif.

5. L'approche LVR : concepts de base L'évaluation • L’évaluation permet de déterminer la valeur ou la qualité d'un matériel ou dispositif. • Dans l'évaluation, deux sources peuvent être consultées, la première étant les experts dans la conception du prototype : spécialistes du contenu, ressources pédagogiques ciblées ou experts techniques. • Une autre source est constituée des apprenants, ceux pour qui le matériel ou dispositif est développé. • L'apport de ces derniers est central dans la LVR. Ils sont au centre du processus de révision.

6. L'approche LVR : concepts de base La révision • Elle comporte toute activité qui vise à opérer des changements en vue de l'amélioration du dispositif. • Selon Stolovitch (1977), ce concept est difficile à définir de façon générale car il demeure lié aux intentions de départ, aux caractéristiques du prototype, à la façon dont les données sont recueillies et aux possibilités de changement ou d’amélioration que l'analyse des données recueillies fera apparaître.

7. L'approche LVR : concepts de base La modification • Selon Stolovitch (1977), la modification est prise en compte dès le début du processus de révision. • Cependant, elle demeure liée à la collecte de donnée auprès des apprenants. • Ainsi, il est possible, selon le mode de collecte retenu, que des aspects liés à une modification souhaitée ne puissent apparaître. • Selon le nombre de boucles opérées, il peut donc être nécessaire de varier les méthodes de collecte afin d'obtenir les données nécessaires à une modification utile du dispositif.

8. Les étapes d'application de la LVR • - La construction d'un prototype • - L’évaluation • Individuelle, par groupe, mixte • évaluation complète ou partielle • - La sélection des participants • - La collecte et l’analyse des données

9. Les étapes de la LVR La construction d'un prototype • Elle peut se faire de deux façons : à partir d'un prototype élaboré selon des besoins identifiés ou à partir d'un dispositif déjà existant. • Dans le premier cas, l'élaboration du prototype se fait à partir d’un cahier de charge ou à partir d'objectifs et de besoins identifiés au moyen d'une collecte de données préliminaire ou par l'analyse critique de dispositifs, services ou produits déjà existants. • Le prototype est construit par des spécialistes en conception et/ou en contenu auxquels peuvent se joindre des experts techniques dans le cas de dispositifs utilisant des moyens techniques spécifiques (ex: dispositifs de formation médiatisée ou dispositif APO). L'élaboration doit être réalisée en tenant compte des besoins des effectifs visés mais aussi de l'interaction des divers éléments du dispositif.

10. Les étapes de la LVR La construction d'un prototype • Dans le second cas, un dispositif existant est modifié de façon à rencontrer les besoins identifiés et est soumis à une évaluation initiale. Cette évaluation constitue le point de départ d'une série de boucles évaluation/collecte et analyse de données/modification. • Dans les deux cas, le prototype est soumis à une première évaluation auprès d'experts ou de concepteurs de façon à éliminer les problèmes les plus évidents dès le départ (Stolovitch, 1983). • Ce sont souvent les chercheurs ou concepteurs qui sont les premiers évaluateurs du prototype car ils sont familiers avec les objectifs visés par la conception et avec les besoins des effectifs. Cependant, il est parfois nécessaire de faire appel à une expertise extérieure pour valider une version initiale du prototype.

11. Les étapes de la LVR L’évaluation L’évaluation individuelle • Le matériel ou dispositif est soumis à l'apprenant de manière individuelle. • Ce dernier expérimente seul le matériel sans interventions extérieures. • Par la suite, l'apprenant fait part de ses impressions qui sont prises en considération dans l'élaboration d'un prototype amélioré, soumis de façon individuelle à un autre apprenant. • Ce processus se poursuit jusqu'à obtention de résultats satisfaisants et que tous les problèmes soient réglés, selon les visées de départ.

12. Les étapes de la LVR L’évaluation L’évaluation par groupe • Dans l'approche de groupe, le même procédé est appliqué par petits groupes. • Ceux-ci sont représentatifs du type d'apprenant visé par le matériel ou dispositif pédagogique. • Cette approche permet également l'utilisation de méthodes quantitatives de données, basées sur un plus large échantillon de participants pour évaluer la pertinence, la cohérence, l’utilité et/ou la performance du nouveau dispositif.

13. Les étapes de la LVR L’évaluation L’évaluation mixte • Selon le besoin, une approche mixte peut être employée. Le dispositif est évalué individuellement jusqu'à ce que l'ensemble des améliorations possibles ait été apporté pour opérer ensuite une évaluation en groupe, laquelle peut servir de validation du processus d'évaluation. À ce moment, cette évaluation ne devrait comporter que très peu de corrections, souvent mineures. • Inversement, une évaluation initiale peut être réalisée en groupe afin de cibler d’emblée l'ensemble des éléments problématiques du prototype pour ensuite les corriger lors d'une succession d'évaluations individuelles, jusqu'à ce que l'ensemble des problèmes initialement soulevés soit corrigés. Cette dernière approche peut toujours nécessiter une validation finale en groupe.

14. Les étapes de la LVR L’évaluation du prototype L’évaluation partielle Le matériel ou dispositif peut être soumis dans une version complète ou tronquée selon les besoins. Plus le processus de révision est exhaustif, et plus le nombre de boucles de vérification est grand, moins il devient nécessaire de soumettre à l'évaluation un prototype complet. Ceci permet d'affiner le processus de révision en ciblant uniquement les éléments problématiques. Selon le type de dispositif cependant, les liens existants entre les différentes parties ou éléments du dispositif peuvent rendre difficile ou impossible cette façon de faire.

15. Les étapes de la LVR L’évaluation du prototype L’évaluation partielle L'évaluation partielle est particulièrement utile lors d'une approche mixte de l'évaluation où, par exemple à la suite d'une évaluation complète initiale en groupe, certains aspects du dispositif - et non le dispositif dans son ensemble - sont évalués individuellement avant une validation finale. Également, il est possible de soumettre un dispositif à une évaluation individuelle et ne soumettre aux évaluations subséquentes que les parties modifiées selon les commentaires. Ce genre d'approche s'applique surtout à des dispositifs comportant des éléments autonomes qui permettent ce genre d'interventions.

16. Les étapes de la LVR La sélection des participants • Elle se fait selon l'intention de départ, les besoins identifiés et les caractéristiques de l'effectif étudiant visé, celui auquel s'adressera le dispositif. • Il n'y a donc pas de profil type, celui-ci est déterminé par les besoins propres à l'élaboration du dispositif. • Certaines caractéristiques peuvent cependant s'avérer utiles, entre autres : Connaissance du domaine, sujet ou matière; Connaissance et/ou expérience du type de dispositif.

17. Les étapes de la LVR La collecte et l’analyse des données • Dans l'approche individuelle, la collecte de donnée se fait généralement au moyen d'entrevues. • En groupe, elle peut se faire au moyen d'un questionnaire présentant une nomenclature exhaustive des aspects de l'évaluation du dispositif. Le questionnaire peut être ouvert ou encore correspondre à une liste d'items spécifiques. • Dans certains cas, le focus group peut s'avérer utile, combinant certains avantages de l'entrevue et du questionnaire, en permettant une réflexion plus approfondie sur le dispositif par le partage des information entre participants. • La collecte de données peut s'échelonner sur une période assez longue et, dans le cas d'une approche d'évaluation mixte, une variété de moyens de collecte de données peut être employée.

18. PROTOTYPE ESSAI NOUVEAU PROTOTYPE ANALYSE MODIFICATION RÉSULTAT SATISFAISANT DIFFUSION OUI NON DIAGNOSTIC D'après Stolovitch, H.D. & LaRocque, G. Introduction à la technologie de l'instruction, 1983, p.154.

19. L'approche LVR dans la recherche Qualité • Nous avons fait le choix de travailler à partir d'un module tiré d'un cours axé sur l'apprentissage de compétences méthodologiques. • Le matériel retenu pour l'expérimentation est tiré du cours SCS-2013 Documentation et rédaction en sciences sociales, offert à la TÉLUQ. • Il sera élaboré plus spécifiquement à partir du module 7 de ce cours qui porte sur la rédaction d'un texte argumentatif. • Ce module sera adapté en tenant compte de critères de qualité tirés des entrevues préalablement réalisées auprès d'étudiants en FAD dans le cadre de la recherche qualité.

20. L'approche LVR dans la recherche Qualité • Pour l'instant, l'évaluation par petits groupes a été retenu. Le prototype modifié selon des paramètres établis au départ au moyen des données d'entrevues sera soumis à des groupes d'étudiants en FAD. • Pour l’instant, le prototype sera évalué de façon complète. • Le nombre de boucles de vérification sera déterminé par les critères de qualité et le nombre de révisions nécessaires à l'élaboration d'un dispositif satisfaisant à cet égard.

21. Conclusion • Selon Stolovitch, quelques problèmes demeurent cependant pour les chercheurs qui utilisent la LVR : Il est toujours utile de s'interroger sur les qualités des personnes qui devront évaluer le dispositif. De plus, comment tirer le meilleur parti des données d'évaluation? Elles peuvent parfois difficilement se traduire en modifications opérationnelles.

22. Conclusion • Van Der Maren souligne aussi certaines difficultés. La LVR demande du temps pour mener à bien la démarche de façon satisfaisante, de l'établissement du cahier des charges à l'adoption et la diffusion. Souvent, le temps joue contre le processus de développement et "…il faut reconnaître que ce modèle, très rationnel, n'est pas toujours aussi complètement suivi quand on travaille dans l'action, même à l'université." (Van Der Maren, 2003, p.110) • Pour contrer cette difficulté, il suggère de " …gagner du temps en analysant des alternatives comme un matériel déjà existant qu'il suffirait de modifier, autant pour la présentation du matériel que pour la structuration de son contenu." (Van Der Maren, 2003, p.110)

23. Références Chinien, C. & Boutin, F. (2005). Framework for Strengthening Research in ICT-Mediated Learning. Communication at the ITHET 6th Annual International Conference, Juan Dolio, Dominican Republic, 2005.  Dupont, D. (1980). Développement et évaluation d'un modèle de révision de documents éducatifs. Thèse de doctorat. Université de Montréal. Henderson, E.S. & Natheson, M.B. (1977). Developmental Testing : Collecting Feedback and Transforming it into Revisions.NSPI Journal, 16 (3), p.6-10. Kandaswamy, S.; Stolovitch, H.D. & Thiagarajan, S. (1976). Learner Verification and Revision : An Experimental Comparison of Two Methods. AV Communication Review, vol.24, no.3, Fall 1976, pp.316-328. Larin, G. (1982). L'effet de l'approche "Learner Verification and Revision" appliquée au matériel d'enseignement formel en cinquième année. Thèse de Doctorat, Université de Montréal.

24. Références Markle, M. (1967). Empirical Testing of Programs. Programmed Instruction (Lange, P.C. dir.) The 66th yearbook of The National Society for the Study of Education. Chicago University Press : Chicago. Stolovitch, H.D. (1983). Introduction à la technologie de l'instruction. Saint-Jean sur-Richelieu : Éditions Préfontaine. Stolovitch, H.D. (1979). La vérification et la révision du produit pédagogique auprès de l'étudiant : une technologie intermédiaire. Montréal : Université de Montréal Stolovitch, H.D. & Bordeleau, P. (1977). Shaping Special Education Through The Intermediate Technology of Learner Verification and Revision. Paper presented at the annual meeting of the Association for Educational Communication and Technology, Miami, Florida, avril 1977. Van Der Maren, J.M. (2003). La recherche appliquée en pédagogie. Des modèles pour l'enseignement. Bruxelles : DeBoeck