ADT Handicaps du langage et de la communication HandiCom

1. ADT Handicaps du langage et de la communication HandiCom Bordeaux 29 septembre 2009

2. INRIA Nancy Grand-Est Equipe PAROLE Agnès Kipffer-Piquard Psycholinguiste agnes.kipffer@loria.fr

3. Demande de l’Education Nationale et des parents Droits à compensations Loi n°2005-102 du 11/02/05 « pour l’égalité des droits et des chances des personnes handicapées » Droit à des aides techniques : ordinateurs en classe Difficultés à trouver des aides techniques adaptées ( motivation économique, adaptation au matériel…)

5. 2 PROJETS en 2 ans : • 1) Site de production de livres numériques codés destinés aux enfants sourds, malentendants et leurs familles • 2) Normes sur l’écriture d’enfants scolarisés en élémentaire à partir d’une tablette PC + outil de dépistage des « DYS-».

6. 1) Site de production de livres codés Apprendre et renforcer la langue française avec l’aide du LPC Site et méthodologie de réalisation de livres reliant technologie, graphisme et langage adapté

7. Mise au point d’un prototype • Situer le niveau : cycle 2 (Apprentissages fondamentaux) • Critérier les besoins orthophoniques • Etudier fonctionnellement le langage adapté

8. Ecriture d’une histoire de niveau cycle 2 • « Louis et son incroyable chien Noisette » texte d’Agnès PIQUARD-KIPFFER • Travaux de recherche en ortholinguistique sur les diverses segmentations Texte-Image

9. Illustrations • Illustrations de Maryvonne ZIMMERMANN (DATHA)

13. Illustrations • Pas uniquement un imagier donnant l’état du monde • Mais un rapport Texte-Image introduisant un système d’actions, • laissant place aux états affectifs et aux processus de pensée

14. D’où des écarts • Par rapport à la structure textuelle Schéma quinaire abandonné : 3 chapitres

15. D’où des différences • Par rapport à la littérature de jeunesse Fin des implicites (actions, personnages, situation) Eviter l’anaphore Etre redondant (Louis, Louis, Louis…) • Travail phrastique plus que discursif

17. Mise au point d’un site Web

19. La page de dépôt : protocole et tests en cours

20. A destination des utilisateurs : le délai

22. Aspects technologiques • Utilisation de la tête codeuse virtuelle (LABIAO, 2001 INRIA-DATHA-EDF)

23. Un code d’interface : le LPC (Langage Parlé Complété) Aide à la lecture labiale : visualise sosies labiaux et morphèmes de la langue 8 configurations des doigts pour coder les consonnes, 5 positions de la main pour coder les voyelles

24. Aspects technologiques Production de têtes codeuses à partir dutexte + voix. • AVANT l’ADT : Fonctionnement manuel Lignes de commande à la main + génération/affichage de la tête à l’écran • A CE JOUR : Fonctionnement semi-automatique testé Génération de la tête sans affichage sur une fenêtre. Processus semi-automatique. Montage et mise en page automatiques à partir de modèles de mise en page figés.

25. Démonstration du prototype « Louis et son incroyable chien Noisette » Les 3 premières pages du livre flash.

26. Deux types de difficultés et de problèmes • Les problèmes techniques et technologiques : • Lenteur de l’automatisation de la tête codeuse • Voix déformée (excès de graves si parole ralentie), • Concordance texte-image (karaoké), • Segmentation des phrases • Synthèse vocale

27. Deux types de difficultés et de problèmes • Renouvellement des hypothèses : • L’oculomotricité • Les régions du plan • Les temps de traitement de l’information

28. Calendrier et livrables – juin 2009 • 5 guides (DUMONT A., JACQUES F., PIQUARD-KIPFFER A.) 1- Comment raconter une histoire à son enfant sourd ? 2 - Comment utiliser le livre numérique codé ? 3 - Le livre-album : un outil précieux 4 - Langage, communication et surdité 5 - Petit dico et quelques livres de chevet

29. Calendrier et livrables - juin à septembre 2009 • Etude de faisabilité auprès de 3 familles • Film « Fais moi voir les mots ». ( Scénario Lelarge D., Piquard A. Réalisation : équipe Com. INRIA Rocquencourt. Blonz C.).

30. Calendrier et livrables – décembre 2009 • Prototype « Louis et son incroyable chien Noisette » pour le cycle 2 achevé (actuellement, texte complet + 15/30 illustrations) • Site web : 1ers tests + tests d’erreurs achevés

31. Calendrier et livrables – décembre 2010 • Prototype « Louis et son incroyable chien Noisette » pour les cycles 1, 2 et 3 achevés (texte + illustrations) (avec l’activation complète du menu du DVD) • Animation de la tête codeuse automatique • Utilisation de ce travail pour un DVD codé • Livraison au bureau des ressources numériques du Ministère EN ?

32. 2) Normes sur l’écriture d’enfants scolarisés en élémentaire à partir d’une tablette PC + outil de dépistage des « DYS-». • Trouble spécifique de la lecture-écriture • Intelligence normale • Difficultés graves qui persistent et relèvent du handicap • Diagnostic : fin CE1 • 5% à 10% d’une classe d’âge Droits à compensationsen classe, examens… mais pas de matériel adapté : besoin de logiciels

33. Mise au point d’un prototype modes copie et dictée Le Doze E. Pierron L. Piquard-Kipffer A.

34. Calendrier et livrables – juin 2009 • Protocole testé sur 30 enfants (normoscripteurs, dysgraphes et dysorthographes) avec 1 tablette PC Classes ordinaires et cabinets orthophoniques • Critères définis : latences d’écriture, temps d’écriture, pression du stylet, nombres de réécoutes en dictée, nombres de tracés

35. Calendrier et livrables – décembre 2010 • Protocole testé sur une centaine d’ enfants (normoscripteurs, dysgraphes et dysorthographes) dans les classes ordinaires • Analyse des données : - Choix des critères les plus pertinents, - Premiers éléments de réponse, - Modification des variables ou des paramètres d’apprentissage. - Formation initiale et continue à modifier

36. Ecriture d’une enfant dyslexique-dysorthographe • Fil chul ratu pal tru ablo on ou in mi • Sa montre lui manque, mais pas son foulard. • Un lion est en cage, il a soif. • Ton train va loin mais le mien est plus grand. • Le garçon et la fille ont une chèvre à eux.

37. Partenaires extérieurs Ecole d’orthophonie de Nancy Institut National des Télécommunications, LINC, CNRS et Université de Paris V INSHEA Finnish Center of excellence in Learning Research - Jyväskylä - Finlande

38. Avez-vous des questions … s’il vous plaît ?