1 / 51

Communication Visuo-Gestuelle Langue des Signes Analyse d Image

13 f

zalman
Télécharger la présentation

Communication Visuo-Gestuelle Langue des Signes Analyse d Image

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

    1. 13 fvrier 2003 Communication Visuo-Gestuelle Langue des Signes Analyse dImage Patrice DALLE IRIT - TCI

    2. 13 fvrier 2003 IRIT-TCI-CVG 2 IRIT-TCI Traitement et Comprhension dImages Vision par ordinateur Strovision, calibrage, shape from shading Gomtrie, Optimisation, Statistiques robustes Interprtation Environnement de conception, Systmes, Reconnaissance Modlisation du TI, Autonomie, Interaction, Incertain, volution Communication Visuo-Gestuelle

    3. 13 fvrier 2003 IRIT-TCI-CVG 3 Communication Visuo-Gestuelle

    4. 13 fvrier 2003 IRIT-TCI-CVG 4 Communication Visuo-Gestuelle

    5. 13 fvrier 2003 IRIT-TCI-CVG 5 Communication Visuo-Gestuelle

    6. 13 fvrier 2003 IRIT-TCI-CVG 6 Communication Visuo-Gestuelle

    7. 13 fvrier 2003 IRIT-TCI-CVG 7 CVG : pourquoi ? (1/3) Etudier les utilisations de la LS Favoriser leur dveloppement Communication en LS ducation => apprendre en LS, enseigner la LS Formation => nologismes Vie sociale et professionnelle => outils de communication Dvelopper des services exprimentaux => lieux dobservation de ces situations Institut IRIS Dpartement E&R

    8. 13 fvrier 2003 IRIT-TCI-CVG 8 CVG : pourquoi ? (2/3) Finalit : Communication, Langue des Signes Opportunits quipe TCI (synergie, masse critique) Vision , mouvement Comprhension IRIT (cooprations) Image (analyse et synthse) CHM, analyse de la vido, indexation TALN (spatial), Dialogue Toulouse LSF : fortes comptences (IRIS, Interpretis, UTM, WebSourd,) LAAS (geste)

    9. 13 fvrier 2003 IRIT-TCI-CVG 9 CVG : pourquoi ? (3/3) Problmatique Thme mergent en analyse dimages Cadre dtude pertinent Scientifique : 3D, mouvement, comprhension, sens Applications : CHM (interaction, commande, observation de lutilisateur, couplage analyse-synthse) LSF, Linguistique : tude des gestes co-verbaux Enseignement DESS SI : Systmes Intelligents (vision et interaction) DESS IIN : Ingnierie de lImage Numrique IRR : Intelligence artificielle, Reconnaissance des formes , Robotique

    10. 13 fvrier 2003 IRIT-TCI-CVG 10 CVG et analyse dimage Analyse Dtection : silhouette, visage, mouvement Segmentation Composants du visage, du corps Mouvement Reconnaissance Expressions (visage) Gestes Interprtation Mimiques faciales Gestes co-verbaux Signes (de la LSF)

    11. 13 fvrier 2003 IRIT-TCI-CVG 11 Etude de la CVG : objectifs Linguistique Etude des gestes co-verbaux, de la langue des signes Etudes par la langue des signes Transcription Formalisme pour analyser, mmoriser ou gnrer Ecriture de la LSF Traduction LSF ? franais Communication distance Transmission, codage, compression Gnration, personnage virtuel ou avatar signant Mmorisation Stockage, indexation, interrogation, restitution

    12. 13 fvrier 2003 IRIT-TCI-CVG 12 Linguistique ? Informatique apports croiss Linguistique Primitives, niveaux danalyse Dmarche danalyse ou de production dnoncs Informatique Modlisation de la syntaxe et de la smantique Mthodes formelles Reprsentations pour rendre compte ou pour gnrer Modlisation du mouvement et des gestes Environnements Editeurs Outils de manipulation, stockage, interrogation Analyse : LS ( vido, direct) ? reprsentation Gnration : reprsentation ? personnage de synthse

    13. 13 fvrier 2003 IRIT-TCI-CVG 13 Projets Actions ACI : Action Cognitique Incitative (ministre de la Recherche) AS : Action Spcifique STIC STIC ? domaine IHC ? RTP ? AS, JEMSTIC, Equipe projet (CNRS) Langue des Signes ACI LS-COLIN (Cuxac) : LS analyseur de langues (2000-2002) AS STIC (Gibet,Toulotte) : Communication en LS (2003-2004) ACI (Garcia-Boutet) : LSF - Formes graphiques (2003-2005) Analyse des gestes co-verbaux AS STIC (Dalle, Cuxac) : interaction gestuelle (2002-2003)

    14. 13 fvrier 2003 IRIT-TCI-CVG 14 Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique (Action COGNITIQUE)

    15. 13 fvrier 2003 IRIT-TCI-CVG 15 LS-COLIN L'iconicit des messages fonctionne comme analyseur cognitif. affiner l'inventaire des structures de "grande iconicit" modliser lmergence du vocabulaire standard partir du processus d'iconicisation initial; vrifier des hypothses des grammaires cognitives : l'expression complmentaire des primitives spatiales et non spatiales issues des reprsentations smantico-cognitives dans les noncs en LS. Travaux communs Identification des primitives signifiantes pour linguistes et informaticiens Structuration, segmentation Spcification dun outil de transcription

    16. 13 fvrier 2003 IRIT-TCI-CVG 16 LS-COLIN : Travaux des linguistes Thmes de publications issues de laction (linguistes) Modle dune grammaire iconique de la LSF Structures de grande iconicit Oprations de transfert Consquences cognitives des transferts en LS Classification des configurations manuelles pronomiales en LSF La construction de rfrences temporelles dans les Langues des Signes Primaires (LSP) pratiques par des sourds vivant exclusivement en entourage entendant

    17. 13 fvrier 2003 IRIT-TCI-CVG 17

    18. 13 fvrier 2003 IRIT-TCI-CVG 18 Corpus LS-COLIN

    19. 13 fvrier 2003 IRIT-TCI-CVG 19

    20. 13 fvrier 2003 IRIT-TCI-CVG 20 LS-COLIN : Editeur de partitions

    21. 13 fvrier 2003 IRIT-TCI-CVG 21 Edition assiste par Traitement dImages

    22. 13 fvrier 2003 IRIT-TCI-CVG 22 AS Interaction gestuelle (RTP Dialogue et Communication)

    23. 13 fvrier 2003 IRIT-TCI-CVG 23 AS-IG : Motivation Intrt : Le geste permet une interaction naturelle Constat Le geste est peu utilis dans la communication H-M La vision est peu utilise dans les dispositifs multimodaux Causes Analyse en temps rel dun objet compos articul dformable, avec beaucoup de degrs de libert Le geste co-verbal est peu contraint et donc difficile analyser par un systme de vision Lexpression gestuelle seule est incomplte et ambigu

    24. 13 fvrier 2003 IRIT-TCI-CVG 24 AS-IG : Prsentation Objectif Enrichir les capacits dchange de la communication visuo-gestuelle Dvelopper des modles danalyse des langues gestuelles par un systme de vision Mthode Etude des points communs langue des signes / gestuelle co-verbale dans la communication H-H Transposition la communication H-M Ralisation dune maquette de simulation

    25. 13 fvrier 2003 IRIT-TCI-CVG 25 AS-IG Apport de la langue des signes

    26. 13 fvrier 2003 IRIT-TCI-CVG 26 AS-IG : Laboratoires cur Langue des signes UMR 7023 (Paris 8) "Syntaxe formelle et typologie des langues", Ch Cuxac UPRESA 6065 (Rouen) "DYALANG" , R. Sabria Co-verbal UMR 8606 (Paris 5) "LEAPLE" , Ch. Hudelot UMR 6057 (Aix-Marseille) "Parole et Langage" , I. Guatella- Cav Vision et analyse du geste par ordinateur UMR 5505 (Toulouse 3) IRIT -"Traitement et Comprhension d'Images" P. Dalle UPR 3251 LIMSI "Geste et Image" A. Braffort, Ch Collet

    27. 13 fvrier 2003 IRIT-TCI-CVG 27 AS : Communication en langue des signes des sourds (RTP Handicap)

    28. 13 fvrier 2003 IRIT-TCI-CVG 28 AS : Communication en langue des signes des sourds Modles et langages de spcification pour la gnration et lanimation dagents de synthse: Analyse et synthse des expressions faciales Codage des gestes des langues des signes pour le stockage des gestes, leur transmission et leur re-synthse en temps rel Interaction multimodale avec les agents virtuels de communication valuation des diffrents systmes par des populations sourdes (reprsentation, reconnaissance des gestes des avatars, dialogue)

    29. 13 fvrier 2003 IRIT-TCI-CVG 29 AS : Communication en langue des signes des sourds Porteurs Sylvie Gibet Laboratoire VALORIA, Universit de Bretagne Sud Jean-Marc Toulotte Laboratoire I3D, universit des Sciences et Technologies de Lille Participants LINC PARAGRAPHE, Universit de Paris VIII Universit de Paris VIII, UMR 7023 LIMSI-CNRS, Universit de Paris Sud IRIT, UMR 5505, Universit Paul Sabatier, Toulouse 3 Institut de la Communication Parle, Universit Stendhal, Grenoble

    30. 13 fvrier 2003 IRIT-TCI-CVG 30 ACI-JC La LSF : quelles conditions pour quelles formes graphiques (proposition de projet) Porteurs Dominique Boutet Brigitte Garcia (linguistes - Paris 8) + laboratoires partenaires

    31. 13 fvrier 2003 IRIT-TCI-CVG 31 Analyse dimage de personnages signants : tudes menes lIRIT-TCI Description Dtection , Extraction de primitives Segmentation Caractrisation Reconstruction 3D Reconnaissance Interprtation

    32. 13 fvrier 2003 IRIT-TCI-CVG 32 Edition assiste par Traitement dImages

    33. 13 fvrier 2003 IRIT-TCI-CVG 33 Analyse dimage dans les projets Systme danalyse de la LSF Boris Lenseigne Projet LS-COLIN Action STIC : Communication en LS Analyse des gestes co-verbaux Frdrick Gianni Action STIC : interaction gestuelle Rsum dexposs en LSF ACI : LSF - formes graphiques

    34. 13 fvrier 2003 IRIT-TCI-CVG 34

    35. 13 fvrier 2003 IRIT-TCI-CVG 35

    36. 13 fvrier 2003 IRIT-TCI-CVG 36 Analyse des mimiques faciales

    37. 13 fvrier 2003 IRIT-TCI-CVG 37 Reprsentation du mouvement par motifs temporels

    38. 13 fvrier 2003 IRIT-TCI-CVG 38 Dtection des contours mobiles

    39. 13 fvrier 2003 IRIT-TCI-CVG 39 Suivi des lments mobiles

    40. 13 fvrier 2003 IRIT-TCI-CVG 40 Estimation 3D de la posture

    41. 13 fvrier 2003 IRIT-TCI-CVG 41 Estimation 3D de la posture

    42. 13 fvrier 2003 IRIT-TCI-CVG 42 Estimation 3D de la posture

    43. 13 fvrier 2003 IRIT-TCI-CVG 43 Estimation 3D de la posture

    44. 13 fvrier 2003 IRIT-TCI-CVG 44 Visualisation de lespace de signation

    45. 13 fvrier 2003 IRIT-TCI-CVG 45 Visualisation de lespace de signation

    46. 13 fvrier 2003 IRIT-TCI-CVG 46 Visualisation de lespace de signation

    47. 13 fvrier 2003 IRIT-TCI-CVG 47 Systme danalyse de locuteur signant Cahier des charges (1) Le systme doit fournir des outils de TI permettant de segmenter des composants dun signe des outils de mesure des outils de reconnaissance (rgion?composant dun signe) des outils de structuration des composants

    48. 13 fvrier 2003 IRIT-TCI-CVG 48 Cahier des charges (2) Le systme doit fournir des outils de TI permettant la segmentation temporelle de la squence des outils de mesure de la dynamique des outils de reconnaissance de trajectoires des outils de structuration des mouvements

    49. 13 fvrier 2003 IRIT-TCI-CVG 49 Cahier des charges (3) Les composants sont identifiables par : leurs caractristiques (main = tche de couleur peau + taille + forme) le contexte (objet qui touche la tte = main) La mthode de reconnaissance nest pas unique Le choix de la mthode volue au cours du temps

    50. 13 fvrier 2003 IRIT-TCI-CVG 50 Cahier des charges (4) Contrainte : ne pas limiter lespace des problmes Le linguiste : doit pouvoir exprimer ce quil cherche, au moment de lanalyse Requtes : exprimes en termes dindices visuels dans le contexte courant

    51. 13 fvrier 2003 IRIT-TCI-CVG 51 Systme

    52. 13 fvrier 2003 IRIT-TCI-CVG 52 Contacts Patrice.Dalle@irit.fr IRIT-TCI UPS 118 route de Narbonne 31062 Toulouse cedex 4 tel : 05-61-55-63-09 http://www.irit.fr/ACTIVITES/EQ_TCI/home.html Rfrences LS-COLIN : http://www.irit.fr/LS-COLIN Rapport final : contact Patrice Dalle AS-IG : http://www.irit.fr/AS-IG

More Related