S minaire CNRT Vision par ordinateur pour les t l communications Panorama sur les techniques de vision pour lanalyse d

1. Joindre le geste � la parole (- Accentuer, cit. 1; ci-dessous, cit. 4). Animer (cit. 13), encourager qqn de la voix et du geste. Autorit� dans le geste et dans le regard (- Enflammer, cit. 9). - Le Geste et la Parole, N'avoir qu'un geste � faire pour (obtenir telle ou telle chose) : pouvoir l'obtenir facilement (avec un simple geste de demande). Loc. Les faits et gestes de qqnJoindre le geste � la parole (- Accentuer, cit. 1; ci-dessous, cit. 4). Animer (cit. 13), encourager qqn de la voix et du geste. Autorit� dans le geste et dans le regard (- Enflammer, cit. 9). - Le Geste et la Parole, N'avoir qu'un geste � faire pour (obtenir telle ou telle chose) : pouvoir l'obtenir facilement (avec un simple geste de demande). Loc. Les faits et gestes de qqn

2. Le geste D�finition : Mouvement du corps. � http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt. �� Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior. �� When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable. � http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt. �� Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior. �� When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.

3. Le geste : ampleur du probl�me D�finition : Mouvement du corps. Pei dit avoir identifi� 700,000 signaux non verbaux. Pei M., The Story of Language, 1949, (New York: The New American Library) Birdwhistell estime que le visage peut produire 250,000 expressions. Birdwhistell, R. L 1963 The kinesic level in investigations of the emotions. In: Knapp P H (ed.) Expression of the Emotions in Man. International Universities Press, New York Krout identifie 5000 gestes de la main. Krout, M. H. (1935). Autistic gestures: An experimental study in symbolic movement. Psychological Monographs, 46, p.119-120. Les gestes de la main sont synchrones et co-expressifs avec la parole, le regard, les expressions. La signification des gestes diff�rent fortement selon les cultures. � http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt. �� Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior. �� When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable. � http://members.aol.com/wordbrd3/nonverb.htm Facial expressions are a major way humans communicate nonverbally. Ray Birdwhistell estimated that the human face can produce at least 250,000 expressions. Facially expressed emotions, although mostly endemic, when assumed by members of various cultures can have differing meanings and appropriate situations. In the United States, smiling in response to a smile from a stranger is the norm, especially for American women, who smile more often than men. But in Israel, there are no "social sanctions" imposed on failure to respond by smiling. A few facial expressions are unique to their cultures: for example, the North American expression known as "smug." Non-British people do not always recognize the British "wry smile," in which one corner of the mouth is turned down to express doubt. �� Like the eyebrow flash, the smile seems to be a universal form of communication, at least on the surface. Even smiles can be culturally prescribed, though. Photographs of smiling individuals were perceived in eight representative cultures as denoting submissiveness and lack of power. The emotion of happiness is not the only thing a smile signals. It could be a way of signaling approachability or friendliness, a lack of threat, or submissiveness to a superior. �� When pictures of other expressions denoting the six basic emotions (anger, fear, happiness, sadness, disgust, and surprise) were presented to members of various cultures, they were usually correctly identified. This happened both within and among the different cultures, which included Sweden, Kenya, Japan, and New Guinea. However, other studies have indicated that the intensity of an emotion's expression is culturally variable.

4. Geste et Communication Selon l�anthropologue Edward T. Hall, lors d�une discussion entre deux personnes, moins de 35% de la communication est transmise par des mots. Donc 65% concerne le canal non-verbal Communication non-verbale : 7 cat�gories principales: (1) langage corporel (expressions faciales, posture, regard et contact visuel, gestes, attitude); (2) apparence (v�tement, �); (3) voix (pitch, volume, d�bit et pause, silence, rire); (4) espace et distance, facteurs prox�miques (espace interlocuteur et agencement de l�espace);(5) couleur; (6) le rapport au temps; (7) toucher, haptique. Hall, Edward T. (1959). The silent language . Greenwich, CT: Fawcett Publications.

5. Pourquoi la vision ? Pour ne pas harnacher l�utilisateur avec des capteurs Remarque la reco de parole tr�s performante a besoin d�un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu�il faut l�orienter) Remarque la reco de parole tr�s performante a besoin d�un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu�il faut l�orienter)

6. Pourquoi la vision ? m�me si on nous promet qu�il sera �l�gant de se promener avec des cam�ras port�es Remarque la reco de parole tr�s performante a besoin d�un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu�il faut l�orienter) Remarque la reco de parole tr�s performante a besoin d�un micro casque (avec antenne acoustique pas aussi performant en plus du fait qu�il faut l�orienter)

7. Classification des gestes Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualit�", "geste d�ictique", "geste illustratif", "geste iconique", "geste id�ographique", "geste m�taphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l�observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en �vidence, outre les embl�mes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes cat�gories de mouvements coverbaux�[3] : - les coverbaux r�f�rentiels, orient�s vers la s�miose et la construction du sens�(gestualit� d�ictique ou de d�signation, gestualit� iconique ou de repr�sentation de r�f�rents concrets, gestualit� m�taphorique ou de symbolisation de r�f�rents abstraits)�; - les coverbaux expressifs, utilis�s pour l'expression des �motions et le cadrage de l'activit� �nonciative par le biais du marquage des actes de parole�; - les coverbaux de structuration, au service de la d�marcation et de la mise en relief des unit�s de la parole et du discours parl� ; - les coverbaux interactifs, au service de la r�gulation de l'activit� conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et r�gulateurs). R�f�rentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou embl�matiques, qui sont ind�pendants de l'�nonc� oral et qui peuvent accompagner ou remplacer tout ou une partie de cet �nonc� (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limit� � quelques situations pr�cises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de �che pour d�placer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est n�cessaire pour une bonne utilisation de l'application. Dans un syst�me de dialogue acceptant l'entr�e gestuelle spontan�e, nous n'en trouverons que tr�s rarement, et ils seront alors toujours accompagn�s d'un �nonc� oral explicite. 2. Les gestes illustrateurs, qui d�pendent de l'�nonc� oral dans le sens que la compr�hension du message de l'utilisateur n�cessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes d�ictiques : ils d�signent un objet ou un lieu r�f�renc� simultan�ment dans l'�nonc� oral. Les gestes iconiques : ils repr�sentent un objet, une action ou un �v�nement r�f�renc� simultan�ment dans l'�nonc� oral (par exemple : J'ai p�ch� un poisson grand comme �a + geste d'�cartement des deux mains). Les gestes m�taphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos id�es + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalit� sensori-motrice gestuelle est une modalit� sensorielle et une modalit� d'action. Elle int�gre la perception proprio-tactilo-kinesth�sique et toutes les formes d'actions motrices. Le r�le de cette modalit� est fondamental dans toute activit� instrumentale : sculpter, jouer du violon, conduire un v�hicule... L'ACROE intervient sur trois aspects : 1. Caract�risation quantitative de l'activit� gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caract�rise par de petits d�placements (3 cm), des pr�cisions �lev�es (2 mm, 10 mN), des forces �lev�es (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximit� par d�placement de l'avant bras sur environ 30 cm avec des pr�cisions en force et en position assez faibles (0,5 cm, 10 N) Geste de d�placement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible pr�cision (5 cm, 100 N) par d�placement du bras ou du corps � partir de 60 cm. � 2. Caract�risation qualitative et fonctionnelle de l'activit� gestuelle Dans l'activit� gestuelle, on peut distinguer trois fonctions diff�rentes (cf Cadoz "le geste,..." in "Biblioth�que") : une fonction �pist�mique -> le geste sert � conna�tre (un mat�riau, une surface, ...) une fonction s�miotique -> le geste sert � faire conna�tre : d�signer, communiquer... une fonction ergotique -> le geste sert � d�placer, modifier, contruire des objets mat�riels � 3. Mod�les pour l'interaction gestuelle Une part importante de l'activit� de l'ACROE est le d�veloppement de mod�les physiques pour le rendu d'effets gestuels via des syst�mes gestuels � retour d'effort : sensations de rigidit�s, d'�lasticit�s, de r�partitions inertielles, d'adh�rence, de rugosit�, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'�tude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualit�", "geste d�ictique", "geste illustratif", "geste iconique", "geste id�ographique", "geste m�taphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l�observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en �vidence, outre les embl�mes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes cat�gories de mouvements coverbaux�[3] : - les coverbaux r�f�rentiels, orient�s vers la s�miose et la construction du sens�(gestualit� d�ictique ou de d�signation, gestualit� iconique ou de repr�sentation de r�f�rents concrets, gestualit� m�taphorique ou de symbolisation de r�f�rents abstraits)�; - les coverbaux expressifs, utilis�s pour l'expression des �motions et le cadrage de l'activit� �nonciative par le biais du marquage des actes de parole�; - les coverbaux de structuration, au service de la d�marcation et de la mise en relief des unit�s de la parole et du discours parl� ; - les coverbaux interactifs, au service de la r�gulation de l'activit� conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et r�gulateurs). R�f�rentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou embl�matiques, qui sont ind�pendants de l'�nonc� oral et qui peuvent accompagner ou remplacer tout ou une partie de cet �nonc� (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limit� � quelques situations pr�cises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de �che pour d�placer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est n�cessaire pour une bonne utilisation de l'application. Dans un syst�me de dialogue acceptant l'entr�e gestuelle spontan�e, nous n'en trouverons que tr�s rarement, et ils seront alors toujours accompagn�s d'un �nonc� oral explicite. 2. Les gestes illustrateurs, qui d�pendent de l'�nonc� oral dans le sens que la compr�hension du message de l'utilisateur n�cessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes d�ictiques : ils d�signent un objet ou un lieu r�f�renc� simultan�ment dans l'�nonc� oral. Les gestes iconiques : ils repr�sentent un objet, une action ou un �v�nement r�f�renc� simultan�ment dans l'�nonc� oral (par exemple : J'ai p�ch� un poisson grand comme �a + geste d'�cartement des deux mains). Les gestes m�taphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos id�es + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalit� sensori-motrice gestuelle est une modalit� sensorielle et une modalit� d'action. Elle int�gre la perception proprio-tactilo-kinesth�sique et toutes les formes d'actions motrices. Le r�le de cette modalit� est fondamental dans toute activit� instrumentale : sculpter, jouer du violon, conduire un v�hicule... L'ACROE intervient sur trois aspects : 1. Caract�risation quantitative de l'activit� gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caract�rise par de petits d�placements (3 cm), des pr�cisions �lev�es (2 mm, 10 mN), des forces �lev�es (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximit� par d�placement de l'avant bras sur environ 30 cm avec des pr�cisions en force et en position assez faibles (0,5 cm, 10 N) Geste de d�placement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible pr�cision (5 cm, 100 N) par d�placement du bras ou du corps � partir de 60 cm. � 2. Caract�risation qualitative et fonctionnelle de l'activit� gestuelle Dans l'activit� gestuelle, on peut distinguer trois fonctions diff�rentes (cf Cadoz "le geste,..." in "Biblioth�que") : une fonction �pist�mique -> le geste sert � conna�tre (un mat�riau, une surface, ...) une fonction s�miotique -> le geste sert � faire conna�tre : d�signer, communiquer... une fonction ergotique -> le geste sert � d�placer, modifier, contruire des objets mat�riels � 3. Mod�les pour l'interaction gestuelle Une part importante de l'activit� de l'ACROE est le d�veloppement de mod�les physiques pour le rendu d'effets gestuels via des syst�mes gestuels � retour d'effort : sensations de rigidit�s, d'�lasticit�s, de r�partitions inertielles, d'adh�rence, de rugosit�, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'�tude des anamophoses gestuelles.



10. Classification des gestes Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Ekman et Friesen, 1969 ; Cosnier, 1977 et 1993 ; Scherer, 1984 ; Calbris, 1997 Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualit�", "geste d�ictique", "geste illustratif", "geste iconique", "geste id�ographique", "geste m�taphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l�observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en �vidence, outre les embl�mes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes cat�gories de mouvements coverbaux�[3] : - les coverbaux r�f�rentiels, orient�s vers la s�miose et la construction du sens�(gestualit� d�ictique ou de d�signation, gestualit� iconique ou de repr�sentation de r�f�rents concrets, gestualit� m�taphorique ou de symbolisation de r�f�rents abstraits)�; - les coverbaux expressifs, utilis�s pour l'expression des �motions et le cadrage de l'activit� �nonciative par le biais du marquage des actes de parole�; - les coverbaux de structuration, au service de la d�marcation et de la mise en relief des unit�s de la parole et du discours parl� ; - les coverbaux interactifs, au service de la r�gulation de l'activit� conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et r�gulateurs). R�f�rentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou embl�matiques, qui sont ind�pendants de l'�nonc� oral et qui peuvent accompagner ou remplacer tout ou une partie de cet �nonc� (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limit� � quelques situations pr�cises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de �che pour d�placer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est n�cessaire pour une bonne utilisation de l'application. Dans un syst�me de dialogue acceptant l'entr�e gestuelle spontan�e, nous n'en trouverons que tr�s rarement, et ils seront alors toujours accompagn�s d'un �nonc� oral explicite. 2. Les gestes illustrateurs, qui d�pendent de l'�nonc� oral dans le sens que la compr�hension du message de l'utilisateur n�cessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes d�ictiques : ils d�signent un objet ou un lieu r�f�renc� simultan�ment dans l'�nonc� oral. Les gestes iconiques : ils repr�sentent un objet, une action ou un �v�nement r�f�renc� simultan�ment dans l'�nonc� oral (par exemple : J'ai p�ch� un poisson grand comme �a + geste d'�cartement des deux mains). Les gestes m�taphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos id�es + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalit� sensori-motrice gestuelle est une modalit� sensorielle et une modalit� d'action. Elle int�gre la perception proprio-tactilo-kinesth�sique et toutes les formes d'actions motrices. Le r�le de cette modalit� est fondamental dans toute activit� instrumentale : sculpter, jouer du violon, conduire un v�hicule... L'ACROE intervient sur trois aspects : 1. Caract�risation quantitative de l'activit� gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caract�rise par de petits d�placements (3 cm), des pr�cisions �lev�es (2 mm, 10 mN), des forces �lev�es (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximit� par d�placement de l'avant bras sur environ 30 cm avec des pr�cisions en force et en position assez faibles (0,5 cm, 10 N) Geste de d�placement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible pr�cision (5 cm, 100 N) par d�placement du bras ou du corps � partir de 60 cm. � 2. Caract�risation qualitative et fonctionnelle de l'activit� gestuelle Dans l'activit� gestuelle, on peut distinguer trois fonctions diff�rentes (cf Cadoz "le geste,..." in "Biblioth�que") : une fonction �pist�mique -> le geste sert � conna�tre (un mat�riau, une surface, ...) une fonction s�miotique -> le geste sert � faire conna�tre : d�signer, communiquer... une fonction ergotique -> le geste sert � d�placer, modifier, contruire des objets mat�riels � 3. Mod�les pour l'interaction gestuelle Une part importante de l'activit� de l'ACROE est le d�veloppement de mod�les physiques pour le rendu d'effets gestuels via des syst�mes gestuels � retour d'effort : sensations de rigidit�s, d'�lasticit�s, de r�partitions inertielles, d'adh�rence, de rugosit�, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'�tude des anamophoses gestuelles. Charaudeau & Maingueneau 2002: pp.285-288 (aussi "gestualit�", "geste d�ictique", "geste illustratif", "geste iconique", "geste id�ographique", "geste m�taphorique", "geste intonatif", "geste quasi-linguistique", "geste expressif facial", "geste de coordination", "geste extracommunicatif" & "geste praxique") CHARAUDEAU, Patrick & MAINGUENEAU, Dominique. (2002) Charaudeau & Maingueneau 2002 Dictionnaire d'analyse du discours. Paris : Seuil. (DA)A Taxonomy of hand gestures for Human-computer Interaction. Meaningful gestures are differentiated from unintentional movements. Gestures used for manipulation of objects are separated from the gestures which possess inherent communicational character. Symbols are those gestures having a linguistic role. They symbolize some referential action or are used as modalizers, often of speech. A partir de l�observation des mouvements corporels produits au cours de la parole, les gestualistes ont mis en �vidence, outre les embl�mes (gestes conventionnels tels le salut ou le signe du ras-le-bol), quatre grandes cat�gories de mouvements coverbaux�[3] : - les coverbaux r�f�rentiels, orient�s vers la s�miose et la construction du sens�(gestualit� d�ictique ou de d�signation, gestualit� iconique ou de repr�sentation de r�f�rents concrets, gestualit� m�taphorique ou de symbolisation de r�f�rents abstraits)�; - les coverbaux expressifs, utilis�s pour l'expression des �motions et le cadrage de l'activit� �nonciative par le biais du marquage des actes de parole�; - les coverbaux de structuration, au service de la d�marcation et de la mise en relief des unit�s de la parole et du discours parl� ; - les coverbaux interactifs, au service de la r�gulation de l'activit� conjointe (signaux de cession, de prise et d'allocation de la parole) et de la synchronisation entre les interactants (signaux phatiques et r�gulateurs). R�f�rentiels, expressifs, de structuration, interactifs 1. Les gestes symboliques ou embl�matiques, qui sont ind�pendants de l'�nonc� oral et qui peuvent accompagner ou remplacer tout ou une partie de cet �nonc� (par exemple le geste de salut). Ce type de geste est relativement courant dans la communication hommehomme, bien que limit� � quelques situations pr�cises 4. Dans la communication hommemachine, ce sont les gestes de commande : geste en forme de croix pour supprimer, geste en forme de �che pour d�placer, etc. Ces gestes ne sont pas naturels dans le sens que leur apprentissage est n�cessaire pour une bonne utilisation de l'application. Dans un syst�me de dialogue acceptant l'entr�e gestuelle spontan�e, nous n'en trouverons que tr�s rarement, et ils seront alors toujours accompagn�s d'un �nonc� oral explicite. 2. Les gestes illustrateurs, qui d�pendent de l'�nonc� oral dans le sens que la compr�hension du message de l'utilisateur n�cessite la combinaison du contenu du message oral et de celui du message gestuel. On les appelle aussi gestes co-verbaux. On distingue : Les gestes d�ictiques : ils d�signent un objet ou un lieu r�f�renc� simultan�ment dans l'�nonc� oral. Les gestes iconiques : ils repr�sentent un objet, une action ou un �v�nement r�f�renc� simultan�ment dans l'�nonc� oral (par exemple : J'ai p�ch� un poisson grand comme �a + geste d'�cartement des deux mains). Les gestes m�taphoriques : ils illustrent un concept abstrait (par exemple : Il veut s'emparer de nos id�es + geste mimant l'action de saisir un objet). Les gestes de battement : ils marquent le rythme du discours. http://www-acroe.imag.fr/ACROE/recherche/gestes/gestes.html La modalit� sensori-motrice gestuelle est une modalit� sensorielle et une modalit� d'action. Elle int�gre la perception proprio-tactilo-kinesth�sique et toutes les formes d'actions motrices. Le r�le de cette modalit� est fondamental dans toute activit� instrumentale : sculpter, jouer du violon, conduire un v�hicule... L'ACROE intervient sur trois aspects : 1. Caract�risation quantitative de l'activit� gestuelle Geste digital (Poignet fixe) : c'est le geste du sculpteur, du pianiste, du violoniste, du dentiste. Il se caract�rise par de petits d�placements (3 cm), des pr�cisions �lev�es (2 mm, 10 mN), des forces �lev�es (80 N). Geste de transport local (Coude fixe) : c'est le geste de positionnement de proximit� par d�placement de l'avant bras sur environ 30 cm avec des pr�cisions en force et en position assez faibles (0,5 cm, 10 N) Geste de d�placement large (Epaule fixe, ou hanche fixe ou libre) : c'est un geste d'approche de faible pr�cision (5 cm, 100 N) par d�placement du bras ou du corps � partir de 60 cm. � 2. Caract�risation qualitative et fonctionnelle de l'activit� gestuelle Dans l'activit� gestuelle, on peut distinguer trois fonctions diff�rentes (cf Cadoz "le geste,..." in "Biblioth�que") : une fonction �pist�mique -> le geste sert � conna�tre (un mat�riau, une surface, ...) une fonction s�miotique -> le geste sert � faire conna�tre : d�signer, communiquer... une fonction ergotique -> le geste sert � d�placer, modifier, contruire des objets mat�riels � 3. Mod�les pour l'interaction gestuelle Une part importante de l'activit� de l'ACROE est le d�veloppement de mod�les physiques pour le rendu d'effets gestuels via des syst�mes gestuels � retour d'effort : sensations de rigidit�s, d'�lasticit�s, de r�partitions inertielles, d'adh�rence, de rugosit�, d'effondrement, palpation de formes, de textures tactiles... ainsi que l'�tude des anamophoses gestuelles.

11. Plan Si nous avons un bon outil comme un marteau alors tous les probl�mes ressemblent � un clou. Face � la grande vari�t� des gestes, quels sont nos outilsSi nous avons un bon outil comme un marteau alors tous les probl�mes ressemblent � un clou. Face � la grande vari�t� des gestes, quels sont nos outils

12. Geste et technique : mod�lisation Caract�ristiques g�om�triques : P�rim�tre, convexit�, surface, compacit�, bo�te entourante, �longation, rectangularit�, centro�de, orientationCaract�ristiques g�om�triques : P�rim�tre, convexit�, surface, compacit�, bo�te entourante, �longation, rectangularit�, centro�de, orientation

13. Geste et technique : reconnaissance

14. Principaux gestes du corps

15. Principaux gestes de la t�te

16. Gestes de la t�te

17. Geste de la t�te Online appearance-based face and facial feature tracking , F. Dornaika and F. Davoine and V.M. Dang, IAPR International Conference on Pattern Recognition, Cambridge, UK, August 2004. Le suivi de la t�te est une �tape importante pour de nombreuses IHM Vision. La position et l�orientation permettent d�identifier lapose et la reconnaissance de gestes simples tel que acquierser ou d�nierf. L�image stabilis�e est obtenue en prenant en compte la pose du visage : adapt�e pour la reconnaissance d�expressions ou de reconnaissance. Se fait � base d�un mod�le 3D avec textures. Le syst�me est initialis� manuellement en projetant un modele de visage polygonal. Le suivi est r�alis� en recherchant les 6 parametres de translation et de rotation afin d�adapter le modele textur� avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum. Le suivi de la t�te est une �tape importante pour de nombreuses IHM Vision. La position et l�orientation permettent d�identifier lapose et la reconnaissance de gestes simples tel que acquierser ou d�nierf. L�image stabilis�e est obtenue en prenant en compte la pose du visage : adapt�e pour la reconnaissance d�expressions ou de reconnaissance. Se fait � base d�un mod�le 3D avec textures. Le syst�me est initialis� manuellement en projetant un modele de visage polygonal. Le suivi est r�alis� en recherchant les 6 parametres de translation et de rotation afin d�adapter le modele textur� avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum.

18. Expressions faciales Recognizing Action Units for Facial Expression Analysis,Tian, Y.L, Kanade, T., & Cohn, J.F. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 2, pp.97-116, 2001.

19. Regard et L�vres Interactive Skills Using Active Gaze Tracking Rowel Atienza and Alexander Zelinsky,ACM 5th International Conference on Multimodal Interfaces, Vancouver Canada, Nov 2003. Stereo 3D Lip Tracking, Gareth Loy, Roland Goecke, Sebastien Rougeaux and Alexander ZelinskyProceedings of Sixth International Conference on Control, Automation, Robotics and Computer Vision (ICARCV2000), Singapore, December 2000. A 3D Head Tracker for an Automatic Lipreading System, Gareth Loy, Eunjung Holden and Robyn Owens, Proceedings of Australian Conference on Robotics and Automation (ACRA2000), Melbourne Australia, August 2000.

20. L�vres A Novel Face-tracking Mouth Controller and its Application to Interacting with Bioacoustic Models Gamhewage C. de Silva, Tamara Smyth, Michael J. Lyons International Conference on New Interfaces for Musical Expression, June 3-5, 2004 ATRATR


22. D�tection de la main Couleur pour t�te et main, quand le fond et les v�tements le permettent Par analyse du contour : points extr�mes (de plus grande courbure ou distance au centre du corps) comme caract�ristiques de main

23. Reconnaissance de posture de la main Comment controler l�environnement goal: to build highly robust CV methods that allow out-of-the-box use of hand gestures as interface modality for VR and AR; graph: ROC curve of �detectability� of various hand postures from a given view � independent of background, person, lighting, and camera calibration top picture: detection in action; based on Viola-Jones face detector, runs at frame rate bottom picture: contour-based hand tracking and posture classification � this is only one of multiple vision modalities that contribute to robustness (others are: motion and color)Comment controler l�environnement goal: to build highly robust CV methods that allow out-of-the-box use of hand gestures as interface modality for VR and AR; graph: ROC curve of �detectability� of various hand postures from a given view � independent of background, person, lighting, and camera calibration top picture: detection in action; based on Viola-Jones face detector, runs at frame rate bottom picture: contour-based hand tracking and posture classification � this is only one of multiple vision modalities that contribute to robustness (others are: motion and color)

24. Posture et Pendentif Environnement contr�l� 4 postures The Gesture Pendant: A Self-illuminating, Wearable, Infrared Computer Vision System for Home Automation Control and Medical Monitoring. Thad Starner, Jake Auxier, Daniel Ashbrook, Maribeth Gandy Proceedings of IEEE International Symposium on Wearable Computing (ISWC 2000). Atlanta, GA. October 2000. pp. 87-94. This camera is ringed by IR LEDs and has a IR pass filter over the lens (Figure 1.) The result is a camera that can track he user�s hands, even in the dark. This is a design similar to the Toshiba �Motion Processor� project which uses a camera and IR LEDs as an input to a gesture recognition system for interaction with desktop and portable computers XX Ref This camera is ringed by IR LEDs and has a IR pass filter over the lens (Figure 1.) The result is a camera that can track he user�s hands, even in the dark. This is a design similar to the Toshiba �Motion Processor� project which uses a camera and IR LEDs as an input to a gesture recognition system for interaction with desktop and portable computers XX Ref

25. Reconnaissance de posture de la main Environnement embarqu�, 8 postures Georgia Tech Gesture Toolkit: Supporting Experiments in Gesture RecognitionTracy Westeyn, Helene Brashear, Amin Atrash and Thad Starner.International Conference on Perceptive and Multimodal User Interfaces 2003

26. Main articul�e 3D Hand Gesture Tracking by Model Registration, H. Ouhaddi, P. Horain, Proceedings of International Workshop on Synthetic - Natural Hybrid Coding and Three Dimensional Imaging,Santorini, Greece, September, 1999. La vid�o peut �tre un support pour la communication gestuelle dans les environnements informatiques collaboratifs � distance, au prix d�une charge r�seau importante et d�une interface complexe comportant une fen�tre par utilisateur. Des acteurs virtuels permettent de restituer � bas d�bit dans un monde virtuel les gestes de l�ensemble des utilisateurs distants. Nous pr�sentons un prototype pour l�acquisition 3D des gestes humains par vision monoscopique en temps r�el, ainsi que leur restitution par des avatars dans un environnement 3D de type t�l�pr�sence pour le partage d�applications. Mots La vid�o peut �tre un support pour la communication gestuelle dans les environnements informatiques collaboratifs � distance, au prix d�une charge r�seau importante et d�une interface complexe comportant une fen�tre par utilisateur. Des acteurs virtuels permettent de restituer � bas d�bit dans un monde virtuel les gestes de l�ensemble des utilisateurs distants. Nous pr�sentons un prototype pour l�acquisition 3D des gestes humains par vision monoscopique en temps r�el, ainsi que leur restitution par des avatars dans un environnement 3D de type t�l�pr�sence pour le partage d�applications. Mots

27. Suivi de la t�te et des mains This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user�s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user�s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates. This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user�s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user�s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates.

28. Reconnaissance de gestes : d�placement This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user�s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user�s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates. This paper presents a computer vision stereo based interface to navigate inside a 3-D Internet city, using body gestures. A wide-baseline stereo pair of cameras is sed to obtain 3-D body models of the user�s hands and head in a small desk -area environment. The interface feeds this information to an HMM gesture classifier to reliably recognize the user�s browsing commands. To illustrate the features of this interfacewe describe its application to our 3-D Internet browser which facilitates the recollection of information by organizing and embedding it inside a virtual city through which the user navigates.

29. Langue des signes Using Multiple Sensors for Mobile Sign Language RecognitionHelene Brashear, Thad Starner, Paul Lukowicz and Holger Junker.7th IEEE International Symposium on Wearable Computers, 2003 As stated in our example there is an enforced structure to the ordering of the gestures. This structure can be represented as a rule{based grammar. The following grammar uses \j" to denote a choice of gestures and \<>" to indicate one or more repetitions of the enclosed expressions. MoveForward = Advance Slow_Down Halt MoveBackward = Reverse Slow_Down Halt command = Attention <MoveForward | MoveBackward> The vocabulary was a 5 gesture set of words fmy,computer, helps, me, talkg plus a calibration gesture at thebeginning andan exit gesture at the end. The calibration gesture involved the user placing their hands inside a box shown on the video stream (see Figure 4). The exit gesture as the process of dropping the hands and using Twiddler keyboard input to stop the data gathering. http://gt2k.cc.gatech.edu/ Georgia Tech Gesture Toolkit The grammar is specified using variables and commands. Each variable, or category, is denoted with a `$' symbol, as in ``$noun''. Commands represent gestures to recognize, and are simple text strings such as ``adult''. Each category may consist of one or more commands, each separated with the ` ' (pipe) character. Sentences are specified using parenthesis. For isolated recognition, a sentence is as simple as ``(�$gesture�)''; for continuous recognition, a sentence can be more complicated (as in Figure 4.4). Using angled brackets around a symbol or variable, such as `` �$word� '' denotes that the enclosed symbol may appear any number of times. As stated in our example there is an enforced structure to the ordering of the gestures. This structure can be represented as a rule{based grammar. The following grammar uses \j" to denote a choice of gestures and \<>" to indicate one or more repetitions of the enclosed expressions. MoveForward = Advance Slow_Down Halt MoveBackward = Reverse Slow_Down Halt command = Attention <MoveForward | MoveBackward> The vocabulary was a 5 gesture set of words fmy,computer, helps, me, talkg plus a calibration gesture at thebeginning andan exit gesture at the end. The calibration gesture involved the user placing their hands inside a box shown on the video stream (see Figure 4). The exit gesture as the process of dropping the hands and using Twiddler keyboard input to stop the data gathering. http://gt2k.cc.gatech.edu/ Georgia Tech Gesture Toolkit The grammar is specified using variables and commands. Each variable, or category, is denoted with a `$' symbol, as in ``$noun''. Commands represent gestures to recognize, and are simple text strings such as ``adult''. Each category may consist of one or more commands, each separated with the ` ' (pipe) character. Sentences are specified using parenthesis. For isolated recognition, a sentence is as simple as ``(�$gesture�)''; for continuous recognition, a sentence can be more complicated (as in Figure 4.4). Using angled brackets around a symbol or variable, such as `` �$word� '' denotes that the enclosed symbol may appear any number of times.

30. Interfaces port�es Pointage, S�lection, Dispositif Applications A Functionally-Distributed Hand Tracking Method for Wearable Visual Interfaces and Its Applications,Takeshi Kurata, Takekazu Kato, Masakatsu Kourogi, Jung Keechul, Ken Endo, IAPR Workshop on Machine Vision Applications (MVA2002) in Nara, Japan, pp.84-89 (2002) AIST Japon, National Institute Tracking of Advanced Institute and Technology distribu� entre la partie wearable, � Distributed Monte Carlo Tracking, gmm hand color classification Adaptattive tracking mechanisms by using sufficient number of sample and hand color modeling on the infrastructure side We use a simple 2-D contour model for hand shape representation as shown in Figure 4 and employ the following seven parameters to describe the state: Xt = (Thetat, tx,t, tx,t, st, �x,t, �y,t, �t), where Thetat is the rotation angle, (tx,t, tx,t) is the center position of the hand shape, sx,t is the scaling parameter,and (�x,t, �y,t) is the shear parameter. The posture parameter �t(0 �� t �� 1) controls the hand shape from the pointing posture (Figure 4 (a)) to the clicking posture (Figure 4 (b)) the same way as image morphing. AIST Japon, National Institute Tracking of Advanced Institute and Technology distribu� entre la partie wearable, � Distributed Monte Carlo Tracking, gmm hand color classification Adaptattive tracking mechanisms by using sufficient number of sample and hand color modeling on the infrastructure side We use a simple 2-D contour model for hand shape representation as shown in Figure 4 and employ the following seven parameters to describe the state: Xt = (Thetat, tx,t, tx,t, st, �x,t, �y,t, �t), where Thetat is the rotation angle, (tx,t, tx,t) is the center position of the hand shape, sx,t is the scaling parameter,and (�x,t, �y,t) is the shear parameter. The posture parameter �t(0 �� t �� 1) controls the hand shape from the pointing posture (Figure 4 (a)) to the clicking posture (Figure 4 (b)) the same way as image morphing.

31. Geste du corps


33. Reconnaissance d�activit� S�asseoir Voler S�agenouiller Hierarchical Motion History Images for Recognizing Human Motion, J. Davis, IEEE Workshop on Detection and Recognition of Events in Video, Vancouver, Canada, July 8, 2001. To represent how motion is moving, we developed a motion history image (MHI). In an MHI, pixel intensity is a function of the motion history at that location, where brighter values correspond to more recent motion. We currently use a simple replacement and linear decay operator using the binary image difference frames. Examples of MHIs for three actions (sit-down, arms-raise, crouch-down) are presented in the figure below right. Notice that the final motion locations appear brighter in the MHIs. Here is a short demo of the current system using two cameras. The top two images show the camera input with motion bounding regions. Bounding boxes are used to account for the possibility of multiple (separate) people/objects. White boxes identify valid motion regions. The middle two images show the corresponding MHI images for the above frames. The "virtual" room at the bottom shows an avatar of me in particular poses when the system identifies any of the recognizable actions (sitting, waving, crouching). To represent how motion is moving, we developed a motion history image (MHI). In an MHI, pixel intensity is a function of the motion history at that location, where brighter values correspond to more recent motion. We currently use a simple replacement and linear decay operator using the binary image difference frames. Examples of MHIs for three actions (sit-down, arms-raise, crouch-down) are presented in the figure below right. Notice that the final motion locations appear brighter in the MHIs. Here is a short demo of the current system using two cameras. The top two images show the camera input with motion bounding regions. Bounding boxes are used to account for the possibility of multiple (separate) people/objects. White boxes identify valid motion regions. The middle two images show the corresponding MHI images for the above frames. The "virtual" room at the bottom shows an avatar of me in particular poses when the system identifies any of the recognizable actions (sitting, waving, crouching).

34. Geste et danse http://eyecon.palindrome.de/ EyeCon can analyse motion according to a number of different parameters: � changes in the presence or absence of body parts at give positions in space � the overall dynamic of the movement occurring within a defined field � position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) � predominate direction of movement (e.g. leftward / rightward, upwards / downwards). � degree of right-left symmetry in the body, how similar in shape the two sides of the body are � degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/ EyeCon can analyse motion according to a number of different parameters: � changes in the presence or absence of body parts at give positions in space � the overall dynamic of the movement occurring within a defined field � position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) � predominate direction of movement (e.g. leftward / rightward, upwards / downwards). � degree of right-left symmetry in the body, how similar in shape the two sides of the body are � degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/

35. Geste et danse http://eyecon.palindrome.de/ EyeCon can analyse motion according to a number of different parameters: � changes in the presence or absence of body parts at give positions in space � the overall dynamic of the movement occurring within a defined field � position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) � predominate direction of movement (e.g. leftward / rightward, upwards / downwards). � degree of right-left symmetry in the body, how similar in shape the two sides of the body are � degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/ EyeCon can analyse motion according to a number of different parameters: � changes in the presence or absence of body parts at give positions in space � the overall dynamic of the movement occurring within a defined field � position of the dancer on stage, direction of travel, etc. (i.e. motion tracking) � predominate direction of movement (e.g. leftward / rightward, upwards / downwards). � degree of right-left symmetry in the body, how similar in shape the two sides of the body are � degree of expansion and contraction in the body. Autre site http://accad.osu.edu/~vberezin/bm/movies/

36. Synth�se des diff�rents gestes Mise en �uvre des �l�ments non verbaux de l�interaction en face � face dans un syst�me multimodal ? Geste de la main ? Regard ? Posture du corps ? Intonation ? Sourcils ? Hochement de t�te � "Conversation as a System Framework: Designing Embodied Conversational Agents", Cassell, J., Bickmore, T., Campbell, L., Vilhjalmsson, H., and Yan, H. in Cassell, J. et al. (eds.), Embodied Conversational Agents. MIT Press, Cambridge, MA, 1999.

37. Bibliographie Articles de revues : Watson, Richard. A Survey of Gesture Recognition Techniques. Technical Report TCD-CS-93-11, Department of Computer Science, Trinity College Dublin, 1993.Wu &Yang, Vision-based Gesture Recognition: A Review, Lecture Notes in Artificial Intelligence, 1999 Liste d�articles : http://www.dei.unipd.it/~cuzzolin/Review.html Sites : The Gesture Recognition Home Page http://www.cybernet.com/~ccohen/Machine Gesture and Sign Language Recognitionhttp://www.cse.unsw.edu.au/~waleed/gsl-rec/Facial Expression Resources Page http://www.mis.atr.co.jp/~mlyons/facial_expression.html

38. Contr�le � Distance d�une TV

39. Geste de la t�te Arno Schadl, Antonio Haro, Irfan Essa. Head Tracking Using a Textured Polygonal Model. Proceedings Workshop on Perceptual User Interfaces, Nov 1998 Le suivi de la t�te est une �tape importante pour de nombreuses IHM Vision. La position et l�orientation permettent d�identifier lapose et la reconnaissance de gestes simples tel que acquierser ou d�nierf. L�image stabilis�e est obtenue en prenant en compte la pose du visage : adapt�e pour la reconnaissance d�expressions ou de reconnaissance. Se fait � base d�un mod�le 3D avec textures. Le syst�me est initialis� manuellement en projetant un modele de visage polygonal. Le suivi est r�alis� en recherchant les 6 parametres de translation et de rotation afin d�adapter le modele textur� avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum. Le suivi de la t�te est une �tape importante pour de nombreuses IHM Vision. La position et l�orientation permettent d�identifier lapose et la reconnaissance de gestes simples tel que acquierser ou d�nierf. L�image stabilis�e est obtenue en prenant en compte la pose du visage : adapt�e pour la reconnaissance d�expressions ou de reconnaissance. Se fait � base d�un mod�le 3D avec textures. Le syst�me est initialis� manuellement en projetant un modele de visage polygonal. Le suivi est r�alis� en recherchant les 6 parametres de translation et de rotation afin d�adapter le modele textur� avec les images videos. We find the parameters by mapping the derivative of the error with respect to the parameters to intensity gradients in the image. We use a robust estimator to pool the information and do gradient descent to find an error minimum.

S minaire CNRT Vision par ordinateur pour les t l communications Panorama sur les techniques de vision pour lanalyse d

S minaire CNRT Vision par ordinateur pour les t l communications Panorama sur les techniques de vision pour lanalyse d

Presentation Transcript

Les techniques pour couches d’assises

Les t l communications

Les Mousquetaires s engagent pour l quilibre nutritionnel

Les services pour les étudiants

Traitements d'images et Vision par ordinateur

Quelles nouveautés pour les Communications Unifiées ?

Pour t l charger les diapos du cours de MKT

Application de l approche de l cosyst me pour les maladies transmissibles par les vecteurs

S appuyer sur les CLIC pour changer les pratiques

Travailler par compétences ? Quels changements pour les élèves ? Quels changements pour les enseignants ?

Par des joueurs, pour les joueurs.

Par des joueurs, pour les joueurs.

Panorama des ressources documentaires pour les doctorants

Champs de Markov en Vision par Ordinateur

INNOVER PAR ET POUR LA BIODIVERSITE UNE VISION POUR L’AVENIR

Vision par Ordinateur

Les ateliers de magie pour les enfants

Panorama des ressources documentaires pour les doctorants

Rapport d ’ activité 2012-2013 Dépasser les frontières : une vision pour 2017

Optique Intégrée pour les Communications Quantiques

Ingénierie Dirigée par les Modèles pour les SoCs

Champs de Markov en Vision par Ordinateur