Automatisation de la reconnaissance des émotions à partir d'expressions faciales

1. Automatisation de la reconnaissance des émotions à partir d'expressions faciales D. Graeff, E. Layan & E. Lopez

2. D. Graeff, E. Layan & E. Lopez La reconnaissance des émotions à partir des expressions faciales: • Est-ce possible ? - au niveau théorique. • Peut-on la réaliser ? - moyens techniques. • Doit-on la réaliser ? - questions éthiques.

3. Est-ce possible ? - au niveau théorique • Constat : La machine n’a qu’une partie de l ’information relative aux émotions : les expressions faciales. • Problématiques : Sont-elles fiables? 1 émotion = 1 expression?  Sont-elles universelles?  émotions sans expressions et expressions sans émotions.

4. Les expressions sont-elles universelles ? • Darwin: The Expression of Emotions in Man and Animals (1872)‏ Les expressions sont issues - notamment - de l’ évolution, elles seraient universelles + vérification empirique. • les travaux d’ Ekman. Universalité des 6 émotions de base : joie, surprise/peur, colère, dégoût, tristesse. Les expressions correspondantes se retrouvent dans toutes les cultures. Étude menée en Papouasie nouvelle Guinée. Photos à caractériser (6 émotions de base)‏

5. Des biais subsistent : propriétés des émotions et différences inter-individuelles • Des émotions sans expression faciale spécifique ? • Un seuil déclencheur de l’expression variable pour chaque individu. • Des événements plus ou moins déclencheurs de l’expression. • Une expression pour plusieurs émotions (remord, déception). • Plusieurs expressions pour une émotion ( la gêne). • Les expressions sans émotion, la question des faux. L'orbicularis oculis marqueur de l'authenticité de la joie. A: un sourire stimulé électriquement : « faux sourire ». B: un sourire spontané :le sourire de Duchenne.

6. Est-ce possible ? - au niveau théorique. Conclusion • La reconnaissance des émotions à partir des expressions faciales est justifiée: • il y a universalité des expressions que cela soit le produit de notre physiologie (et de l’évolution) ou d’une convergence entre cultures. • Si des biais subsistent, leur importance dépend de l’objectif de l’ application. • - Ce n’est pas toujours dans l’intérêt de l’utilisateur de cacher ses émotions. • Et même, il est possible de distinguer les faux pour certaines expressions (classification, système FACS). • - Un suivi personnalisé est possible.

7. Peut-on la réaliser ? - moyens techniques. • Reconnaître une émotion à partir d’expressions faciales, c’ est: • Détecter un visage et le suivre • Travailler ce visage : relever les points caractéristiques • - Essai d’algorithme • - Techniques habituelles • Classer les expressions ( soit les variations des points caractéristiques)‏ • - Essai d’algorithme • - Techniques habituelles

8. Détecter un visage et le suivre • Quelques techniques permettant la détection de visages : • - Rechercher les composants caractéristiques du visage (yeux, bouche)‏ • - Utiliser les textures et intensités de couleurs (peau # autres)‏ • - Méthode Template-matching : comparer avec un gabarit (visage moyen)‏ • - Méthode Eigenface : comparer avec image modifiée aprés ACP • (vecteurs propres maximisant les différences inter-visages)‏ • Ce qui se fait actuellement :

9. Travailler ce visage : relever les points caractéristiques. Essai d’algorithme Raisonnementsur les composantes HSV : hue (teinte), saturation et value (luminosité). Des lèvres avec : - une teinte rose-rouge (h = 357-2°), - une saturation moyenne (ni éclatantes, ni pales), - une luminosité assez importante. Cône HSV. Résultat : la bouche est détectée, pas assez précisément cependant.

10. Travailler ce visage : relever les points caractéristiques. Techniques habituelles • Soit on choisit arbitrairement quelques points caractéristiques • Difficulté : extraction des points • Soit on entraîne un système à chercher les points pertinents • Difficulté : l'apprentissage

11. Classer les expressions: Essai d’algorithme, Ratios Prélèvement manuel des points caractéristiques. Par simplification, les 4 points des extrémités de la bouche transformés en deux ratios pour représenter : l'étirement et l'orientation (vers le bas, vers le haut). Ce prélèvement se fait sur 200 photos sélectionnées avec soin. Avec cette information, classer les visages expressifs en 4 émotions : la joie, la tristesse, la surprise et le dégoût; toutes des émotions de base. Comment sont définies ces classes?

12. Classer les expressions: Essai d’algorithme, Logique floue • Un programme basé sur les principes de la logique floue. • Des classes vagues : différentes intensités dans l’émotion, pas de séparation nette entre les émotions. • Refus du principe de non-contradiction : « une tristesse heureuse ». • Refus du principe du tiers exclu : émotion neutre. => Raisonnement en degrés d’appartenance à une classe. µ(x) est la fonction d'appartenance de l'émotion. x est l'élément retenu de la photo : en l'occurence, 2 ratios.

13. Classer les expressions: Essai d’algorithme On cherche à obtenir les meilleures fonctions d'appartenance en 200 photos. Nos fonctions sont des gaussiennes 3D, on peut agir sur l'écart-type et l'espérance : - variation de l'espérance : variation du prototype. - variation de l'écart-type : variation de l'amplitute. Résultats: des courbes qui englobent les autres, des résultats trop variables selon les écart-types initiaux. Amélioration : trouver les paramètres initiaux optimaux.

14. Classer les expressions: Essai d’algorithme, Critiques • 4 points ne suffisent pas. • absence d’apprentissage: • - des critères d’évolution arbitraires. • - aucun retour sur les conséquences du changement. • - pas de réelle mémorisation des entrées passées et de leur impact. • la fonction de gauss: • - et si on avait été en 4D ou plus? • - elle implique un seul prototype là ou il existe en réalité différents types d’expressions qui correspondent parfaitement à l’émotion. • Une bonne solution aurait été de faire une approximation polynomiale de notre fonction d’appartenance: • - plusieurs prototypes sont ainsi permis. • - c’est approximer une fonction donnée au début par l’homme par une notation des expressions. Il y aurait évaluation d’un écart à la classification souhaitée (apprentissage et méthode supervisée).

15. Classer les expressions: Techniques habituelles • L'approche machine à vecteurs de support (SVM)‏ • L'approche des « k plus proches voisins »

16. Peut-on la réaliser ? - moyens techniques. Conclusion • Des techniques de détection et de classification existent. • Le problème est de classer un visage en temps réel avec des performances correctes. • Le problème tend à être résolu avec les hybrides.

17. Doit-on la réaliser? –questions éthiques. • Quelles applications à la reconnaissance automatisée des émotions? • Industrie du jeu vidéo. • Surveillance : • - en savoir plus sur l’expression, c’est améliorer l’identification faciale. • - détection des comportements agressifs. • Tutoriaux : adapter questions et remarques en fonction de l’état émotionnel de l’apprenant. • IHM, robots domestiques. • Jusqu’où doit aller l’automatisation des tâches? • Jusqu’où doit aller la similitude entre homme et robot? L’intelligence émotionnelle, n’est-ce pas de trop?

18. Conclusion • La reconnaissance d’expressions faciales se développe quoique l’on pense de ses applications. Elle est encore imparfaite : qualité et temps du traitement du visage. • Pour notre TER : essayer de construire un algorithme de reconnaissance des émotions qui englobait la logique floue nous a ouvert à de nouveaux concepts. Notre algorithme aurait pourtant pu être plus pertinent si nous nous étions basés sur des techniques déjà existantes et efficaces. • Notre site : clarté (sobriété, code couleur), système de pliage-dépliage, références, possibilité d’impression, accessibilité, valide XHTML.