1 / 48

CS, USTC

CS, USTC. 面部表情识别若干关键问题研究 作 者：薛 佳 导 师：王煦法 教授 王上飞 副教授 中国科学技术大学 计算机系. CS, USTC. 绪论 面部动作单元识别 面部表情识别 总结. Darwin ， 1872 年 《 人与动物的表情 》 面部表情在人类与动物中存在的普遍性和连续性。 1971 年， Ekman 和 Friesen 提出了 6 种基本情感

rania
Télécharger la présentation

CS, USTC

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. CS, USTC 面部表情识别若干关键问题研究 作 者：薛 佳 导 师：王煦法 教授 王上飞 副教授 中国科学技术大学 计算机系

  2. CS, USTC • 绪论 • 面部动作单元识别 • 面部表情识别 • 总结

  3. Darwin，1872年《人与动物的表情》面部表情在人类与动物中存在的普遍性和连续性。Darwin，1872年《人与动物的表情》面部表情在人类与动物中存在的普遍性和连续性。 1971年，Ekman和Friesen提出了6种基本情感 1978年，Suwa等人提出了在图像序列中进行面部表情自动分析。 从20世纪90年代开始，由Mase和Pentland提出的光流法进行面部表情识别之后，自动面部表情识别进入了新的时期。 研究现状

  4. Six ‘Universal’ Facial Expressions of Emotions Recognise emotions • Happiness • Sadness • Surprise • Fear • Anger • Disgust

  5. Facial Expression Recognition Neutral

  6. Facial Expression Recognition

  7. Facial Expression Recognition

  8. Facial Expression Recognition

  9. Facial Expression Recognition

  10. Facial Expression Recognition

  11. Facial Expression Recognition

  12. Facial Expression Recognition

  13. Facial Expression Recognition

  14. Facial Expression Recognition

  15. Facial Expression Recognition

  16. 研究现状 • 国际上 美国、日本、英国、德国、荷兰、法国、印度、新加坡都有专门的研究组进行这方面的研究。其中MIT、CMU、Maryland 大学、Standford 大学、日本城蹊大学、东京大学、ATR 研究所的贡献尤为突出 。 • 国内 清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学

  17. 图像或图像序列 表情识别 人脸特征提取 人脸检测与定位 人脸 特征 表情分类 绪论 Cohn-Kanade AU-Coded Facial Expression Database Action Units ANNA

  18. 绪论 FACS定义的面部AU编码及其含义

  19. 纯手工方法：效率低。 自动识别方法：特征抽取需要一些受控制的成像环境，限制了实际应用。 本文方法：克服了两种方法的缺点。 绪论 面部动作单元识别方法

  20. 面部表情识别方法： 基于模板的方法 基于神经网络的方法 基于规则的方法 本文从人类大脑结构角度，将人类理解面部表情的一些生理机能也加入到实验中，希望能够从心理角度和生理角度来处理计算机的面部识别问题。 绪论 面部表情识别方法

  21. 使用交互式遗传算法IGA进行面部动作单元识别 面部动作单元识别 二、面部动作单元识别

  22. 实际问题参数集 编码 群体t 计算适应度值 运算：复制 交叉 变异 群体t+1群体t 群体t+1 N Y 满足要求？ 解码 改善或解决实际问题 用户给出

  23. Method I • Basic Idea • Inexperienced subjects • Detect AU from facial images • Recognize facial behavior, open mouse, frown, stare • Grasp the similarities and differences between two images • To use human's ability comparing with GA to realize AU detection

  24. Method II • Case-Based AU Recognition Using IGA Fig. 3 Framework of the proposed AU recognition

  25. Experiment Interface Interface of the system

  26. Experiment conditions • Subjects:3 male ＆ 2 female, 22-29 • Database:final frames in 481 image sequences, from Cohn_Kanade AU-Coded Facial Expression Database with AU codes • Case base:465 images / 481 images • Test:16 images/ 10 images • GA :

  27. 比较实验—特征脸算法实验 训练 标准化和主元素分析 图像库中图像在特征脸空间中的投影 特征脸 图像库 标准化 测试图像在特征脸空间中的投影 前向反馈神经网络 测试图片 测试 面部动作单元识别

  28. 面部动作单元识别 比较实验总结

  29. Taylor等人提出的情感识别结构图 人 脸 语 言 韵 律 转换模块控制器 无意识情感 有意识情感 x y 输出 输入 无意识情感 有意识情感 z 转换模块控制器 面部表情识别 三、面部表情识别 • Taylor等人提出的有意识模块的神经网络进行情感识别的简单模型

  30. Valence in amygdala & OBFC Attention in parietal & PFC Interaction in ACG Parietal ACG SFG Thal NBM A SC BASIC BRAIN EMOTION CIRCUIT

  31. 面部表情识别 • Taylor的有意识模块的神经网络进行情感识别的模型 • 输出为 • 隐层节点 • 中间反馈回路节点

  32. 标准函数实验 真实函数图与实验结果图：红色曲线大致与绿色曲线相符。说明该网络适用于非线性数据的训练。 面部表情识别

  33. 面部表情识别 • 表情识别实验 • 这里使用Cohn_Kanade的面部图像数据库作为训练样本和测试样本。

  34. 表情识别实验结果与分析 下图为训练图片在当前权值状态下的识别率 面部表情识别 91.80% 76.92% 82.76% 高兴 惊讶 愤怒 82.89% 75.47% 85.96% 恐惧 厌恶 悲伤

  35. 面部表情识别 比较实验 • 实验结果

  36. CS, USTC 四、总结 • 对面部动作单元的识别方法进行研究。 • 提出使用IGA进行AU识别，避开传统识别方法所遇到干扰条件的影响； • 提出两种改进识别算法：使用结合SVM的IGA和基于绝对尺度预测的IGA算法，减轻用户疲劳度。

  37. CS, USTC • 对面部表情识别方法进行研究。 • 使用Taylor等人提出的基于意识模块的神经网络结构进行面部表情识别。基于该结构的表情识别算法更具有人脑的结构特征，这样就可以从一定程度上更能够体现人脑识别情感的机制。

  38. CS, USTC 有待解决的一些问题： 1、本文AU识别方法的推广：任何AU和AU组合的识别；动态的图像序列的AU识别。 2、交互和动态的增加样本集。 3、对于情感有关的其他脑部成分进行有益的探索，更好地实现基于大脑模型的情感识别机制。

  39. 1.2 遗传算法简介 遗传算法是模拟生物在自然环境下的遗传和进化过程而形成的一种自适应全局 优化概率搜索方法。 它最早由美国密西根大学的H.Holland教授提出，起源于60年代对自然和人工 自适应系统的研究； 1967年，Bagley发表了关于遗传算法应用的论文，在其论文中首次使用“遗传算法（ Genetic Algorithm）”一词。 70年代De Jong基于遗传算法的思想在计算机上进行了大量的纯数值函数优化 计算实验。 在一系列研究工作的基础上，80年代由Goldberg进行归纳总结，形成了遗传算法的基本框架。

  40. 实际问题参数集 编码 群体t 计算适值 运算：复制 交叉 变异 群体t+1群体t 群体t+1 N Y 满足要求？ 解码 改善或解决实际问题 1.2.2 遗传策法的运算过程 选择(复制)： 根据各个个体的适应度，按照一 定的规则或方法，从第t代群体P(t) 中选择出一些优良的个体遗传到下 一代群体P(t+1)中； 交叉： 将群体P(t)内的各个个体随机搭配 成对，对每一对个体，以某个概率 (称为交叉概率）交换它们之间的 部分染色体； 变异： 对群体P(t)中的每一个个体，以某一概率(称为变异概率)改变某 一个或某一些基因座上的基因值为其他基因值。

  41. 1.2.3 遗传算法的手工模拟计算示例 例：求下述二元函数的最大值： max f(x1,x2)=x12+x22 s.t. x1 {1,2,3,4,5,6,7} x2 {1,2,3,4,5,6,7} (1) 个体编码 遗传算法的运算对象是表示个体的符号串，所以必须把变量 x1, x2 编码为一种 符号串。本题中，用无符号二进制整数来表示。 因 x1, x2 为 0 ~ 7之间的整数，所以分别用3位无符号二进制整数来表示，将它 们连接在一起所组成的6位无符号二进制数就形成了个体的基因型，表示一个可 行解。 例如，基因型 X＝101110 所对应的表现型是：x＝[ 5，6 ]。 个体的表现型x和基因型X之间可通过编码和解码程序相互转换。

  42. 适值 占总数的百分比 选择次数 选择结果 个体编号 初始群体p(0) x1 x2 011101 101011 111001 111001 34 34 25 50 0.24 0.24 0.17 0.35 011101 101011 011100 111001 1 1 0 2 3 5 5 3 3 4 7 1 1 2 3 4 1 总和 143 35% 24% 17% 24% 0 1 3# 4# 1# 2# 本例中，我们采用与适应度成正比的概率来确定各个个体复制到下一代群体中 的数量。其具体操作过程是： • 先计算出群体中所有个体的适应度的总和 fi( i=1.2,…,M ); • 其次计算出每个个体的相对适应度的大小 fi / fi，它即为每个个体被遗传 到下一代群体中的概率， • 每个概率值组成一个区域，全部概率值之和为1； • 最后再产生一个0到1之间的随机数，依据该随机数出现在上述哪一个概率区 域内来确定各个个体被选中的次数。

  43. 个体编号 交叉结果 选择结果 配对情况 交叉点位置 011001 111101 101001 111011 01 1101 11 1001 1010 11 1110 01 1 2 3 4 1-2：2 3-4：4 1-2 3-4 (5) 交叉运算 交叉运算是遗传算法中产生新个体的主要操作过程，它以某一概率相互交换某 两个个体之间的部分染色体。 本例采用单点交叉的方法，其具体操作过程是： • 先对群体进行随机配对； • 其次随机设置交叉点位置； • 最后再相互交换配对染色体之间的部分基因。 可以看出，其中新产生的个体“111101”、“111011”的适应度较原来两个个体 的适应度都要高。

  44. 个体编号 子代群体p(1) 变异结果 交叉结果 变异点 011101 111111 111001 111010 011101 111111 111001 111010 011001 111101 101001 111011 4 5 2 6 1 2 3 4 (6) 变异运算 变异运算是对个体的某一个或某一些基因座上的基因值按某一较小的概率进 行改变，它也是产生新个体的一种操作方法。 本例中，我们采用基本位变异的方法来进行变异运算，其具体操作过程是： • 首先确定出各个个体的基因变异位置，下表所示为随机产生的变异点位置， 其中的数字表示变异点设置在该基因座处； • 然后依照某一概率将变异点的原有基因值取反。 对群体P(t)进行一轮选择、交叉、变异运算之后可得到新一代的群体p(t+1)。

  45. 适值 占总数的百分比 个体编号 子群体p(1) x1 x2 34 98 50 53 0.14 0.42 0.21 0.23 011101 111111 111001 111010 3 5 7 7 7 1 7 2 1 2 3 4 1 总和 235 从上表中可以看出，群体经过一代进化之后，其适应度的最大值、平均值都得 到了明显的改进。事实上，这里已经找到了最佳个体“111111”。 [注意] 需要说明的是，表中有些栏的数据是随机产生的。这里为了更好地说明问题， 我们特意选择了一些较好的数值以便能够得到较好的结果，而在实际运算过程中 有可能需要一定的循环次数才能达到这个最优结果。

  46. 个体编号 初始群体p(0) x1 x2 占总数的百分比 fi / f 适值 fi(x1,x2) fi=143 fmax=50 f=35.75 fi=253 fmax=98 f=58.75 34 34 25 50 011101 101011 011100 111001 0.24 0.24 0.17 0.35 3 5 5 3 3 4 7 1 1 2 3 4 变异结果 变异点 交叉结果 选择次数 选择结果 配对情况 交叉点位置 011101 111111 111001 111010 011001 111101 101001 111011 011101 111001 101011 111001 1 1 0 2 4 5 2 6 1-2：2 3-4：4 1-2 3-4 子代群体p(1) x1 x2 占总数的百分比 fi / f 适值 fi(x1,x2) 34 98 50 53 011101 111111 111001 111010 0.14 0.42 0.21 0.23 3 5 7 7 7 1 7 2

More Related