基于基于镜像神经机制的人类动作行为认知计算 研究

1. 基于基于镜像神经机制的人类动作行为认知计算研究基于基于镜像神经机制的人类动作行为认知计算研究 报告人：朱华平 导师：孙杳如 专业：模式识别与智能系统 年级：2009年秋 研究方向：认知心理学与拟脑计算

2. 报告内容 1 镜像神经研究情况 2 镜像神经元特性 3 镜像神经元研究领域 4 镜像神经元参与虚化动作理解机理研究 5 下一步研究展望

3. 1.镜像神经研究情况—溯源 发现者 被人誉为可以比肩生物学发现DNA一样的重大成就 di Pellegrino G, Fadiga L, Fogassi L, Gallese V, Rizzolatti G.，the University of Parma 研究历程 An accidental discovery • di Pellegrino et al.，1992（最多人接受） • Rizzolatti et al.1988(最早可追溯) • Rizzolatti et al.1996（正式提出并延展） 从猿到人 • 镜像神经最早在猿猴的F5区 • 人存在镜像神经和镜像神经系统？ • 镜像神经的来源，先天还是后天？ 人类镜像神经系统功能的延展 • 动作理解到行为意图理解 • 语言理解与习得的动作理论 • 共情、神经效率……

4. 1.镜像神经研究情况—论文发表 SCI收录论文 SCI收录论文数 EI收录论文 • 主题：mirror neuron • 来源：web of SCI • 多篇science,Nature,Cell 其他论文 2011年论文 • 绝对数量有所下降 • 分布学科范围较广 • 计算模型仍然很少 发表论文年份 • 逐年递增 • 2007年以来发表文章数增加较快 • 2010年井喷 2000 2010 2005

5. 2.镜像神经元特性—monkey • What are “Mirror neuron” • Mirror neurons (MNs) are a specific class of motor neurons that originally discovered in the macaque’s ventral premotor cortical area( F5 area). • Properties • Mirror neuronsdischarge both when the animal performs an action (grasps an object) and sees another individual make a similar action (monkey or human).

6. 2.镜像神经元特性—monkey • 记录猴子F5脑区的120个左右神经元 • 观看人类抓花生与猴子自己抓取花生 • 有目标的动作激活强烈 • 无目标的动作激活较弱 • 用工具有目标的动作激活最弱

7. 2.镜像神经元特性-monkey 目标不可见或仅是声音 • MNs respond even if the action can’t be observed directly（Umiltà et al., 2001, Neuron） • 拨花生的声音也能激活猴子镜像神经元

8. 1 2 3 2.镜像神经元特性-monkey • 猴子镜像神经元具有目标导向（ object-directed action ） • object alone or hand movement alone is not enough 目标导向 • 激活是固定的，非奖励激起（Reward not relevant to firing） • 目标存在不一定要眼见（目标是预先编码的？） 固定模式 • 有关动作的声音也可以激起（引申到语言习得、理解等） • 可以感知为生物的动作执行体（非工具） 多模态

9. 猴子 人类 2.镜像神经元特性—从猿到人 猴子的镜像神经元 人类镜像神经系统 Macaque’s ventral premotor cortical area Human’s ventral premotor cortex overlaps with Broca’s region Furthermore, researchers described mirror neurons in songbirds that fired when a bird sings or hears another bird sing a song similar to its own 存在于inferior parietal lobe (IPL), the inferior frontal gyrus (IFG) Brodmann 44 ，covering part to Inferior Frontal Gyrus (44,45,47)，with Brodmann 45 makes up Broca’s Area, known for speech production IPL,IFG与STS组成人类镜像神经系统（mirror neuron system，MNS）

10. 不需要额外的mind reading, 或是过多的推理,可以快速理解他人动作的意图 A B 第一人称 感同身受 帮助语言理解 由于动作与语言产生的关系，镜像神经系统与语言产生联系起来 与动作相关的精神病 共情困难的自闭症 阿尔兹海默(老年痴呆) 快速识别动作,理解动作意图,镜像机制为非受限的智能人机交互带来新的启示 D C 人机交互的启示 相关疾病的 病理依据 2.镜像神经元特性—迷人之处

11. 3.镜像神经元研究领域 • Action understanding • 帮助理解意图 • 易化（Facilitating ）模仿 • Empathy（共情） 多个问题存在,如Hicock的八个问题和2011年的论战? • Language • 语言的产生 • 语言的理解与进化 镜像神经元的由来,镜像机制仅仅是功能体现? 由于伦理限制，缺少人类镜像神经元单神经的研究证据 • Consciousness • Theory of mind • Six sense • Social cognition • 还涉及研究 • 镜像神经系统失衡（自闭症） • 成瘾（烟瘾、暴力模仿） • 神经效率Neural efficiency • 脑机接口Brain–machine interfaces • 艺术感觉Esthetic reactions to art • 人机交互（虚拟人，乃至灵魂出窍） • 拟人机器人Humanoid robots

12. 4.镜像神经元参与虚化动作理解机理研究 存二义性的手动 存二义性的手部动作，与背景知识与指导语有关，研究较少 行为实验研究显示图示性的手部动作可以引起自动模仿，但缺乏镜像神经激活证据 仅轮廓的手动 素描特征的手部动作极有可能激活人类镜像神经系统，但没有实验验证 素描的手动 颜色与纹理不匹配的电脑生成的手或阴影手也用于人类镜像神经系统的研究 失真的手动 真实手的不及物动作能激活镜像神经元 Mu rhythmsuppression被认为是人类镜像神经元活动的EEG 指标 真实的手动

13. 4.镜像神经元参与虚化动作理解机理研究-1 • HuapingZhu, Yaoru Sun, WenyaDuan, Electroencephalogram evidence for mirror neuron activity during the observation of drawn hand, Neural Regeneration Research, 6(18), 1398-1403,2011. • 直接匹配假说（Direct Matching Hypothesis）认为人类镜像神经系统的激活与否不取决于刺激的颜色、形状、纹理、填充物等外观形态，而是取决于观察者是否有对其所观察运动的内在运动表征。 • 镜像神经元可能参与抽象运动理解。 轮廓、象形 线条画的手为刺激 缺填充物 素描手为刺激 缺颜色、纹理 阴影手为刺激 真实的手 颜色、形状、纹理、填充物等高度真实的手

14. 4.镜像神经元参与虚化动作理解机理研究-1 实验方法 • 记录F3, Fz, F4, C3, Cz, C4, P3, Pz, P4, O1,和O2等11导脑电信号 • 真实手，阴影手，素描手，线条手与基线刺激 • 计算mu（8-13Hz）的去同步化（能量降低） • 进行重复实验方差分析 实验结果 • T检验显示在观看真实手运动和素描手运动时，mu节律抑制（mu suppression）现象显著计算mu（8-13Hz）的去同步化（能量降低） • 重复实验方差分析显示实验刺激间，C3,Cz,C4电极间及二者相互交互均无显著差异行重复实验方差分析 • 对F3，Fz，F4电极的mu抑制现象分析发现与运动区电极有同样的模式 • 枕区O1，O2无明显mu抑制现象，说明不是注意调制引起

15. 4.镜像神经元参与虚化动作理解机理研究-1 • 实验发现 • 非及物的虚化（impoverished）手指运动也能激活人类镜像神经元存在的脑区 • 刺激的颜色，纹理与填充内容并不是决定镜像神经元激活差异的因素 • 验证了镜像神经的直接匹配假说 实验结果

16. 4.镜像神经元参与虚化动作理解机理研究-2 • HuapingZhu, Yaoru Sun, JinhuaZeng, Hongyu Sun, “Mirror neural training induced by virtual reality in Brain–Computer Interfaces may provide a promising approach for the autism therapy”, Medical Hypotheses, 76(5), 646-647,2011. 实验发现 • 动作执行体确认为手，但不知具体手指运动特征时，镜像神经系统不激活 • 通过学习，建立起了执行体，动作特征的一一对应，镜像神经系统激活（EEG特征） • 感觉运动学习（sensorimotor learning）是镜像神经元形成的重要条件 学习 提出应用框架 • 大量研究表明自闭症与镜像神经系统功能失衡有关，虚化的（不同表现特征的生物体运动）能激活镜像神经系统，但自闭症患者却不一样 • 脑电的安全性与实时性，mu节律可以反映镜像神经系统的活动 • 感觉运动学习（sensorimotor learning）是镜像神经元形成的重要条件 • 基于以上发现，借助脑机接口（BCI）技术，开发互动的、生动的（或写实的、或抽象的）人类动作，利用学习强化镜像神经系统，从而达到自闭症康复治疗目的。

17. 5.下一步研究展望 • 镜像神经元的动作链架构 • 直接匹配中动作的组织方式—动作链 • 动作链的发生、发展、消亡与可塑 • 动作直接映射的计算范式 • 建立动作基元的链式表达结构 • 动作的快速映射机制 动作认知的相关应用研究 • 人类动作（如手势）快速识别与交互 国家自然科学基金（面上）2012年-2015年：基于动作链及镜像神经系统的人类动作行为理解的认知计算研究

18. 谢谢大家！