1. 情感产生 万超岗 宁波大学计算机科学技术研究所

2. 内容 • 具有情绪的机器 • 情绪基本理论 • 情绪产生的主要模型 • 我的工作 • 主要算法

3. 我们为什么不能…? • 为什么我们不能拥有可以思考的计算机? • 具有每秒百万次浮点处理的计算机为什么不能理解形状的意义呢? • 我们能不能建造不仅仅通过我们编程只能做重复的事，而是能从自己经历中进行学习的计算机呢? • 计算机能不能像人一样呢? 上面提到的问题是那些不懈追求计算机更智能的设计 者和其他人员不得不面对的问题。

4. 什么是“智能”? en.wikipedia.org上提到: “Intelligence is a general mental capability that involves the ability to reason, plan, solve problems, think abstractly, comprehend ideas and language, and learn.”

5. 什么是“情感”? 在心理学应用中，情感是一个人内在状态的 语言表达，通常是基于或者紧紧联系着他们内在 (心理)和外在的(社交) 感觉。爱、恨、勇气、恐惧、高兴和悲伤这些都可以用生理和心理感觉 的术语来描述。

6. 计算机需要情绪吗? “The question is not whether intelligent machines can have emotions, but whether machines can be intelligent without any emotions.” Marvin Minsky, The Society of Mind

7. 什么是“情感计算机”? Picard (2001) 描述了人的情感具有四种成分, “有”情感的计算机应该具有以下四种能力: • 情感表达 • 多层次的情感产生 • 情感体验 • 精神与肉体的相互作用

8. 什么是“情感计算机”? • 情感计算机能识别情感，并能利用情感对事件进行反应。 • Marvin Minsky 在其书 ‘The Emotion Machine’上 有对“情感计算机”这个概念有比较完整的描述。

9. 内容 • 具有情绪的机器 • 情绪基本理论 • 情绪产生的主要模型 • 我的工作 • 主要算法 • 问题

10. 情感(Emotion) ,心情(moods) 和 态度(attitude) • Emotion is an immediate affective response to the evaluation of some event. • Moods are more “diffuse” affective states ,it are caused by its personal history and “life” events. • An attitude is an amalgamation of emotions experienced with a particular person. Attitude is a key part of long term relationships. • Note:Affect is a general term relating to emotions , moods and others.

11. 情感(Emotion) ,心情(moods) 和 态度(attitude) • 三者之间相互作用。 • 好心情会抑制负面的情感, 坏心情会抑制好的情感. • 研究表明： 经常重现的情感不会造成心情的巨大的波动。 特别值得注意的是： 心情状态一般都是相当的稳定;弱的情感反应不会对心情产生大的变化。 • 情感和态度能帮助形成比较全面的心情状态。 • 在交互的过程中，心情的变化会影响态度。

12. 情感的分类 • 基于基本情感的分类 1.Plutchik从强度、相似度和两极性三方面分为8类：狂喜 警惕 悲痛 惊奇 狂怒 恐惧 接受 憎恨 2.Izard用因素分析法提出人有8到11种基本情绪。 3.Ekman把情绪分为六类：高兴 愤怒 厌恶 恐惧 悲伤 惊奇 Ekman分类在心理学界和工程学界占主体地位。

13. 情感的分类 • 基于维度的情感分类 1. Wundt的维度理论：愉快----不愉快，激动---平静 紧张----松弛。 2. Schlosberg的维度理论：愉快----不愉快 注意----拒绝和激活水平。 3. Plutchik把情绪分为相似性、两极性和强度三个维度。 4. Russel 的愉快度和强度环形模型。 5.Kismet: 唤醒度(arousal), 价(valence)和态(stance)。 6. 魏哲华 ：以基本情绪状态为基轴的欧式空间。

14. 内容 • 具有情绪的机器 • 情绪基本理论 • 情绪产生的主要模型 • 我的工作 • 主要算法

15. Event, Agent, or Object of appraisal appraised in terms of goals (events) norms/standards (agents’ actions) tastes/attitudes (objects) joy distress hope fear relief disappointment etc. GOAL-BASED EMOTIONS anger gratitude gratification remorse etc. COMPOUND EMOTIONS pride shame admiration reproach etc. STANDARDS-BASED EMOTIONS love hate etc ATTITUDE-BASED EMOTIONS OCC Model (Ortony, Clore and Collins)

18. 内容 • 具有情绪的机器 • 情绪基本理论 • 情绪产生的主要模型 • 我的工作 • 主要算法

19. 通用模型

20. 情感空间 • 内部情感状态定义：

21. 情感空间 • 外部表情定义

22. 情绪衰减 • 情绪具有瞬时性，在心理学上情绪的衰减与指数函数的曲线更近似，所以我当前选用的是指数衰减函数，随时间衰减情绪函数如下：

23. 心情的产生和其对情绪的影响 • 心情的产生 1.心情较之情感更稳定，可不考虑其时间的衰 减性。 2.心情受经历过的情绪序列影响。 3.产生心情的网络需要具有记忆功能，本实验选用Elman网络。

24. 心情的产生和其对情绪的影响 • 心情对情绪的影响 1. 一个人的心情会影响人对别人所处情绪(也就是情绪的输入)的判断 2.对输入情绪状态进行简单的向量叠加。

25. 情感产生 • McClelland在1993年曾说：“如果要对自然界进行建模计算那么随机性必须的，因为随机性是自然界的本质。最近提出认知和细胞计算的统一理论应该是基于随机的、连续的和交互的模型上”。(Randomness is essential when modeling natural computation because of the intrinsic variability of natural hardware. Recently it has been proposed that a unified theory of cognition and neural computation should be based on models that are random,continuous and interactive(McClelland,1993).)

26. 情感产生 • 在情感产生部分我选用了CRBM(Continuous restricted Boltzmann machine)的神经网络 。 • 为什么是CRBM呢？ 1.连续性 2.随机性 3.并行性 4.实时性

27. 表情产生 • 从内部情感到外部表情的映射 • 使用具有监督学习功能的竞争学习网络LVQ（Learning Vector Quantization） • 表情学习 初始只有Ekman的六种基本表情，然后扩散到 整个表情空间 。

28. 六种基本表情 • 愤怒(anger)

29. 六种基本表情 • 厌恶(disgust)

30. 六种基本表情 • 恐惧(fear)

31. 六种基本表情 • 悲伤(sad)

32. 六种基本表情 • 高兴(smile)

33. 六种基本表情 • 惊奇(surprise)

34. 情感序列的抽取 • 目标 If 输入情感状态A and 当前情感状态B Then 输出情绪状态C • 进展 ？

35. 内容 • 具有情绪的机器 • 情绪基本理论 • 情绪产生的主要模型 • 我的工作 • 主要算法

36. Blotzmann机的回顾 • 结构

37. Boltzmann机结构 • Blotzmann机把随机神经元分成两组：可见部分和隐藏部分。 • 可见神经元提供网络和它运行环境之间的一个界面。 • 在训练阶段，所有可见神经元被钳制在环境所决定的特定状态。另一方面，隐藏神经元总是自由运行，它们来解释环境输入向量包含的固有约束。

38. 可选的Boltzmann机模型

39. Boltzman 机运行过程 • 在Boltzman 机网络中，每个神经元都根据自己的能量差来改变自己的状态。可用概率来描述。神经元输出为1的概率为 • 神经元输出为0的概率为

40. 能量函数的定义 能量变化的计算 当x由0变为1时 当x由1变为0时

41. Boltzamann机学习 • Maximum-likelihood(ML) (Simon Haykin,P566) • 最小化Kullback-Leibler 散度(MKL) • ML与MKL等价

42. Boltzman 机学习过程 1). 随机设定网络的连接权wij(0)及初始高温。 2). 选取期望的可视单元的学习样本集。 3). 在样本集中选取一样本，并使用此样本来对网络中可视单元进行嵌位. 4).使嵌位的网络达到平衡，重复3）过程直到学习样本集中的状态样本都使用完成。 5) 统计出各嵌位状态下<si,si>的平均分布概率pij 。 6).在无约束条件下运行网络使其达到平衡，统计出各p’ij。 7). 按下述公式修改权值 wij(k+1)=wij(k)-η(pij-p’ij)/T, η>0 8). 重复上述步骤，直到wij=0.

43. CRBM与BM的区别 • 神经元的取值 • 网络结构 • 不需要模拟退火 • 训练算法

44. CRBM的网络结构

45. CRBM的运行过程 • 连续随机单元 在CRBM中各个神经元可以取连续值，为了体现单元值更新时的随机性,对单元加入的高斯噪声。

46. Minimizing Contrastive Divergence(MCD) 学习法则 • CD定义：

47. Minimizing Contrastive Divergence(MCD) 学习法则

48. CRBM与diffuse network(DN) • DN网络是递归神经网络的一种扩展，使用随机微分方程来代替普通微分方程 • CRBM是一种权值对称、有限制的DN网络 • 结论： 尽管CRBM是一种高度限制的DN网络，但是DN权值更新的学习算法也适用于CRBM

49. CRBM的学习算法

50. CRBM的学习算法