1 / 101

第四章 反馈型神经网络

第四章 反馈型神经网络. 第四章 反馈型神经网络. 4.1 概述 4.2 离散型 Hopfield 神经网络 4.3 连续型 Hopfield 神经网络 4.4 Hopfield 网络的应用实例 4.5 Boltzmann 机 4.6 双向联想记忆网络 4.7 海明网络. 4.1 概述. 4.1.1 前馈型与反馈型神经网络的比较 4.1.2 反馈型神经网络模型. 4.1.1 前馈型与反馈型神经网络的比较.

eman
Télécharger la présentation

第四章 反馈型神经网络

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. 第四章 反馈型神经网络

  2. 第四章 反馈型神经网络 • 4.1 概述 • 4.2 离散型Hopfield神经网络 • 4.3 连续型Hopfield神经网络 • 4.4 Hopfield网络的应用实例 • 4.5 Boltzmann机 • 4.6 双向联想记忆网络 • 4.7 海明网络

  3. 4.1 概述 • 4.1.1 前馈型与反馈型神经网络的比较 • 4.1.2 反馈型神经网络模型

  4. 4.1.1 前馈型与反馈型神经网络的比较 • (1) 前馈型神经网络只表达输入输出之间的映射关系,实现非线性映射;反馈型神经网络考虑输入输出之间在时间上的延迟,需要用动态方程来描述,反馈型神经网络是一个非线性动力学系统。 • (2) 前馈型神经网络的学习训练主要采用BP算法,计算过程和收敛速度比较慢;反馈型神经网络的学习主要采用Hebb规则,一般情况下计算的收敛速度很快,并且它与电子电路有明显的对应关系,使得网络易于用硬件实现。

  5. (3) 前馈型神经网络学习训练的目的是快速收敛,一般用误差函数来判定其收敛程度;反馈型神经网络的学习目的是快速寻找到稳定点,一般用能量函数来判别是否趋于稳定点。 • (4)两者都有局部极小问题。

  6. 4.1.2 反馈型神经网络模型 • 一、网络结构 • 图4.1 单层全反馈型神经网络结构

  7. 输入输出关系为: • j=1,2,…,n (4.1.1) • 二、网络状态 • (1)轨迹经过一段时间t (t>0)后不会再延伸,而永远停留在X(t0+t)状态,这时称网络收敛到一个稳定点或平衡点。在一个反馈网络中,可能存在有多个稳定点,根据不同的情况,这些稳定点可分为: • ① 渐近稳定点Xe

  8. ② 不稳定的平衡点Xf • ③ 网络的解 • ④ 网络的伪稳定点 • (2)轨迹为环状,称为极限环。 • (3)如果X(t)的轨迹在某个确定的范围内变化,但既不重复又不能停下来,状态变化为无穷多个,而轨迹也不发散到无穷远,这种现象成为混沌(Chaos). • (4)如果X(t)的轨迹随时间一直延伸到无穷远,此时状态发散,而系统的输出也发散。

  9. 三、网络的设计要求 • (1)网络的稳定性 • (2)网络的稳定点 • (3)稳定点的吸引域

  10. 4.2 离散型Hopfield神经网络 • 4.2.1 离散型Hopfield神经网络模型 • 4.2.2 网络的稳定性定理 • 4.2.3 网络权值的学习 • 4.2.4 网络的稳定性实验 • 4.2.5 联想记忆

  11. 4.2.1 离散型Hopfield神经网络模型 • 一、网络结构 • DHNN的结构是一个单层结构的全反馈网络,有n个节点,W是一个n×n的对称零对角权值矩阵,θ为n维阈值向量。每个节点可处于两个可能的状态之一,即1或-1。假设各节点的外加输入Ii=0,i=1,2,…,n。令Xi(t)表示t时刻节点i的状态,则节点i的下一个状态由下面算式决定:

  12. 网络的状态向量为X(t)∈{1,-1}n,且wii=0,i=1,2,…,n。

  13. 二、网络的工作方式 • (1) 串行(异步)工作方式 • 任一时刻t,只有某一个节点i (随机地或确定性地选择)依据(4.2.1)和(4.2.2)式变化,而其余n-1个节点的状态保持不变,即:

  14. (2) 并行(同步)工作方式 • 任一时刻t,所有的节点都依据式(4.2.1)和(4.2.2)改变状态,即:

  15. 三、网络的状态 • 若网络从一个初态X(t0)出发,经过一个有限时刻t,网络的状态不再发生变化,即: • 则称网络是稳定的,这时所有的节点输出不再变化,网络稳定在某一状态。

  16. 4.2.2 网络的稳定性定理 • Hopfield定义了一个网络的能量函数: • 由于Xi、Xj只可能为1或者为-1,wij、Ii有界,i、j=1,2,…,n,所以能量函数E也是有界的:

  17. 一、串行方式 • 定理4.1当网络工作在串行方式下,满足wij=wji,wii=0,i、j=1,2,…,n,则能量函数单调下降,且网络必定稳定。 • 证明:对于DHNN网络的任一个节点i,它的输出变化可能为:

  18. 根据串行方式的定义,每个时刻只有一个节点发生变化,若第i个节点变化,而其它的节点不变,根据公式(4.2.7)可得:根据串行方式的定义,每个时刻只有一个节点发生变化,若第i个节点变化,而其它的节点不变,根据公式(4.2.7)可得: • 因为 wij=wji wii=0 • 所以

  19. 因为 • 因此 当 Hi(t)≥0 时, △Xi≥0 △E≤0 • 当 Hi(t) <0时, △Xi≤0 △E≤0 • 所以网络无论在什么条件下都能保证△E≤0,这样就保证了网络的稳定性和收敛性。

  20. 定理 4.2 当网络工作在串行方式下,满足wij=wji,wii>0,i、j=1,2,…,n,则能量函数单调下降,且网络必定稳定。 • 证明:对于DHNN网络的第i个节点发生变化,因为wij=wji,且wii>0则

  21. 由于wii>0,且△Xi与Xi(t+1)是同号的,即能保证△E≤0,这样就保证了网络的稳定性和收敛性。 • 一、并行方式 • 定理 4.3当网络工作在并行方式下,满足wij=wji,则网络或者收敛于一个稳定点,或者收敛于极限环为2的一个周期解,。

  22. 证明:在并行工作方式时,其能量函数可以用下式表示:证明:在并行工作方式时,其能量函数可以用下式表示: • 可以写成矩阵的形式

  23. 由于在H(t)中的每个分量Hi(t)与在X(t+1)中每个分量Xi(t+1)同号,因而由于在H(t)中的每个分量Hi(t)与在X(t+1)中每个分量Xi(t+1)同号,因而 • 成立。 • 所以△E≤0。现在考虑在稳定点的情况,即△E=0的情况: • 若X(t)=X(t+1)=X(t-1),则△E=0,且网络达到稳定。 • 若X(t)≠X(t+1)=X(t-1),则△E=0,且网络到达周期为2的极限环。 • 证毕。

  24. 推论: • (1) 如果W为一个正定矩阵,Ii=0、对所有的i成立,则: • 网络必定达到稳定收敛。 • (2) 如果W为一个负定矩阵,Ii=0、对所有的i成立,则: • 网络周期振荡,极限环为2。

  25. 4.2.3网络权值的学习 • 一、外积型网络权值的学习方法 • 网络待记忆的学习样本有N个,XK, K=1,2,…,N,XK∈Rn,其每个分量为XiK,i=1,2,…,n,利用已知需要存储的样本来设计n个节点间的连接权值,如节点i和j间的连接权值为:

  26. 其中α为一个正常数,初始化时wij=0,当每输入一个样本时,在权值上加修正量wij(t+1)=wij(t)+XiKXjK,当第K个样本XiK和XjK同时兴奋或同时抑制时XiKXjK >0,当XiK和XjK一个兴奋一个抑制时, XiKXjK <0 。用Hebb规则修正权值可以满足wij=wji的条件,从而使得网络在串行工作方式时保证收敛,在并行工作时系统或者收敛,或者出现极限环为2的振荡。 • 把公式写成矩阵的形式,取α=1,对于需要记忆的样本XK, K=1,2,…N,权值为:

  27. 由于 • 这里,U是一个单位矩阵。

  28. 所以 • (4.2.16) • 因此,Hebb规则能够满足wii=0,wij=wji的条件,网络能够收敛于稳定点。

  29. 二、稳定点的讨论 • (1) 如果待记忆的样本是两两正交,即对于样本XK,K=1,2,…,N,Xi、Xj为XK中的任意两个不同的样本,且满足[Xi]T[Xj]=0,i≠j,对所有的i和j成立。 • 在节点的输出为Xi∈{1,-1}的情况下,当二个n维样本向量的各个分量中有n/2个是相同的,另n/2个是相反的,就能满足这两个向量正交。用上面的外积法所得到的权值进行迭代计算,在输入样本中任取一个样本XK作为初始输入,可得:

  30. (4.2.17) • 只要满足n>N,则sgn[WXK]=XK,则XK为网络的一个稳定点。

  31. (2) 如果N个样本XK,K=1,2,…,N,不是两两正交,其连接权值依据Hebb规则求 得,在N个样本中任选一个样本XK作为初始输入: • 通过上式可求得新的输出XK’=sgn(WXK),取XK’的第j个分量:

  32. (4.2.18) • 式中

  33. 设nj为零均值的随机变量,Xik,Xjk,Xik{1,-1},而nj的方差2=(N-1)n , 。对于非正交的学习样 • 本,如果满足 ,则网络仍可收敛到其记忆样本上。

  34. 4.2.4网络的稳定性实验 • 假定网络由n个节点构成,在时刻t,网络的状态可用全部节点的输出值组成的n维向量X(t)=[X1(t),X2(t),…, • Xn(t)]来表示,且Xi(t)∈{-1,1}。假定网络是串行工作方式,节点间是对称结合的权植矩阵。在时刻t,任意节点i的输入信号加权和为: • 网络状态变化,遵循下面规则: • ①从网络n个节点中随机地选取节点i; • ②计算节点i的Hi(t)值;

  35. ③根据Hi(t)值更新节点i的输出Xi(t+1), • if (Hi(t)≥0) • Xi(t+1)=1 • Else Xi(t+1)=-1 • ④ i以外的节点j(j≠i)输出不变化,Xj(t+1)=Xj(t) • ⑤ 返回①。

  36. 4.2.5 联想记忆 • 一、联想记忆的原理 • (1) 自联想记忆(Auto-AM) 设在学习过程中存入N个样本XK,K=1,2,…,N, 若输入X’=XK+V,其中XK是N个样本之一,V是偏差项(可能是噪声、图形的缺损或畸变等),要求输出为Y=XK,即使之复原。 • (2) 他联想记忆(Hetero-AM) 规定两组样本之间有一定的对应关系XK→YK, K=1,2,…,N,例如,XK代表某人的照片,YK代表某人的姓名。使用时,若输入X’=XK+V,要求输出为Y= YK。

  37. 二、联想记忆的学习 • 设网络有n个节点,且每个节点的输出只能取0或者1,分别表示抑制和兴奋状态,学习过程中wij的调整原则是,若i和j两个节点同时处于兴奋状态,那么它们之间的连接应加强,即: • α>0 • 具体的实现是使用外积规则。对于给定的一组输入样本XK,K=1,2,…,N,,外积规则可以表示为: • I是单位矩阵

  38. 可以用下面步骤完成: • ①置W=[0]; • ②输入XK,K=1,2,…,N,对所有的连接对(i和j)令: • (4.2.21) • 下面讨论上述方法的合理性。假定各个输入样本是正交的,且n>N。 • (4.2.22) • 所以sgn(WX1)=X1,可见X1是一个稳定状态。

  39. 4.3 连续型Hopfield神经网络 • 4.3.1 网络结构和数学模型 • 4.3.2 网络的稳定性分析

  40. 4.3.1 网络结构和数学模型 • 若定义网络中第i个节点的输入ui,输出为vi,那么输入输出的关系为: • (4.3.1) • 其中,n为网络的节点数,状态转移函数为Sigmoid型函数,一般常用 • 或者 • 网络工作方式分为异步、同步和连续更新三种方式,与离散型Hopfield网络相比,多了一种连续更新方式,即网络中所有节点的输出都随时间连续变化。

  41. 图4.7 利用运算放大器实现的神经元

  42. 图4.8 连续型Hopfield网络结构

  43. 对图4.7的神经元,根据克希荷夫定律可写出下列微分方程:对图4.7的神经元,根据克希荷夫定律可写出下列微分方程: • 不难看出,图4.8网络的数学模型可以用n个式(4.3.2)所表示的非线形方程组来描述。

  44. 4.3.2 网络的稳定性分析 • Hopfield将图4.8网络的能量函数E定义为: • 定理 4.4假定神经元转移特性函数f(·),存在反函数f -1(·),并且是单调连续递增函数,同时网络结构对称,即Tij=Tji, Tii=0,那么沿系统的运行轨迹有dE/dt≤0, 当且仅当dvi /dt=0时,dE/dt=0, i,j∈{1,2,…,n}。

  45. 证明: • 由式(4.3.3)和,对某个特定的j有: • 由于网络的对称性和式(4.3.2),那么式(4.3.5)可写为:

  46. 将式(4.3.6)代入式(4.3.4)得 • 因为f -1(·)单调递增和Cj>0,因此 • 只有对于所有的j满足 时,才有 。 • 证毕。

  47. 下面讨论Tij和wij的关系,若式(4.3.2)不考虑外加电流Ii,并将等式两边同乘以Rj,那么有:下面讨论Tij和wij的关系,若式(4.3.2)不考虑外加电流Ii,并将等式两边同乘以Rj,那么有: • 令τi=RiCi, wij=TijRi,那么式(4.3.8)变为: • τi模拟神经元的输出时间特性,在网络稳定后,由(4.3.9)式可得: • 这与(4.3.1)的定义相一致,只不过阈值θi=0。

More Related