模式识别

1. 模式识别 主讲： 蔡宣平 教授 电话： 73441（O）,73442（H）E-mail：xpcai@nudt.edu.cn单位: 电子科学与工程学院信息工程系

3. 第四章 统计判决 （基础复习） 随机模式分类识别，通常称为Bayes(贝叶斯)判决。 主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。 本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。

5. “概率论”有关概念复习 Bayes公式：设实验E的样本空间为S，A为E的事件，B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0，(i=1,2,…,n)，则:

6. S B1 B2 A B4 B3 “概率论”有关概念复习 划分示意图

7. “概率论”有关概念复习 条件概率 先验概率：P(i)表示类i出现的先验概率，简称类i的概率。 后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。 类概密：p(x|i)表示在类i条件下的概率密度，即类i模式x 的概率分布密度，简称为类概密。

8. 条件期望(某个特征) 因不涉及x的维数,可将Xn改写为特征空间W。 “概率论”有关概念复习 为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。

9. 根据Bayes公式，后验概率 可由类i的先验概率P(i)和条件概率密度 来表示，即 Bayes法则－最大后验概率准则 对于两类1， 2问题，直观地，可以根据后验概率做判决： 式中，p(x|i)又称似然函数(likelihood function of class i)，可由已知样本求得。

10. 将P(i|x)代入判别式，判别规则可表示为 或改写为 l12称为似然比（likelihood ratio），12称为似然比的判决阀值。 • 原则：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。

11. 已知：（统计结果） 先验概率：P(1)=1/3（鲈鱼出现的概率） P(2)=1-P(1)=2/3 （鲑鱼出现的概率） 条件概率： p(x|1) 见图示（鲈鱼的长度特征分布概率） p(x|2)见图示（鲑鱼的长度特征分布概率） 求：后验概率：P(|x=10)=? （如果一条鱼x＝10，是什么类别？）

12. 解法1： 利用Bayes公式

13. 解法2： 写成似然比形式

14. 例题1图示 0.5 鲈鱼 鲑鱼 0.05 5.5 8.5 10

15. 例题1图示 10

16. 最小误判概率准则判决 最小损失准则判决 最小最大损失准则 N-P(Neyman—Pearson)判决 第四章 统计判决

17. 第四章 统计判决 • 4·1 最小误判概率准则判决

19. 图例：最小误判概率准则

21. 或等价地， 如果， 则判 最小误判概率准则下的判决规则： 如果， 则判

22. 由贝叶斯定理 另一个等价形式是： 如果 则判

23. ⑴ 若 ， ，则判 ⑵ 若 ，则判 （后验概率形式） ⑶ 若 ， ，则判 ⑷ 若 ，则判 （条件概率形式） ⑸ 若 ， , 则判 （似然比形式） ⑹ 如果 ， ， 则判 （条件概率的对数形式） 对于多类问题，最小误判概率准则有如下几种等价的判决规则:

24. 例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率 ，从而 。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即 ，从而可知 ，正常人阳性反映的概率为0.01即 , 可知 。 问有阳性反映的人患癌症的概率有多大？

25. 解： 说明有阳性反应的人其患癌的概率有32.3%

26. 写成似然比形式：

28. 类的判决函数可以表示为： 或对数形式 上式中去掉与类别无关的项并不影响分类判决结果：

29. 当 和 相邻 时 (1) 当 时

30. 当 和 相邻 时 显然，该判别界面为一超平面。此决策超平面过 点 ， 是该超平面的法矢量。 式中：

31. 可简化为马氏距离的平方，即： 因此 的类别就由 到各类的均矢的马氏距离决定， 应判 属于马氏距离最小的那一类。 若各类的概率相等，由判别式

32. x2 x1 决策超平面过 点，矢量 是该超平面的法矢量。 通常不与 方向相同，所以决策界面不与 正交。

33. 若 此时决策界面还过 连线的中点 和 x2 x1 为单位阵， 为分量的方差，显然有矢量 和矢量 方向相同，此时决策平面垂直于两类中心的连线

34. 这是一般的情况。i类模式的判决函数为: 其中 相邻两类的决策界面为: (2)

36. 1 2 (c)抛物线， 2类的方差小 1 1 2 2 (a)圆，2类的方差小 (d)双曲线 二维模式，12的几种情况 1 2 (b)椭圆， 2类的方差小 1 2 (e)直线，两类的分布关于一直线是对称

37. x3 (0,0,1) (0,1,1) 1 2 (1,0,1) 2 (0,0,0) x2 1 (1,1,1) (1,0,0) x1 例：模式分布如图所示，两类的均矢和协方差阵 可用下式估计。

38. x3 (0,0,1) (0,1,1) 1 2 (1,0,1) 2 (0,0,0) x2 1 (1,1,1) (1,0,0) x1

39. 两类均作为正态分布，并假设 ， 故判决式为

40. 对数似然比 4.1.3 正态模式分类的误判概率 考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为: ～ ～

41. 是 的线性函数，而 的各分量是正态分布的，故 是正态分布的随机变量。 令

42. xi xj p(Lij|i) p(Lij|j) -rij2/2  0 rij2/2 Lij

43. 类的错误概率为 将属于 类的模式误判为属于 类的错误概率为 将属于 类的模式误判为属于 式中

44. 于是，总的误判概率为:

45. 特取 ，此时 =0 上式表明了误判概率与两类的马氏距离的关系： 随的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。

46. 作业 4.1 设以下两类模式均为正态分布1：{(0,0)T，(2,0)T，(2,2)T，(0,2)T}2：{(4,4)T，(6,4)T，(6,6)T，(4,6)T}设P(1)= P(2)=1/2，求该两类模式之间的Bayes 判别界面的方程。 4.2 设两类二维正态分布参数为u1=(-1,0)T，u2=(1,0)T先验概率相等。 （a） 令 试给出负对数似然比判决规则 （b） 令 试给出负对数似然比判决规则。

47. 第四章 统计判决 • 4.2 最小损失准则判决

48. 设模式空间中存在c个类别: 决策空间由a个决策: 对一个实属i 类的模式采用了决策j所造成的损失记为： 于是就有 空间中的二元函数，称其为损失函数。 4.2.1 损失概念、损失函数与平均损失 决策j常指将模式x指判为某一类wj或者是拒判。

49. 0-1损失函数 决策-损失表 • 决策j指将模式x指判为wj或者是拒判。

50. 条件期望损失 刻划了在模式为 、决策为 j条件下的平均损失，故也称 为条件平均损失或条件平均风险（Risk）。由贝叶斯公式，上式可以写为 条件平均风险 令决策的数目a等于类数c，如果决策j定义为判 属于j类，那么对于给定的模式 在采取决策j 的条件下损失的期望为