1 / 24

朴素贝叶斯 在符号型数据库分类中的实现

河北大学. 朴素贝叶斯 在符号型数据库分类中的实现. 王海波. 河北大学数学与计算机学院 Department of Mathematics and Computer Science Hebei University. 结 构. 重点 贝叶斯理论 贝叶斯分类器 实验结果与分析 参考文献. 重点： 朴素贝叶斯在 符号 型数据库上的实现. 这里所说的符号型数据库是指属性的取值满足以下特点 ：. 离散. 无序. 有限. 无运算. 描述用到的符号.

mira-weeks
Télécharger la présentation

朴素贝叶斯 在符号型数据库分类中的实现

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 河北大学 朴素贝叶斯 在符号型数据库分类中的实现 王海波 河北大学数学与计算机学院 Department of Mathematics and Computer Science Hebei University

  2. 结 构 • 重点 • 贝叶斯理论 • 贝叶斯分类器 • 实验结果与分析 • 参考文献

  3. 重点： 朴素贝叶斯在符号型数据库上的实现 这里所说的符号型数据库是指属性的取值满足以下特点： • 离散 • 无序 • 有限 • 无运算

  4. 描述用到的符号 我们用Ai表示第i个属性，C表示决策属性；aik表示第i个属性的第k个取值，cj表示第j类；加上绝对值则表示相应的个数，如|Ai|表示第i个属性的取值个数，|cj|表示第j类样例个数。 Ω={A1×A2×...×Am}，是由所有未知类别的可能样本组成的集合；Ωc={A1×A2×...×Am×C}是由所有已知类别的样本组成的集合。D Ωc是训练样例集合。 Ω中的元素x表示为x = <a1,a2 ,…,am>。Ωc中的元素x表示为x = <a1,a2 ,…,am,cj>。其中ai表示第i个属性的某个取值。

  5. 贝叶斯定理 设x∈Ω是一个类别未知的数据样本，cj为某个类别，若数据样本x属于一个特定的类别cj，那么分类问题就是决定P(cj|x)，即在获得数据样本x时，确定x的最佳分类。所谓最佳分类，一种办法是把它定义为在给定数据集D中不同类别cj先验概率的条件下最可能（most probable）分类。贝叶斯理论提供了计算这种可能性的一种直接方法 更精确地讲，贝叶斯法则基于假设的先验概率、给定假设下观察到不同数据的概率，提供了一种计算假设概率的方法

  6. P(x|cj)P(cj) P( cj|x) = P(x) 贝叶斯公式 • 先验概率P(cj) • 联合概率P(x|cj) • 后验概率P(cj|x)

  7. 先验概率P(cj) P(cj)代表还没有训练数据前，cj拥有的初始概率。P(cj)常被称为cj的先验概率(prior probability) ，它反映了我们所拥有的关于cj是正确分类机会的背景知识,它应该是独立于样本的。 如果没有这一先验知识，那么可以简单地将每一候选类别赋予相同的先验概率。不过通常我们可以用样例中属于cj的样例数|cj|比上总样例数|D|来 近似，即

  8. 联合概率P(x|cj) 联合概率是指当已知类别为cj的条件下，看到样本x出现的概率。 若设x = <a1,a2…am> 则P(x|cj)= P(a1,a2…am|cj)

  9. 后验概率P(cj |x) 即给定数据样本x时cj成立的概率,而这正是我们所感兴趣的 P(cj|x)被称为C的后验概率（posterior probability），因为它反映了在看到数据样本x后cj成立的置信度

  10. 贝叶斯分类 我们现在计算 P(cMAP|x) = max P(cj|x) j∈(1,|C|) 则P(cMAP|x)称为最大后验概率 然后我们就把x分到cMAP类中

  11. P(a1,a2…am|cj)P(cj) = max P(a1,a2…am) 朴素贝叶斯分类器一 设x = <a1,a2…am>，为一个有m个属性的样例 P(cMAP|x)= max P(cj|x) j∈(1,|C|) =maxP(cj|a1,a2…am) = maxP(a1,a2…am|cj)P(cj) (1)

  12. 朴素贝叶斯分类器二 朴素贝叶斯分类器基于一个简单的假定：在给定目标值时属性值之间相互条件独立。换言之，该假定说明给定实例的目标值情况下，观察到联合的a1,a2…am的概率正好是对每个单独属性的概率乘积 (2) 将(2) 式其代入(1)式中，可得到朴素贝叶斯分类器，如下

  13. 朴素贝叶斯分类器三 CNB=argmaxP(cj) （3） 其中CNB表示朴素贝叶斯分类器输出的目标值。注意在朴素贝叶斯分类器中，须从训练数据中估计的不同P(ai|cj)项的数量只是不同的属性值数量乘以不同目标值数量——这比要估计P(a1,a2…am|cj)项所需的量小得多 概括地讲，朴素贝叶斯学习方法需要估计不同的P(cj)和P(ai|cj)项，也就是它们在训练数据上的频率。然后使用公式(3)来分类新实例。

  14. Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak Yes D4 Rain Mild High Weak Yes D5 Rain Cool Normal Weak Yes D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong Yes D8 Sunny Mild High Weak No D9 Sunny Cool Normal Weak Yes D10 Rain Mild Normal Weak Yes D11 Sunny Mild Normal Strong Yes D12 Overcast Mild High Strong Yes D13 Overcast Hot Normal Weak Yes D14 Rain Mild High Strong No 举例说明 目标概念PlayTennis的训练样例

  15. 第一步统计个数 表1 类别为cj及在cj条件下Ai取ai的样例数

  16. 估计先验概率和条件概率 表2 先验概率P(cj) 和条件概率P(ai|cj)

  17. 样例判别 现在假设有一个样例x x = {Sunny,Hot,High,Weak} 等于yes的概率 P(Yes|x) = p(Yes)*p(Sunny|Yes)* p(Hot|Yes)* p(High|Yes)* p(Weak|Yes)* =0.643*0.222*0.222*0.333*0.667 =0.007039 等于No的概率 P(No|x) = p(No)*p(Sunny| No)* p(Hot| No)* p(High| No)* p(Weak| No)* =0.357*0.6*0.4*0.8*0.4 =0.027418 max (P(Yes|x), P(No|x) ) = P(No|x) ,所以我们把x分类为No

  18. 概率为零 在大多数情况下，观察到的比例P(ai|cj)是对其真实概率的一个良好估计，但当|Ai=ai∧C=cj|很小时估计较差。特别是当|Ai=ai∧C=cj|等于0时，P(ai|cj)也等于0，如果将来的待估样例中，包含第i个属性的取值ai时，此概率项会在分类器中占统治地位。

  19. 概率为零之m-估计 一般采用m-估计来解决这个问题。 m-估计定义如下： pi是将要确定的概率P(ai|cj)的先验概率，而m是等效样本大小的常量，它确定了对于观察到的数据如何衡量pi的作用。在缺少其他信息是选择p的一种典型方法是假定pi =1/|Ai|。也就是将nj个实际观察扩大，加上m个按pi分布的虚拟样本。

  20. 概率为零之个数比较 在本次实现中我们采用的不是m-估计，而是下面一种简单的0个数比较法。即下面的几条规则。在公式（3）中，对每一个类别j，统计P(ai|cj)=0的个数，记为zj。然后按以下3条规则得到CNB。 1.如果对任意的j，zj都为0，则直接按公式（3）得到CNB 2.如果对任意的j，zj不为0且相等，则按公式（3）计算时只计算P(ai|cj)为非零的项,然后得到CNB 3.如果对任意的j，zj不为0且不相等，则取zj最小者对应的类别作为CNB。若zj最小者不唯一，则对这些最小值对应的j采用第二条规则进行判别。

  21. 实验结果

  22. 结果分析 从上面的实验结果我们可以得到朴素贝叶斯分类器的以下几个特点: 训练精度≈测试精度 意义明确,便于理解 时间复杂度低,可以应用大型数据库 易于实现增量

  23. 参考文献 1 Zhu Ming. Data Ming. Anhui: University of Science and technology of China, 2002 (in Chinese) （朱明. 数据挖掘. 安徽: 中国科技大学出版社, 2002） 2 Tom M. Mitchell. Machine Learning. Beijing: China Machine Press, 2003

  24. Thanks!

More Related