1 / 18

基于维基百科的中文命名实体识别与消歧

基于维基百科的中文命名实体识别与消歧. 于淼 2012.11.3. 维基百科介绍 ( 现场上网展示 ). 解释型页面 重定向页面 消除歧义页面 分类 信息框. 维基百科介绍. 中文页面： 508,865 篇条目 英文页面： 4,021,627 篇条目 支持 282 种语言，共突破 2100 万个条目. 维基百科数据库的建立. JWPL 开源工具包 11 个表，包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音. 基于维基百科的命名实体识别. 维基百科中页面的第一段是对条目的概括性描述

mahlah
Télécharger la présentation

基于维基百科的中文命名实体识别与消歧

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于维基百科的中文命名实体识别与消歧 于淼 2012.11.3

  2. 维基百科介绍(现场上网展示) • 解释型页面 • 重定向页面 • 消除歧义页面 • 分类 • 信息框

  3. 维基百科介绍 中文页面：508,865篇条目 英文页面：4,021,627篇条目 支持282种语言，共突破2100万个条目

  4. 维基百科数据库的建立 JWPL开源工具包 11个表，包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音

  5. 基于维基百科的命名实体识别 维基百科中页面的第一段是对条目的概括性描述 中国移动通信集团公司（简称“中国移动通信”或“中国移动”）是2000年4月20日成立的中国国有重要骨干企业 李宁（1963年3月10日－），壮族人，生于广西柳州，中国退役体操运动员，企业家 中国是位于亚洲东部的一个地理或国家区域，最早是泛指炎黄子孙在中原建立的国度[4]，至现代国际体系成形后才开始作为国家的通称。

  6. 基于维基百科的命名实体识别 “是”后面的核心名词反应了条目的属性 机构、企业家、区域有利于我们判断一个条目是人名、地名还是机构名 抽取维基百科页面的定义特征作为一种额外的知识加入基于CRF的命名实体识别中

  7. 抽取维基百科定义特征 1.将维基百科页面的第一段用词法分析工具进行分词并做词性标注 2.抽取第一段第一句话中定义性动词后的最后一个名词 3.若无定义性动词，则抽取第一段最后一句话最后一个名词

  8. 维基百科定义特征示例

  9. 将维基百科特征加入CRF 利用AC算法进行正向最大匹配，若词序列是维基百科中的条目则将它的定义特征作为维基特征，若不存在于维基百科中则维基特征置为null

  10. 基于维基百科的命名实体识别 此后 t O 此后 t null O 国家 n O 国家 n null O 经贸委 j O 经贸委 j null O 主任 n O 主任 n null O 盛 nr B-PER 盛 nr 经济师 B-PER 华人 nr I-PER 华人 nr 经济师 I-PER 多次 m O 多次 m null O 在 p O 在 p null O 公开 a O 公开 a null O 场合 n O 场合 n null O 讲话 v O 讲话 v null O

  11. 基于维基百科的命名实体识别 实验 数据来源：863命名实体评测2004年 训练集：17102句 测试集：2000句

  12. 基于维基百科的命名实体识别

  13. 基于维基百科的命名实体消歧 命名实体存在歧义问题 华盛顿 华盛顿州 （地名） 华盛顿总统 （人名） 维基百科中的消歧页面 华盛顿（Washington）通常是指： 乔治.华盛顿，美国第一任总统 华盛顿哥伦比亚特区，美国首都 华盛顿州，美国西北部的州之一

  14. 基于维基百科的命名实体消歧 用CRF训练维基百科语料 测试集的词序列进行正向最大匹配维基的消歧词条 计算词序列与消歧页面的文档相似度（VSM） 选出top3相似度最大的维基词条 将相似度*P（人名或地名或机构名|词条） 等9个特征加入CRF训练 利用上下文信息构建双层CRF

  15. 基于维基百科的命名实体消歧 布隆伯格 华盛顿哥伦比亚特区 飞赴华盛顿州 华盛顿州 华盛顿 丹泽尔.华盛顿 华盛顿哥伦比亚特区 推销 华盛顿郡 华盛顿镇 自己 华盛顿湖 的 华盛顿镇 想法 乔治.华盛顿 相似度（华盛顿州）*P（人名|华盛顿州) 相似度（华盛顿州）*P（地名|华盛顿州） 相似度（华盛顿州）*P（机构名|华盛顿州） 。。。 相似度（华盛顿镇）*P（机构名|华盛顿镇）

  16. 基于维基百科的命名实体消歧 国际乒联于日前公布最新世界排名，男单方面德国波尔续居首位 波尔 地名（南苏丹的都市） 人名（德国的乒乓球运动员） 德国 乒乓球 男单

  17. 基于维基百科的命名实体消歧 实验

  18. 谢谢大家！

More Related