1 / 80

研究内容概要

研究内容概要. 识别技术. 多层次处理. 多种特征变换. 无切分和切分相结合的手写识别. 特征提取与变换. 识别性能提升. 无切分识别. 切分识别. LM 纠错 判别学习. 特征提取. 手写预处理. 基于合成样本的数据稀疏克服方法. 手写文本切分、识别的评价准则. 非限定人的、非限制书写的中文手写文本库. 基础数据及处理. 研究内容概要. 扩展关键技术. 基本 关键 技术. 基础关键数据. 研究内容概要. 识别技术. 特征提取与变换. 识别性能提升. 基础数据及处理. 识别技术. 多种特征变换. 无切分和切分相结合的手写识别.

roana
Télécharger la présentation

研究内容概要

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 研究内容概要 识别技术 多层次处理 多种特征变换 无切分和切分相结合的手写识别 特征提取与变换 识别性能提升 无切分识别 切分识别 LM纠错 判别学习 特征提取 手写预处理 基于合成样本的数据稀疏克服方法 手写文本切分、识别的评价准则 非限定人的、非限制书写的中文手写文本库 基础数据及处理

  2. 研究内容概要 扩展关键技术 基本 关键 技术 基础关键数据

  3. 研究内容概要 识别技术 特征提取与变换 识别性能提升 基础数据及处理

  4. 识别技术 多种特征变换 无切分和切分相结合的手写识别 特征提取与变换 无切分识别 切分识别 特征提取 手写预处理 手写文本切分、识别的评价准则 非限定人的、非限制书写的中文手写文本库 基础数据及处理 研究内容概要

  5. 目录 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 6 双策略组合的文本识别研究 7 结论

  6. 目录 1 研究依据 手写库评述 识别策略评述 小结 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 双策略组合的文本识别研究 6 7 结论

  7. 手写库评述 1 研究依据 手写库评述 识别策略评述 小结 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论

  8. 手写库评述 1 研究依据 手写库评述 识别策略评述 小结 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 • 英文手写库： • 数字 • 字母 • 单词 • 句子 • 中文手写库： • 孤立汉字 • 实 际 需 求： • 真实手写文本

  9. 识别策略评述 1 研究依据 手写库评述 识别策略评述 小结 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 • 英文： • 基于切分策略的识别系统 • 基于无切分策略的识别系统 • 单词整体(holistic)识别系统 • 中文： • 基于切分策略的识别系统 • 研究侧重点： • 孤立汉字识别方面 • 基本没有涉及复杂手写对象

  10. 小结 1 研究依据 手写库评述 识别策略评述 小结 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 • 手写汉字识别的未来需求： • 文本级别的手写库 • 切分系统的重新检视 • 无切分系统的评估 • 性能评价体系 • 定位其中的真正问题

  11. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 目录 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 双策略组合的文本识别研究 6 7 结论

  12. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行提取 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 总体过程

  13. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行分割 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 语言材料采样 • 数据源：人民日报语料 • 内建语言上下文 • 方便未来扩展 • 根据语用分配样本数量 • 分层随机采样策略 • 04年1到10月新闻按月份划成10类 • 每类内，等额非重复抽取25篇 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing

  14. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行分割 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 语言材料采样 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing

  15. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行分割 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 书写者抽样 • 目标人群 • 在校大学生 • 高年级高中生 • 政府公务人员 • 目标人群确定理由 • 笔迹定型的证据 • 减少抽样偏差 • 适合应用背景 • 减少资源的开销 • 采样策略 • 全国分成南、中和北三个区域 • 按照就近原则选择书写者 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing

  16. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行分割 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 书写者抽样 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing

  17. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本扫描 Handwriting Scan 文本分割 Text Splitting 语言材料采样 Text Sampling 图像级预处理 Image Preprocessing 版面设计 Layout Design 书写者抽样 Writer Sampling 手写行分割 Textline Extraction 样张收集 Form Collecting 真值标记 Database Labeling 书写者抽样 采样策略设计阶段 Sampling Design 手写样本收集阶段 Handwriting Collection 手写库处理阶段 Database Processing

  18. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 样本示例

  19. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写样本收集阶段 Handwriting Collection 手写样本扫描 Handwriting Scan 图像级预处理 Image Preprocessing 手写行提取 Textline Extraction 真值标记 Database Labeling 手写行提取 • 横笔划特征点提取 • 数据量为原来的4% • 纠斜算法 • 特征点旋转集 • 角度投影 • 判决规则 • 水平投影法切分手写行 • 得到5667个手写行 • 共8677个手写行 • 行边界的切分正确率72.51% 手写库处理阶段 Database Processing

  20. 1 研究依据 2 HIT-MW库 总体过程 语言材料采样 书写者抽样 样本示例 手写行提取 授权使用者 3 文本识别评价 4 切分识别 5 无切分识别 6 双策略组合 7 结论 手写库处理阶段 Database Processing 手写样本扫描 Handwriting Scan 图像级预处理 Image Preprocessing 手写行提取 Textline Extraction 真值标记 Database Labeling 手写行提取 • 中科院自动化所的进展 • 最小生成树方法+距离学习算法 • 匹配度90%时的检测率为95.02%

  21. HIT-MW库的使用者

  22. 目录 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 双策略组合的文本识别研究 6 7 结论

  23. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 实验数据集 • 第一步 随机抽取383幅手写行作为测试集(共含8471字符)。 • 第二步 在剩余5284幅手写行中，删去与测试集中手写行同源(同一个书写者)的全部手写行。执行删除操作后，3172幅手写行保留下来，进入下一步处理。 • 第三步 类似第一步，选择189幅手写行作为验证集(共含4100字符)。 • 第四步 进一步删除与验证集同源的手写行(2306幅手写行保留下来)。 • 第五步 随机在2306幅手写行中抽出953份作为训练集(共含20701字符)。

  24. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 实验数据集

  25. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论  识别正确 D 删除错误 S 替换错误 I 插入错误 识别率 • 识别正确率RCR • 识别准确率RAR

  26. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 字符切分率 • Hong算法 • Liu算法 • 改进：加入识别信度信息

  27. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 字符切分率 Hong算法示例 Liu算法示例 • Ns表示切分正确的字符块 • Nb表示切分总块数 • Nt表示实际总块数

  28. 1 研究依据 2 HIT-MW库 3 文本识别评价 实验数据集 识别率 字符切分率 4 切分识别 5 无切分识别 6 双策略组合 7 结论 字符切分率 • 切分正确率SCR • 切分精确率SPR • 切分偏差率SBR

  29. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 目录 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 双策略组合的文本识别研究 6 7 结论

  30. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 总体结构 手写文本行 字符切分 Hong算法 Liu算法 汉字图像 孤 立 汉 字 识 别 缩放比率：自适应 vs 固定 坐标变换：线性 vs 非线性 网格划分：均匀 vs 弹性 预处理 Cell+FPF 梯度 en-FPF 特征提取 /选择 模式分类 MPTM MQDF2 字符 字符串

  31. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 手写矫形的新观点 • 设计新的字符切分方法时，如果证据仅来自一种矫形配置，其可信性可能并不成立 • 设计新的特征时，如果证据仅来自一种矫形配置，其可信性可能并不成立 • 设计新的分类器时，如果证据仅来自一种矫形配置，其可信性可能并不成立

  32. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 手写矫形的新观点 • 不同矫形手段构成8种配置

  33. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 手写矫形的新观点 • 差别 • RCR=0.95% • RAR=0.82%

  34. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 手写矫形的新观点 • 差别 • RCR=2.33% • RAR=2.64%

  35. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 手写矫形的新观点 • 差别 • RCR=1.16% • RAR=1.29 %

  36. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 改进MQDF分类器 • 二次判别函数(QDF)： • 源于Bayes分类理论 • 假设类条件概率密度为高斯分布 • 修改的QDF(MQDF2)： • 假设给类别等概率出现 • 修改协方差估计公式 • 对大的特征值仍采用最大似然估计 • 对小的特征值截止为 • 存在问题

  37. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 改进MQDF分类器 • 加入先验信息 • 可以从训练集估计 • 也可以从大型语料库估计 • 记作MQDF3

  38. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 改进MQDF分类器

  39. 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 总体结构 矫形新观点 改进MQDF 5 无切分识别 6 双策略组合 7 结论 改进MQDF分类器 • 实验结论 • 加入先验之后，六个系统有明显提升 • 用语料库估计的先验更具稳定性

  40. 目录 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 1 研究依据 2 HIT-MW文本库的构建 3 文本识别的基本评价准则 4 基于切分策略的文本识别研究 5 基于无切分策略的文本识别研究 双策略组合的文本识别研究 6 7 结论

  41. 手写 真值 手写行 性能 B-W 算法 基于 滑动窗的特征提取 字符 HMM Viterbi 算法 字符串 总体结构 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论

  42. W S 手写 真值 手写行 性能 ..., oi, oi+1, ... B-W 算法 基于 滑动窗的特征提取 字符 HMM Viterbi 算法 字符串 滑动窗 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论

  43. 手写 真值 手写行 性能 B-W 算法 基于 滑动窗的特征提取 字符 HMM Viterbi 算法 字符串 嵌入训练算法 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论

  44. 拓扑结构 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 数字、标点等 HMM 汉字HMM

  45. 中 文 手 写 识 别 核心概念 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 手写行 o1 o 2 o3 .. .. .. oi .. .. .. oT 手写行的观测序列 中文手写识别 手写行的标记真值 ... ... “中” 字符HMM ... ... “别” ... 语句HMM

  46. ... ... i j 嵌入训练算法 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 ... ... ... ... ... 第q个HMM

  47. i j ... 嵌入训练算法 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 ... ...

  48. 手写 真值 手写行 性能 B-W 算法 基于 滑动窗的特征提取 字符 HMM Viterbi 算法 字符串 解码算法 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论

  49. 解码算法 1 研究依据 2 HIT-MW库 3 文本识别评价 4 切分识别 5 无切分识别 总体结构 滑动窗 嵌入训练算法 解码算法 与切分方法比较 缓解数据不足 改进特征提取 6 双策略组合 7 结论 t时刻 t-1时刻 ... i ... j

More Related