针对形近汉字的图像优化识别系统技术方案

一种针对形近汉字的图像优化识别系统，包括：图像识别模块、中文文本笔画拆分模块和中文文本纠错模块，其中：图像识别模块根据文字在图片上笔画的突变为特征信息，利用CTPN和CRNN模型进行图像文字的检测和识别得到图片中的文字信息并输出至中文文本笔画模块，中文文本笔画拆分模块根据文字信息进行基于笔画的细粒度拆分处理并得到笔画编号信息后输出至中文文本纠错模块，中文文本纠错模块基于预训练的中文BERT模型，对输入的笔画编号信息和文字信息进行语义以及近形字的处理并得到识别正确的结果，本发明专利技术针对近形字的笔画而不是局部的形态特征进行改进，使得增加的特征数量减少，通过BERT基线模型联合学习，使得识别过程更加简洁高效的同时明显提高识别正确率。

【技术实现步骤摘要】
针对形近汉字的图像优化识别系统
本专利技术涉及的是一种图像处理领域的技术，具体是一种针对形近汉字的图像优化识别系统。
技术介绍
图像识别是目前应用最广泛的算法技术之一，其接受图片作为输入，以识别的字符作为输出。为了提高图像识别的性能，因此需要对于识别错的字符进行纠正，而错误的比例以近形字居多。
技术实现思路
本专利技术针对现有图像识别技术针对近型字的识别过程复杂且容易识别错误的缺陷，提出一种针对形近汉字的图像优化识别系统，针对近形字的笔画而不是局部的形态特征进行改进，使得增加的特征数量减少，通过BERT基线模型联合学习，使得识别过程更加简洁高效的同时明显提高识别正确率。本专利技术是通过以下技术方案实现的：本专利技术涉及一种针对形近汉字的图像优化识别系统，包括：图像识别模块、中文文本笔画拆分模块和中文文本纠错模块，其中：图像识别模块根据文字在图片上笔画的突变为特征信息，利用CTPN和CRNN模型进行图像文字的检测和识别得到图片中的文字信息并输出至中文文本笔画模块，中文文本笔画拆分模块根据文字信息进行基于笔画的细粒度拆分处理并得到笔画编号信息后输出至中文文本纠错模块，中文文本纠错模块基于预训练的中文BERT模型，对输入的笔画编号信息和文字信息分别进行针对语义问题的纠错和针对近形字问题的纠错并得到识别正确的结果。所述的文字在图片上笔画的突变是指：因模型在识别图像文字当中需根据一定的文字特征来进行识别，因此不同字符的笔画突变则是一个重要的特征，例如字符“A”的顶上的尖锐，字符“B”右边的弧形。所述的基于笔画的细粒度拆分处理是指：在文字信息中可以继续被拆解的粗粒度部分，例如偏旁部首，以及不能被继续拆解的细粒度部分，例如笔画。技术效果本专利技术整体解决了现有部分图像识别系统对于形近字识别不够准确的问题。与现有技术相比，本专利技术通过引入中文字符笔画的特征融入基线模型，从近形字和语义层面上进行纠正，其中笔画特征主要解决近形字的错误，BERT模型主要解决语义的错误，从而有效提升基线模型的纠错能力。附图说明图1为本专利技术系统示意图；图2为实施例效果示意图。具体实施方式如图1所示，为本实施例涉及一种针对形近汉字的图像优化识别系统，包括：图像识别模块、中文文本笔画拆分模块和中文文本纠错模块，其中：图像识别模块根据中图像文字的颜色，笔画结构特征等信息，利用CTPN和CRNN模型进行图像文字的检测和识别并得到初步图像文字识别结果后输出至中文文本笔画拆分系统，中文文本笔画拆分模块根据上一步所识别的图像文字信息，进行待纠正文本的笔画拆分处理并得到笔画编号信息后输出至中文文本纠错模块，中文文本纠错模块根据预训练的中文BERT模型，对待纠正文本的笔画信息进行语义层面和形近层面的处理并得到识别正确的结果。所述的图像识别模块包括：图像检测单元和图像识别单元，其中：图像检测单元针对图片文字整体信息进行定位处理并得到图片中图像文字的具体位置结果后输出至图像识别单元，图像识别单元针对所定位好的图像文字信息进行识别处理并得到初步图像识别结果后输出至中文文本笔画拆分模块。所述的中文文本笔画拆分模块包括：笔画拆分单元、笔画累计单元、向量映射单元，其中：笔画拆分单元针对初步识别文本信息进行深度优先搜索处理并得到所以包含的细粒度笔画结果，即笔画形成树中的叶子节点后输出至笔画累计单元，笔画累计单元针对笔画拆分单元信息进行对于统计到的叶子节点进行累加处理并得到每个字所包含的每种笔画数量结果后输出至向量映射单元，向量映射单元针对笔画累计单元统计的每种笔画的数量信息，根据预设好的每个笔画所对应的笔画编号进行处理并得到该字的笔画向量结果后输出至中文文本纠错单元。所示的中文文本纠错模块包括：笔画嵌入单元、文本映射单元和Adam优化器单元，其中：笔画嵌入单元针对向量映射单元的笔画向量和笔画嵌入参数相乘得到笔画嵌入向量后输出至文本映射单元，文本映射单元在训练阶段，根据输入字的笔画嵌入向量、字嵌入向量、位置嵌入向量、分割嵌入向量信息进行错误文本纠错处理并得到基线模型预测结果后根据与正确结果的差距并得到量化差距的损失函数后输出至Adam优化器单元，文本映射单元在预测阶段针对输入字的笔画嵌入向量、字嵌入向量、位置嵌入向量、分割嵌入向量信息进行错误文本纠错处理并得到基线模型预测结果后得到最终识别结果，Adam优化器单元针对基线模型所识别的结果信息与正确的结果信息进行差距消除处理并得到所需更新参数的梯度的结果后输出至文本映射单元的各个参数中进行更新。所述的笔画嵌入向量采用但不限于通过预训练的方式获得，优选根据具体的训练数据动态更新以较好的进行迁移。所述的文本映射单元中设有BERT模型，该BERT模型包括编码层、自注意层、前向传播层和输出线性层。本实施例中采用的BERT模型的base参数包括：Encoder层数12，隐层维度768，mutil-head12，前向传播维度3072。笔画种类457，其隐层维度设为768。经过具体实际实验，在操作系统为ubuntu18.04，深度学习框架为pytorch1.0.0的具体环境设置下，以训练周期为10Epoch,学习率初始化为0.001，固定随机种子以及随机初始化笔画嵌入向量后，在sighan15中文文本纠错数据集下，基线模型与加入笔画嵌入向量后的基线模型性能如下表所示。准确率精准率召回率F1分数BERT63.8279.0137.6450.99笔画嵌入+BERT64.458038.5552.02与现有技术相比，本专利技术针对于特定的数据集，引入笔画特征的模型将对纠错结果在准确率，精准率，召回率，F1分数上均有明显的提升。上述具体实施可由本领域技术人员在不背离本专利技术原理和宗旨的前提下以不同的方式对其进行局部调整，本专利技术的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本专利技术之约束。本文档来自技高网...

【技术保护点】
1.一种针对形近汉字的图像优化识别系统，其特征在于，包括：图像识别模块、中文文本笔画拆分模块和中文文本纠错模块，其中：图像识别模块根据文字在图片上笔画的突变为特征信息，利用CTPN和CRNN模型进行图像文字的检测和识别得到图片中的文字信息并输出至中文文本笔画模块，中文文本笔画拆分模块根据文字信息进行基于笔画的细粒度拆分处理并得到笔画编号信息后输出至中文文本纠错模块，中文文本纠错模块基于预训练的中文BERT模型，对输入的笔画编号信息和文字信息进行语义以及近形字的处理并得到识别正确的结果。/n

【技术特征摘要】
1.一种针对形近汉字的图像优化识别系统，其特征在于，包括：图像识别模块、中文文本笔画拆分模块和中文文本纠错模块，其中：图像识别模块根据文字在图片上笔画的突变为特征信息，利用CTPN和CRNN模型进行图像文字的检测和识别得到图片中的文字信息并输出至中文文本笔画模块，中文文本笔画拆分模块根据文字信息进行基于笔画的细粒度拆分处理并得到笔画编号信息后输出至中文文本纠错模块，中文文本纠错模块基于预训练的中文BERT模型，对输入的笔画编号信息和文字信息进行语义以及近形字的处理并得到识别正确的结果。


2.根据权利要求1所述的针对形近汉字的图像优化识别系统，其特征是，所述的图像识别模块包括：图像检测单元和图像识别单元，其中：图像检测单元针对图片文字整体信息进行定位处理并得到图片中图像文字的具体位置结果后输出至图像识别单元，图像识别单元针对所定位好的图像文字信息进行识别处理并得到初步图像识别结果后输出至中文文本笔画拆分模块。


3.根据权利要求1所述的针对形近汉字的图像优化识别系统，其特征是，所述的中文文本笔画拆分模块包括：笔画拆分单元、笔画累计单元、向量映射单元，其中：笔画拆分单元针对初步识别文本信息进行深度优先搜索处理并得到所以包含的细粒度笔画结果，即笔画形成树中的叶子节点后输出至笔画累计单元，笔画累计单元针对笔画拆分单元信息进行对于统计到的叶子节点进行累加处理并得到每个字所包含的每种笔画数量结果后输出至向量映射单元，向量映射单元...

【专利技术属性】
技术研发人员：罗艺康，李国强，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31