联机中英文混合手写识别方法技术

本发明专利技术涉及一种联机中英文混合手写识别方法，用于在线输入法、在线输入系统中英文混合手写输入识别。首先，对联机中英文混合手写文本行进行倾斜矫正处理，并对其进行基于规则的过切分，其次，把过切分完成的字符片段进行中英文二分类，并且把字符片段通过路径评价、搜索算法得到一条字符合并最佳路径；最后，把每类字符送入相应的联机手写字符识别模型进行识别，把识别结果按照原先的顺序进行重组，最终得到联机中英文混合手写文本识别结果，实验证明，联机中英文混合手写识别率可达93.67％。93.67％。93.67％。

【技术实现步骤摘要】
联机中英文混合手写识别方法


[0001]本专利技术涉及图像处理、文字识别以及深度学习领域。

技术介绍

[0002]传统上，人们与计算设备的交互为键盘输入。随着计算机技术的高速发展，进入了移动互联网时代，触摸屏设备的加速发展转变了人机交互方式，人们更乐于用手指或手写笔这种更自然的交互方式进行文本输入。在手写输入法领域，传统的手写系统受输入设备、屏幕尺寸、识别技术等因素所限，大多只支持单字符输入识别，这样往往会限制了用户的输入速度，影响用户体验。随着移动终端设备触摸屏尺寸的扩大，传统笔记本电脑过渡到触摸显示器等因素的影响，在线手写文本输入将会得到广泛的应用。为了支撑在线手写文本的发展，针对联机手写文本识别技术的研究显得至关重要。
[0003]全球化和国际化的发展，文本的内容不再局限于单一语种，中英文混合手写文本识别研究也逐渐成为了热点。对于印刷体中英文混合文章的识别，已经取得了令人满意的结果，但是联机手写体中英文混合文本由于汉字种类繁多、结构复杂、相似字较多、书写不规范，英文单词普遍连笔等问题，使得中英文混合手写文本识别至今是一个难点。
[0004]现阶段，大多数研究成果是对单语种的联机手写的识别，而对于联机中英文混合手写识别的研究比较缺乏。在商业领域，比较成熟的是Myscript公司开发的付费手写笔记软件nebo，支持联机中英文混合手写识别，识别效果达到了业界最高水平，但该软件需付费，技术不公开。国内输入法绝大多数只支持单一的中文或英文识别，不支持中英文混合手写识别，因此，联机中英文混合手写识别研究具有广阔的发展前景。联机中英文混合手写识别不仅需要研究单语种的联机手写识别，还要根据语种特征，研究语种分类算法，并且需要研究中英文文本切分算法。因此，联机中英文混合手写识别研究具有一定的挑战性。

技术实现思路

[0005]中英文混合手写识别的难点在于中英文混合文本的切分问题以及分类问题，针对国内输入法绝大多数不支持联机中英文混合手写识别，本专利技术通过研究中英文混合手写文本的特点，从联机手写字符数据集的建立及扩充、联机手写字符识别模型的训练、联机中英文混合手写文本行的预处理、过切分、中英文二分类、识别及结果后处理几个方面，实现了联机中英文混合手写识别方法。
[0006]实现本专利技术方法的主要步骤如下：首先，收集建立联机手写英文字符、中文字符、中英文混合句子数据集，改进卷积神经网络模型，训练出联机手写英文字符识别模型、联机手写中文汉字识别模型为前提工作；然后对联机中英文混合手写文本行进行倾斜矫正，接着对该文本行进行基于规则的过切分，接着对切分完成的字符片段进行中英文二分类，接着对每一类字符片段通过路径评价、搜索找出最佳合并路径，得到评分最优的英文单字符序列和中文单字符序列，分别送入联机手写英文字符识别模型、联机手写中文汉字识别模型进行识别，最后把识别结果进行重组，得到联机中英文混合手写文本的最终结果，在联机
中英文混合手写数据集上测试，混合中英文文本识别率可达93.67％。
[0007]联机中英文混合手写识别方法，包括如下步骤：
[0008]步骤一，联机手写数据集的建立及其扩充，具体为：联机手写英文字符数据集的建立、联机手写中文汉字数据集的合并及扩充以及联机混合手写中英文句子数据集的建立，联机手写数据集的数据格式为点坐标序列：{x,y}，依次为X坐标值、Y坐标值；每个字符都是由多个点组成的，每个字符的数据格式是由组成该字符的多个点的点坐标序列构成的；
[0009]步骤二，提取单字符特征向量，所述的单字符包括英文字符和中文汉字，加深LeNet-5模型的深隐藏层层数、增加各层卷积核个数，构建12层卷积神经网络结构，对联机手写数据集进行模型训练，具体为：对英文字符提取N维特征向量进行训练，N的取值范围为144-256，对中文汉字提取8方向特征图以及原图构成9通道特征图进行训练；训练得到联机手写英文字符识别模型以及联机手写中文汉字识别模型，两个模型的构建为后续工作提供识别功能，两个模型结构相同，参数不共享；
[0010]步骤三，联机中英文混合手写文本行的倾斜矫正预处理，目的为矫正手写文本行，获取更加真实的文本行高度估计值；
[0011]步骤四，对预处理完成的联机中英文混合手写文本行进行过切分处理，保证切分完成的字符片段都是单个字符的子片段；
[0012]步骤五，对字符片段进行中英文二分类，具体分为三个步骤：首先利用现有中英文分类技术对字符片段进行中英文分类，然后对于无法分类的字符进行二次分类识别，具体为根据字符圆滑度特征，计算字符局部曲率，若曲率值达到阈值归为英文字符，否则为中文字符；最后把依旧无法分类的字符片段分别送入联机手写英文字符识别模型和联机手写中文汉字识别模型，将其归为相似度得分高的模型所对应的一类，得到为最终的分类结果；
[0013]步骤六，分别对每一类字符片段进行合并，合并为单个字符，具体为：首先根据字符特征、语言模型特征构建路径评价函数，得到本次路径的评分，利用动态搜索算法找到评分最优的路径，为最佳的片段合并结果；
[0014]步骤七，对合并完成的中文字符和英文字符分别送入联机手写中文汉字识别模型、联机手写英文字符识别模型进行识别，把识别结果按照原来的顺序进行重组，最终得到联机中英文混合手写识别结果。
[0015]与现有技术相比，本专利技术的方法具有以下优点：
[0016]与传统联机手写单字符识别方法相比，通过对英文字符N维特征提取，N的取值范围为144-256中文汉字8方向特征图提取，能更好的提取字符的特征；通过改进卷积神经网络模型使联机手写字符识别率有所提升；本技术加入了双语种混合手写识别技术，实现了联机中英文混合手写文本识别率可达93.67％；为各大在线输入法，输入系统提供了新思路。
附图说明
[0017]图1为本专利技术所涉及方法的系统架构图；
[0018]图2为联机手写英文字符数据集部分数据示例图；
[0019]图3为联机手写中文汉字数据集部分数据示例图；
[0020]图4为联机中英文混合手写句子数据集部分数据示例图；
[0021]图5为LeNet-5模型图；
[0022]图6为改进卷积神经网络架构图；
[0023]图7为联机手写英文字符识别流程图；
[0024]图8为英文字符a原图；
[0025]图9为英文字符a插值图；
[0026]图10为英文字符a分块图；
[0027]图11为英文字符a特征图；
[0028]图12为联机手写中文汉字识别流程图；
[0029]图13为八方向集合图；
[0030]图14为八方向特征图；
[0031]图15为笔画重心点图；
[0032]图16为倾斜矫正前图；
[0033]图17为倾斜矫正后图；
[0034]图18为笔画切分示例1图；
[0035]图19为笔画切分示例2图；
[0036]图20(a)为切分点示例1图；
[0037本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.联机中英文混合手写识别方法，其特征在于，包括如下步骤：步骤一，联机手写数据集的建立及其扩充，具体为：联机手写英文字符数据集的建立、联机手写中文汉字数据集的合并及扩充以及联机混合手写中英文句子数据集的建立，联机手写数据集中的每个字符都是由多个点组成的，每个字符的数据格式是由组成该字符的多个点的点坐标序列构成的，故联机手写数据集的数据格式为点坐标序列{x,y}，X为横坐标值、Y为纵坐标值；步骤二，提取单字符特征向量，所述的单字符包括英文字符和中文汉字；构建联机手写英文字符识别模型，以及联机手写中文汉字识别模型，两个模型结构相同，参数不共享，其中联机手写英文字符识别模型用于识别手写英文字符，联机手写中文汉字识别模型用于识别中文汉字；利用数据集中英文字符提取的N维特征向量对手写英文字符识别模型进行训练，N的取值范围为144-256，利用中文汉字提取的8方向特征图，以及原图所构成的9通道特征图对手写中文汉字识别模型进行模型训练；步骤三，对联机中英文混合手写文本行进行倾斜矫正预处理，用于矫正手写文本行，获取更加真实的文本行高度估计值；步骤四，对倾斜矫正预处理完成后的联机中英文混合手写文本行进行过切分处理，用于保证切分完成的字符片段都是单个字符的子片段；步骤五，对字符片段进行中英文二分类，具体分为三个步骤：首先利用现有中英文分类技术对字符片段进行中英文分类，然后对于无法分类的字符进行二次分类识别，具体为根据字符圆滑度特征，计算字符局部曲率，若曲率值达到阈值归为英文字符，否则为中文字符；最后把依旧无法分类的字符片段分别送入联机手写英文字符识别模型和联机手写中文汉字识别模型，将其归为相似度得分高的模型所对应的一类，得到为最终的分类结果。步骤六，分别对每一类字符片段进行合并，合并为单个字符，具体为：首先根据字符特征、语言模型特征构建路径评价函数，得到本次合并路径的评分，利用动态搜索算法找到评分最优的路径，为最佳的片段合并结果；步骤七，对合并完成的中文字符和英文字符分别送入联机手写中文汉字识别模型、联机手写英文字符识别模型进行识别，把识别结果按照原来的顺序进行重组，最终得到联机中英文混合手写识别结果。2.根据权利要求1所述的联机中英文混合手写识别方法，其特征在于，步骤一中所述联机混合手写中英文句子数据集的建立方法具体如下：a、收集常用汉字、常用中文词组、常用英文单词；b、对收集的汉字、词组、单词进行随机重组为中英文混合句子，数据集样本数据。3.根据权利要求1所述的联机中英文混合手写识别方法，其特征在于，步骤二中所述的英文字符特征提取方法如下：a、获取手写英文字符点坐标序列；b、根据书写顺序依次对点坐标序列进行连线；c、求英文字符的最小外包矩形，然后把最小外包矩形平均分为n
×
n块，其中n的取值范围为12-16；d、特征数值化，首先，计算每个小方块中点坐标的个数m；若m>0，该方块的值为1，若m＝0，该方块的值为0，所有小方块对应一个数值，这些数值即为对应的手写英文字符的特征向
量。4.根据权利要求1所述的联机中英文混合手写识别方法，其特征在于，步骤二中所述的中文汉字特征提取方法如下：a、对手写中文汉字的点坐标序列进预处理，包括归一化、平滑去噪、样本插值；b、求解每个坐标点的方向向量，其中，某一笔画中的某个坐标点P
k
的方向向量V
k
的计算公式如下：其中，P
k-1
为前一点，P
k+1
为后一点；c、定义八方向区域：以平面直角坐标轴X正方向为0
°
，逆时针旋转一周为360
°
，则八方向区域分别为D1:45
°-
135
°
、D2:90
°-
135
°
、D3:135
°-
225
°
、D4:180
°-
270
°
、D5:225
°-
315
°
、D6:270
°-
360
°
、D7:315
°-
45
°
、D8:0
°-
90
°
，把V
k
投影到八方向的两个子集上，一个集合为{D1，D3，D5，D7}，另一个集合为{D2，D4，D6，D8}；d、根据向量的分解法则，八个方向可以转化为八个特征平面，于是就得到了八方向特征图，加上原图，得到9通道特征图。5.根据权利要求1所述的联机中英文混合手写识别方法，其特征在于，步骤二中所述的模型结构如下：所述模型结构采用LeNet-5模型，并在此基础上进行了改进，LeNet-5模型具体...

【专利技术属性】
技术研发人员：付鹏斌，刘鹏辉，杨惠荣，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：