笔画层级手写字符序列识别方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种笔画层级手写字符序列识别方法、装置、终端及存储介质，其中，上述方法包括：获取待识别手写字符的笔画图片序列；基于所述笔画图片序列，根据编码端神经网络模型获得笔画序列特征；基于已识别字符序列，获取字符序列特征；基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层，获得所述待识别手写字符的语义特征向量；基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果。与现有技术相比，本发明专利技术通过将手写字符序列的上下文语义信息与手写字符的笔画特征融合，能够准确识别非完整笔画字符，提高识别效率，实现高鲁棒性的手写汉字序列识别。字序列识别。字序列识别。

【技术实现步骤摘要】
笔画层级手写字符序列识别方法、装置、终端及存储介质


[0001]本专利技术涉及手写识别
，尤其涉及的是一种笔画层级手写字符序列识别方法、装置、终端及存储介质。

技术介绍

[0002]随着智能终端的快速发展，手写识别技术被广泛应用。现有的手写识别技术主要识别和处理当前书写的单个字符，如将字符图片作为单个整体，采用深度学习模型来获取字符的特征并进行识别，当书写的字符出现笔画缺失、连笔或者断笔等情况时，该方法就不能准确地对手写字符进行识别，难以适应实际应用需求。
[0003]目前，虽然也有手写识别技术从字符的笔画层级提取特征，来提高对缺笔、断笔等字符的识别精度，但是也是基于对当前书写的单个字符进行识别和处理。由于忽略了当前书写字符的上下文语义关系，识别精度不高。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种笔画层级手写字符序列识别方法、装置、终端及存储介质，旨在解决现有技术中对笔画缺失、连笔或者断笔等字符识别精度不高的问题。
[0006]为了实现上述目的，本专利技术提供了一种笔画层级手写字符序列识别方法，包括：
[0007]获取待识别手写字符的笔画图片序列；
[0008]基于所述笔画图片序列，根据神经网络模型获得笔画序列特征；
[0009]基于已识别字符序列，获取字符序列特征；
[0010]基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述待识别手写字符的语义特征向量；
[0011]基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果。
[0012]可选的，所述基于所述笔画图片序列，根据神经网络模型获得笔画序列特征，包括：
[0013]基于所述笔画图片序列，根据卷积神经网络获得所述笔画图片序列中所有笔画图片的笔画图片特征；
[0014]获取所述笔画图片序列中所有笔画图片的位置特征；
[0015]将所述笔画图片特征和所述位置特征输入双向多头自注意力层，获得所述笔画序列特征，所述笔画序列特征的长度为可变长度。
[0016]可选的，所述获取所述笔画图片序列中所有笔画图片的位置特征，包括：
[0017]获取所述笔画图片序列中所有笔画图片的位置编码；
[0018]将所述位置编码输入位置嵌入层，获得所述位置特征。
[0019]可选的，所述基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获
得所述待识别手写字符的识别结果，包括：
[0020]基于最大池化目标，对所述笔画序列特征降维，获得最大池化特征；
[0021]基于所述最大池化特征和所述语义特征向量，拼接获得所述待识别手写字符的特征向量；
[0022]基于特征向量，根据神经网络模型获得所述待识别手写字符的识别结果。
[0023]可选的，所述基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述待识别手写字符的语义特征向量，包括：
[0024]获取神经网络中保存的所述已识别字符序列的语义信息；
[0025]基于交叉注意力机制，将所述语义信息、所述字符序列特征和所述笔画序列特征输入至单向多头自注意力层，获得所述待识别手写字符的语义特征向量并更新所述语义信息。
[0026]可选的，所述获取待识别手写字符的笔画图片序列，还包括：
[0027]获取手写停顿时间；
[0028]基于所述手写停顿时间，根据笔画完整性判断方法判断所述待识别手写字符的笔画完整性；
[0029]若所述待识别手写字符为笔画完整，获取所述待识别手写字符的图片，对所述图片进行图像处理以使得所述图片中的字符居中；
[0030]基于所述待识别手写字符的图片获得所述笔画图片序列。
[0031]可选的，所述基于已识别字符序列，获取字符序列特征，包括：
[0032]获取所述已识别字符序列中最后一个字符的映射编码；
[0033]基于所述映射编码，根据词嵌入方法获得字符向量；
[0034]基于所述已识别字符序列中最后一个字符的位置编码，获得位置向量；
[0035]基于所述位置向量和所述字符向量，获得所述字符序列特征。
[0036]为了实现上述目的，本专利技术还提供了一种笔画层级手写字符序列识别装置，所述装置包括：
[0037]笔画图片获取模块，用于获取手写字符的笔画图片；
[0038]笔画序列特征获取模块，用于基于所述笔画图片，根据神经网络模型获得笔画序列特征；
[0039]字符序列特征获取模块，用于基于已识别字符序列，获取字符序列特征；
[0040]语义特征向量获取模块，用于基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述手写字符的语义特征向量；
[0041]识别结果获取模块，用于基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述手写字符的识别结果。
[0042]为了实现上述目的，本专利技术还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的笔画层级手写字符序列识别程序，上述笔画层级手写字符序列识别程序被上述处理器执行时实现任意一项上述笔画层级手写字符序列识别方法的步骤。
[0043]为了实现上述目的，本专利技术还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有笔画层级手写字符序列识别程序，上述笔画层级手写字符序列识别程序
被处理器执行时实现任意一项上述笔画层级手写字符序列识别方法的步骤。
[0044]由上述可见，本专利技术的笔画层级手写字符序列识别方法，获取到待识别手写字符的笔画图片序列后，通过神经网络进行特征提取，获取笔画序列特征。并基于待识别手写字符之前已识别的字符组成的已识别字符序列，获取到字符序列特征，然后基于交叉注意力机制融合笔画序列特征和字符序列特征，获得待识别手写字符的语义特征向量，再将语义特征向量和笔画序列特征输入神经网络模型，获得识别结果。因此，通过将手写字符序列的上下文语义信息与手写字符的笔画特征融合，能够准确识别非完整笔画字符，提高识别效率，实现高鲁棒性的手写汉字序列识别。
附图说明
[0045]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0046]图1是本专利技术提供的笔画层级手写字符序列识别方法实施例的流程示意图；
[0047]图2是图1实施例步骤S200的具体流程示意图；
[0048]图3是图1实施例步骤S300的具体流程示意图；
[0049]图4是图1实施例步骤S500的具体流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.笔画层级手写字符序列识别方法，其特征在于，包括：获取待识别手写字符的笔画图片序列；基于所述笔画图片序列，根据编码端神经网络模型获得笔画序列特征；基于已识别字符序列，获取字符序列特征；基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层，获得所述待识别手写字符的语义特征向量；基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果。2.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于所述笔画图片序列，根据神经网络模型获得笔画序列特征，包括：基于所述笔画图片序列，根据卷积神经网络获得所述笔画图片序列中所有笔画图片的笔画图片特征；获取所述笔画图片序列中所有笔画图片的位置特征；将所述笔画图片特征和所述位置特征输入双向多头自注意力层，获得所述笔画序列特征，所述笔画序列特征的长度为可变长度。3.如权利要求2所述的笔画层级手写字符序列识别方法，其特征在于，所述获取所述笔画图片序列中所有笔画图片的位置特征，包括：获取所述笔画图片序列中所有笔画图片的位置编码；将所述位置编码输入位置嵌入层，获得所述位置特征。4.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果，包括：基于最大池化目标，对所述笔画序列特征降维，获得最大池化特征；基于所述最大池化特征和所述语义特征向量，拼接获得所述待识别手写字符的特征向量；基于特征向量，根据神经网络模型获得所述待识别手写字符的识别结果。5.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述待识别手写字符的语义特征向量，包括：获取神经网络中保存的所述已识别字符序列的语义信息；基于交叉注意力机制，将所述语义信息、所述字符序列特征和所述笔画序列特征输入至单向多头自注意力层，获得所述待识别手写字符的语义特征向量并更新所述...

【专利技术属性】
技术研发人员：户保田，杨倩，李云鑫，陈清财，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：