本公开提供一种手写识别方法、装置、电子设备及存储介质，方法包括：获取待识别的手写轨迹数据以及对应的手写图像数据；基于预先训练的手写识别模型的第一特征提取网络对所述手写图像数据进行特征提取，得到图像特征；基于所述手写识别模型的第二特征提取网络对所述手写轨迹数据进行特征提取，得到轨迹特征；基于所述手写识别模型的融合网络对所述图像特征和所述轨迹特征进行特征融合，得到融合特征；基于所述手写识别模型的卷积网络对所述融合特征进行处理，得到精炼特征；基于手写识别模型的输出网络和所述精炼特征进行手写预测，得到手写识别结果。本方案实现了根据手写轨迹和手写图像两个维度的特征进行手写识别，能够提高手写识别的精度。提高手写识别的精度。提高手写识别的精度。
【技术实现步骤摘要】
手写识别方法、装置、电子设备及存储介质
[0001]本公开涉及手写识别
，尤其涉及一种手写识别方法、装置、电子设备及存储介质。
技术介绍
[0002]作为一种简单方便而又高效的输入方式，手写识别改变了传统的基于复杂编码或拼音输入的键盘模式，为自然人性的人机交互提供了便利条件。手写识别在教育教学场景中也占有重要的地位，尤其是针对屏幕上的滑屏手写识别。
[0003]目前，对于屏幕手写识别，通常仅基于采集的包含用户手写内容的图像数据进行识别，识别效果不佳。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种手写识别方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种手写识别方法，包括：
[0006]获取待识别的手写轨迹数据以及对应的手写图像数据；
[0007]基于预先训练的手写识别模型的第一特征提取网络对所述手写图像数据进行特征提取，得到图像特征；
[0008]基于所述手写识别模型的第二特征提取网络对所述手写轨迹数据进行特征提取，得到轨迹特征；
[0009]基于所述手写识别模型的融合网络对所述图像特征和所述轨迹特征进行特征融合，得到融合特征；
[0010]基于所述手写识别模型的卷积网络对所述融合特征进行处理，得到精炼特征；
[0011]基于所述手写识别模型的输出网络对所述精炼特征进行手写预测，得到手写识别结果。
[0012]根据本公开的另一方面，提供了一种手写识别装置，包括：
[0013]数据获取模块，用于获取待识别的手写轨迹数据以及对应的手写图像数据；
[0014]手写识别模块，用于基于预先训练的手写识别模型的第一特征提取网络对所述手写图像数据进行特征提取，得到图像特征；基于所述手写识别模型的第二特征提取网络对所述手写轨迹数据进行特征提取，得到轨迹特征；基于所述手写识别模型的融合网络对所述图像特征和所述轨迹特征进行特征融合，得到融合特征；基于所述手写识别模型的卷积网络对所述融合特征进行处理，得到精炼特征；以及，基于所述手写识别模型的输出网络对所述精炼特征进行手写预测，得到手写识别结果。
[0015]根据本公开的另一方面，提供了一种电子设备，包括：
[0016]处理器；以及
[0017]存储程序的存储器，
是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0035]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0036]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0037]以下参照附图描述本公开提供的手写识别方法、装置、电子设备及存储介质。
[0038]图1示出了根据本公开一示例性实施例的手写识别方法的流程图，该方法可以由本公开提供的手写识别装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中，所述电子设备包括手机、平板电脑等设备。
[0039]如图1所示，该手写识别方法可以包括以下步骤：
[0040]步骤101，获取待识别的手写轨迹数据以及对应的手写图像数据。
[0041]示例性地，可以在用户通过电子设备的屏幕进行手写输入时，实时采集用户在屏幕上输入的手写轨迹，进而基于用户输入的手写轨迹获得待识别的手写轨迹数据。例如，可以根据用户输入的手写轨迹上每个坐标点的坐标值，生成手写轨迹数据。在用户本次手写输入完成后，可以获得包含用户手写内容的图像，得到与手写轨迹数据相对应的手写图像数据。
[0042]以教育教学场景为例，在用户通过电子设备进行题目作答场景中，用户可以通过电子设备的屏幕手写输入题目的答案，这种场景中，通常会固定题目的作答区，在用户书写完毕后，截取书写有用户手写内容的作答区的图像，截取的图像大小可以与作答区的范围大小一致，以保证截取的图像中包含用户书写的所有字体。之后，可以对截取的图像进行缩放等操作，得到手写图像数据。
[0043]步骤102，基于预先训练的手写识别模型的第一特征提取网络对所述手写图像数据进行特征提取，得到图像特征。
[0044]其中，手写识别模型是预先训练好的。实际应用中，可以先搭建初始手写识别模型，如图2所示，初始手写识别模型的模型结构包括第一特征提取网络、第二特征提取网络、融合网络、卷积网络和输出网络，每个网络的卷积层数以及采样倍数等参数可以根据实际需求进行设置。其中，第一特征提取网络用于对手写图像数据进行特征提取，得到图像特征，第二特征提取网络用于对手写轨迹数据进行特征提取，得到轨迹特征，融合网络用于对图像特征和轨迹特征进行特征融合，得到融合特征，卷积网络用于对融合特征进行特征提取，得到精炼特征，输出网络用于基于精炼特征进行手写预测，输出手写识别结果。搭建好初始手写识别模型之后，可以利用收集的训练样本对该初始手写识别模型进行迭代训练，其中，每个训练样本由一对手写轨迹数据和对应的手写图像数据组成。当初始手写识别模型的手写识别准确率达到预期时，或者迭代次数达到预设次数时，或者初始手写识别模型的损失函数达到预设值时，认为模型训练完成，得到手写识别模型。利用训练好的手写识别模型，可以实现准确率较高的手写识别。
[0045]本公开实施例中，获取了手写轨迹数据和对应的手写图像数据之后，可以将手写轨迹数据和手写图像数据输入预先训练好的手写识别模型，由手写识别模型对手写轨迹数据和手写图像数据进行处理，最终识别出用户的手写内容，完成手写识别。
[0046]在手写识别模型中，由手写识别模型的第一特征提取网络对输入的手写图像数据进行特征提取，得到图像特征。
[0047]示例性地，第一特征提取网络可以采用ResNet18网络，其中，ResNet18网络对手写图像数据进行特征提取时，对图像高度的下采样倍数为64，对图像宽度的下采样倍数为5。例如，假设输入的手写图像数据的尺寸为64*320*3，则经过该第一特征提取网络进行特征提取，得到尺寸为1*64*64的图像特征。能够理解的是，也可以根据实际需求设置其他的高度下采样倍数和宽度下采样倍数，本公开给出的数据仅作为示例，而不能作为对公开的限制。
[0048]步骤103，基于所述手写识别模型的第二特征提取网络对所述手写轨迹数据进行特征提取，得到轨迹特征。
[0049]本公开实施例中，将手写轨迹数据输入手写识别模型之后，由手写识别模型的第二特征提取网络对输入的手写轨迹数据进行特征提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手写识别方法，其中，所述方法包括：获取待识别的手写轨迹数据以及对应的手写图像数据；基于预先训练的手写识别模型的第一特征提取网络对所述手写图像数据进行特征提取，得到图像特征；基于所述手写识别模型的第二特征提取网络对所述手写轨迹数据进行特征提取，得到轨迹特征；基于所述手写识别模型的融合网络对所述图像特征和所述轨迹特征进行特征融合，得到融合特征；基于所述手写识别模型的卷积网络对所述融合特征进行处理，得到精炼特征；基于所述手写识别模型的输出网络对所述精炼特征进行手写预测，得到手写识别结果。2.如权利要求1所述的手写识别方法，其中，所述获取待识别的手写轨迹数据，包括：获取用户输入的手写轨迹对应的目标坐标点的坐标值，所述坐标值包括行坐标和列坐标；基于所述手写轨迹对应的目标坐标点的行坐标，生成手写轨迹行数据；基于所述手写轨迹对应的目标坐标点的列坐标，生成手写轨迹列数据；根据所述手写轨迹行数据和所述手写轨迹列数据，生成所述手写轨迹数据。3.如权利要求2所述的手写识别方法，其中，所述目标坐标点通过如下步骤确定：获取用户输入的手写轨迹对应的原始坐标点的点数；在第一手写轨迹对应的原始坐标点的点数大于预设点数的情况下，对所述第一手写轨迹对应的原始坐标点进行采样，得到所述预设点数的目标坐标点，其中，所述第一手写轨迹为所述用户输入的手写轨迹中的任一条手写轨迹；在所述第一手写轨迹对应的原始坐标点的点数小于所述预设点数的情况下，对所述第一手写轨迹进行坐标点补全，得到所述预设点数的目标坐标点。4.如权利要求3所述的手写识别方法，其中，所述对所述第一手写轨迹对应的原始坐标点进行采样，得到所述预设点数的目标坐标点，包括：对所述第一手写轨迹对应的原始坐标点的点数除以所述预设点数的商进行下取整，得到采样步长；按照所述采样步长对所述第一手写轨迹对应的原始坐标点进行采样，得到所述预设点数的目标坐标点。5.如权利要求2
‑
4任一项所述的手写识别方法，其中，所述方法还包括：获取所述用户输入的手写轨迹的轨迹条数；在所述轨迹条数小于预设条数的情况下，对所述手写轨迹的轨迹条数进行补全，以得到所述预设条数的手写轨迹。6.如权利要求1
‑
4任一项所述的手写识别方法，其中，获取手写图像数据，包括：获取包含用户手写内容的原始手写图像；将所述原始手写图像的高度压缩至预设高度，得到第一中间图像；获取所述原始手写图像在高度方向上的压缩比例；按照所述压缩比例对所述第一中间图像的宽度进行压缩，得到第二中间图像；
获取所述第二中间图像的当前宽度；在所述当前宽度小于预设宽度的情况下，对所述第二中间图像进行白色背景补全，以得到宽度为所述预设宽度的手写图像数据；在所述当前宽度大于所述预设宽度的情况下，对所述第二中间图像在宽度方向上进行压缩，以得到宽度为所述预设宽度的手写图像数据。7.如权利要求1
‑
4任一项所述的手写识别方法，其中，所述基于所述手写识别模型的融合网络对所述图像特征和所述轨迹特征进行特征融合，得到融合特征，包括...
【专利技术属性】
技术研发人员：张子浩，
申请(专利权)人：深圳市星桐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。