【技术实现步骤摘要】
本申请涉及信息识别，尤其涉及一种二维速算题识别方法、装置、存储介质及设备。
技术介绍
1、目前，在教育领域的数学教育中，对速算题的识别和批改一直是教师、家长和学生关注的焦点。而在实际教学过程中，家长和老师对于速算题的批改往往需要耗费大量的时间和精力，因此，能否实现速算题的智能识别和批改显得尤为重要。
2、现有的速算题识别方法通常将待识别的图片作为识别模型的输入，将latex表示的公式作为识别模型的输出，通过识别模型将latex表示的公式逐字符地识别出来。但由于二维速算题的结构变化多样，通常会涉及多种图形结构，识别顺序较为复杂，没有标准的公式语言描述二维结构，难以建模。而现有识别模型对二维速算题识别的泛化能力较差，逐符号识别的方法只能适应模型学习过的图形，对新的图形样式识别容易出错。因此，如仍采用现有识别方法，对二维速算题识别进行识别，将导致识别结果不够准确。
技术实现思路
1、本申请实施例的主要目的在于提供一种二维速算题识别方法、装置、存储介质及设备，能够提高二维速算题识别结果的准确率。
2、本申请实施例提供了一种二维速算题识别方法，包括：
3、获取待识别的目标图像；所述目标图像中包含待识别的目标二维速算题；
4、将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征；
5、将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果；并根据所述解码结果，确定所述目标二维速
6、一种可能的实现方式中，所述将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征，包括：
7、将所述目标图像输入编码器进行编码，得到初步编码特征；
8、对所述初步编码特征进行多尺度的特征融合处理，并将融合后的编码特征作为所述目标图像对应的编码后的目标图像特征。
9、一种可能的实现方式中，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果，包括：
10、当所述记忆单元为空时，将全局的目标图像特征的平均值作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层进行解码，得到第一解码视觉特征；或者，当所述记忆单元不为空时，将所述记忆单元中占位符的视觉特征作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层，得到第二解码视觉特征；
11、将所述第一解码视觉特征或第二解码视觉特征，以及上一时刻的解码结果，输入所述解码器的循环神经网络层进行解码，得到第三解码视觉特征；
12、将所述第三解码视觉特征输入所述解码器的分类层进行符号预测，得到所述目标二维速算题的解码结果。
13、一种可能的实现方式中，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，所述计算单元为具有预设计算关系的图形。
14、一种可能的实现方式中，所述计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种。
15、一种可能的实现方式中，所述根据所述解码结果，确定所述目标二维速算题的最终识别结果，包括：
16、利用所述目标二维速算题对应的计算单元以及所述计算单元中的内容，构成所述目标二维速算题的最终识别结果。
17、一种可能的实现方式中，所述解码器的构建方式如下：
18、获取样本图像；所述样本图像中包含样本二维速算题；所述样本二维速算题包含的计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种；
19、将所述样本图像输入编码器进行编码，得到所述样本图像对应的编码后的样本图像特征；
20、将所述样本图像特征输入初始解码器，并利用所述初始解码器输出的识别结果与所述样本二维速算题的真实识别标签和交叉熵损失函数，对初始解码器进行训练，得到所述解码器。
21、本申请实施例还提供了一种二维速算题识别装置，包括：
22、第一获取单元，用于获取待识别的目标图像；所述目标图像中包含待识别的目标二维速算题；
23、第一编码单元，用于将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征；
24、解码单元，用于将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果；并根据所述解码结果，确定所述目标二维速算题的最终识别结果。
25、一种可能的实现方式中，所述第一编码单元包括：
26、解码子单元，用于将所述目标图像输入编码器进行编码，得到初步编码特征；
27、融合子单元，用于对所述初步编码特征进行多尺度的特征融合处理，并将融合后的编码特征作为所述目标图像对应的编码后的目标图像特征。
28、一种可能的实现方式中，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述解码单元包括：
29、第一解码子单元，用于当所述记忆单元为空时，将全局的目标图像特征的平均值作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层进行解码，得到第一解码视觉特征；或者，当所述记忆单元不为空时，将所述记忆单元中占位符的视觉特征作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层，得到第二解码视觉特征；
30、第二解码子单元，用于将所述第一解码视觉特征或第二解码视觉特征，以及上一时刻的解码结果，输入所述解码器的循环神经网络层进行解码，得到第三解码视觉特征；
31、预测子单元，用于将所述第三解码视觉特征输入所述解码器的分类层进行符号预测，得到所述目标二维速算题的解码结果。
32、一种可能的实现方式中，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，所述计算单元为具有预设计算关系的图形。
33、一种可能的实现方式中，所述计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种。
34、一种可能的实现方式中，所述解码单元具体用于：
35、利用所述目标二维速算题对应的计算单元以及所述计算单元中的内容，构成所述目标二维速算题的最终识别结果。
36、一种可能的实现方式中，所述装置还包括：
37、第二获取单元，用于获取样本图像；所述样本图像中包含样本二维速算题；所述样本二维速算题包含的计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一本文档来自技高网...
【技术保护点】
1.一种二维速算题识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果，包括：
4.根据权利要求3所述的方法，其特征在于，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，所述计算单元为具有预设计算关系的图形。
5.根据权利要求4所述的方法，其特征在于，所述计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种。
6.根据权利要求4所述的方法，其特征在于，所述根据所述解码结果，确定所述目标二维速算题的最终识别结果，包括：
7.根
8.一种二维速算题识别装置，其特征在于，包括：
9.一种二维速算题识别设备，其特征在于，包括：处理器、存储器、系统总线；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种二维速算题识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征，包括：
3.根据权利要求1所述的方法，其特征在于，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果，包括：
4.根据权利要求3所述的方法，其特征在于，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，...
【专利技术属性】
技术研发人员：殷保才，牛雪静，陈明军，吴嘉嘉，胡金水，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。