公式标注方法技术

本公开涉及一种公式标注方法

【技术实现步骤摘要】
公式标注方法、装置、电子设备及存储介质


[0001]本公开涉及图像识别
，具体地，涉及一种公式标注方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着计算机技术的发展，计算机技术已应用于诸多领域，例如应用于教育领域
。
其中计算机技术中的公式检测技术具有较高的应用价值，可以应用于
AI(Artificial Intelligence
，人工智能
)
学习机
、
智能批改
、
题库录排等
。
在实际应用中，数理化公式可能存在公式区域尺寸跨度大
、
公式区域形状不规则
、
多个公式紧凑等情况，由于上述情况的存在，可能导致在识别上述公式时，存在难以准确识别出公式位置的问题
。

技术实现思路

[0003]本公开的目的是提供一种公式标注方法
、
装置
、
电子设备及存储介质，以克服上述技术问题
。
[0004]本公开实施例的第一方面，提供了一种公式标注方法，包括：获取原始图片，其中，所述原始图片中包含待标注公式；通过骨干网络对所述原始图片进行
n
种倍数的下采样处理，获得
n
种倍数中每种倍数对应的特征图作为第一特征图，其中，
n
为大于2的整数，
n
张第一特征图的尺寸不同；通过级联特征增强网络对所述<br/>n
张第一特征图进行表征能力增强处理，获得
m
组第二特征图，其中，
m
为大于2的整数，所述级联特征增强网络包括
m
个顺次级联的特征增强网络，所述
m
组第二特征图的每组中均包括
n
张第二特征图；通过特征融合网络对所述
m
组第二特征图进行特征融合处理，获得第三特征图，其中，所述第三特征图的尺寸与所述原始图片的尺寸相同；根据所述第三特征图获取目标图像，其中，所述目标图像包括对所述待标注公式进行标注的标注标识
。
[0005]可选地，所述通过级联特征增强网络对所述
n
张第一特征图进行表征能力增强处理，获得
m
组第二特征图，包括：将所述
n
张第一特征图输入所述级联特征增强网络中的第一个特征增强网络进行表征能力增强处理，获得所述第一个特征增强网络输出的一组特征图，其中，所述一组特征图包括
n
张特征图；将所述第一个特征增强网络输出的
n
张特征图输入所述第一个特征增强网络的下一个特征增强网络进行表征能力增强处理，获得所述下一个特征增强网络输出的一组特征图；用所述下一个特征增强网络替代所述第一个特征增强网络，继续执行上述将所述第一个特征增强网络输出的一组特征图输入所述第一个特征增强网络的下一个特征增强网络进行表征能力增强处理，获得所述下一个特征增强网络输出的一组特征图的步骤，直至所述级联特征增强网络中
m
个特征增强网络均输出一组特征图，将所述级联特征增强网络中
m
个特征增强网络输出的特征图作为所述
m
组第二特征图
。
[0006]可选地，所述特征增强网络包括上采样增强模块和下采样增强模块，所述将所述
n
张第一特征图输入所述级联特征增强网络中的第一个特征增强网络，获得所述第一个特征增强网络输出的一组特征图，包括：将所述
n
张第一特征图输入所述第一个特征增强网络的
上采样增强模块进行处理，获得所述第一个特征增强网络的上采样增强模块输出的一组特征图；将所述上采样增强模块输出的一组特征图输入所述第一个特征增强网络的下采样增强模块进行处理，获得所述下采样增强模块输出的一组特征图
。
[0007]可选地，所述
m
组第二特征图像的每组内的第二特征图像的尺寸不同，每组之间的存在尺寸相同的第二特征图，所述通过特征融合网络对所述
m
组第二特征图进行特征融合处理，获得第三特征图，包括：将所述
m
组第二特征图像中尺寸相同的第二特征图进行相加处理，获得
n
张融合后的特征图；对所述
n
张融合后的特征图进行上采样处理，获得第三特征图
。
[0008]可选地，所述根据所述第三特征图获取目标图像，包括：获取所述第三特征图对应的概率图和所述第三特征图对应的阈值图；通过可微分二值化网络，对所述概率图和所述阈值图进行可微分操作，获得二值图；将所述二值图确定为所述目标图像
。
[0009]可选地，所述根据所述第三特征图获取目标图像，包括：获取所述第三特征图对应的概率图；将所述概率图确定为所述目标图像
。
[0010]可选地，所述根据所述第三特征图获取目标图像，包括：获取所述第三特征图对应的阈值图；将所述阈值图确定为所述目标图像
。
[0011]本公开实施例的第二方面，提供了一种公式标注装置，所述装置包括：获取模块，用于获取原始图片，其中，所述原始图片中包含待标注公式；下采样模块，用于通过骨干网络对所述原始图片进行
n
种倍数的下采样处理，获得
n
种倍数中每种倍数对应的特征图作为第一特征图，其中，
n
为大于2的整数，
n
张第一特征图的尺寸不同；增强模块，用于通过级联特征增强网络对所述
n
张第一特征图进行表征能力增强处理，获得
m
组第二特征图，其中，
m
为大于2的整数，所述级联特征增强网络包括
m
个顺次级联的特征增强网络，所述
m
组第二特征图的每组中均包括
n
张第二特征图；融合模块，用于通过特征融合网络对所述
m
组第二特征图进行特征融合处理，获得第三特征图，其中，所述第三特征图的尺寸与所述原始图片的尺寸相同；标注模块，用于根据所述第三特征图获取目标图像，其中，所述目标图像包括对所述待标注公式进行标注的标注标识
。
[0012]本公开实施例的第三方面，提供了一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述方法的步骤
。
[0013]本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，该程序被处理器执行时实现上述方法的步骤
。
[0014]本公开提供的公式标注方法
、
装置
、
电子设备及存储介质，先获取包含待标注公式的原始图片；然后通过骨干网络对原始图片进行
n
种倍数的下采样处理，获得
n
种倍数中每种倍数对应的特征图作为第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种公式标注方法，其特征在于，所述方法包括：获取原始图片，其中，所述原始图片中包含待标注公式；通过骨干网络对所述原始图片进行
n
种倍数的下采样处理，获得
n
种倍数中每种倍数对应的特征图作为第一特征图，其中，
n
为大于2的整数，
n
张第一特征图的尺寸不同；通过级联特征增强网络对所述
n
张第一特征图进行表征能力增强处理，获得
m
组第二特征图，其中，
m
为大于2的整数，所述级联特征增强网络包括
m
个顺次级联的特征增强网络，所述
m
组第二特征图的每组中均包括
n
张第二特征图；通过特征融合网络对所述
m
组第二特征图进行特征融合处理，获得第三特征图，其中，所述第三特征图的尺寸与所述原始图片的尺寸相同；根据所述第三特征图获取目标图像，其中，所述目标图像包括对所述待标注公式进行标注的标注标识
。2.
根据权利要求1所述的方法，其特征在于，所述通过级联特征增强网络对所述
n
张第一特征图进行表征能力增强处理，获得
m
组第二特征图，包括：将所述
n
张第一特征图输入所述级联特征增强网络中的第一个特征增强网络进行表征能力增强处理，获得所述第一个特征增强网络输出的一组特征图，其中，所述一组特征图包括
n
张特征图；将所述第一个特征增强网络输出的一组特征图输入所述第一个特征增强网络的下一个特征增强网络进行表征能力增强处理，获得所述下一个特征增强网络输出的一组特征图；用所述下一个特征增强网络替代所述第一个特征增强网络，继续执行上述将所述第一个特征增强网络输出的一组特征图输入所述第一个特征增强网络的下一个特征增强网络进行表征能力增强处理，获得所述下一个特征增强网络输出的一组特征图的步骤，直至所述级联特征增强网络中
m
个特征增强网络均输出一组特征图，将所述级联特征增强网络中
m
个特征增强网络输出的特征图作为所述
m
组第二特征图
。3.
根据权利要求2所述的方法，其特征在于，所述特征增强网络包括上采样增强模块和下采样增强模块，所述将所述
n
张第一特征图输入所述级联特征增强网络中的第一个特征增强网络，获得所述第一个特征增强网络输出的一组特征图，包括：将所述
n
张第一特征图输入所述第一个特征增强网络的上采样增强模块进行处理，获得所述第一个特征增强网络的上采样增强模块输出的一组特征图；将所述上采样增强模块输出的一组特征图输入所述第一个特征增强网络的下采样增强模块进行处理，获得所述下采样增强模块输出的一组特征图
...

【专利技术属性】
技术研发人员：刘腾龙，
申请(专利权)人：新东方教育科技集团有限公司，
类型：发明
国别省市：