图像识别模型的训练及图像识别方法、装置、介质、设备制造方法及图纸

本公开是关于一种图像识别模型的训练及图像识别方法、装置、介质、设备，涉及计算机视觉技术领域，该图像识别模型的训练方法包括：获取原始历史图像，并对原始历史图像进行预处理，得到目标历史图像；基于待训练的网络模型对所述目标历史图像进行图像识别以及图像增强处理，得到图第一公式预测结果以及图像增强结果；基于所述第一公式预测结果以及图像增强结果构建目标损失函数；基于目标损失函数对所述待训练的网络模型进行训练，得到训练完成的网络模型，并基于训练完成的网络模型，构建多维度的图像识别模型。本公开提高了图像识别模型的精确度。型的精确度。型的精确度。

【技术实现步骤摘要】
图像识别模型的训练及图像识别方法、装置、介质、设备


[0001]本公开实施例涉及计算机视觉
，具体而言，涉及一种图像识别模型的训练方法、图像识别模型的训练装置、图像识别方法、图像识别装置、计算机可读存储介质以及电子设备。

技术介绍

[0002]现有的图像识别模型的训练方法中，是利用模型对图像进行编码解码，进而基于所得到的结果以及图像的真实标签进行训练的。但是，该方法所得到的模型，对手写公式的识别率低，也即所得到的模型的精确度较低。
[0003]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本公开的目的在于提供一种图像识别模型的训练方法、图像识别模型的训练装置、图像识别方法、图像识别装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型的精确度较低的问题。
[0005]根据本公开的一个方面，提供一种图像识别模型的训练方法，包括：
[0006]获取原始历史图像，并对原始历史图像进行预处理，得到目标历史图像；
[0007]基于待训练的网络模型对所述目标历史图像进行图像识别以及图像增强处理，得到图第一公式预测结果以及图像增强结果；
[0008]基于所述第一公式预测结果以及图像增强结果构建目标损失函数；
[0009]基于目标损失函数对所述待训练的网络模型进行训练，得到训练完成的网络模型，并基于训练完成的网络模型，构建多维度的图像识别模型。
[0010]在本公开的一种示例性实施例中，所述待训练的网络模型包括第一编码模块、第一解码模块、第一归一化模块以及超分网络模型；
[0011]其中，基于待训练的网络模型对所述目标历史图像进行图像识别以及图像增强处理，得到图第一公式预测结果以及图像增强结果，包括：
[0012]基于第一编码模块对所述目标历史图像进行编码处理得到第一局部特征，并基于第一解码模块对所述第一局部特征进行解码处理，得到第一全局特征；
[0013]基于第一归一化模块对所述第一全局特征进行分类处理，得到第一公式预测结果；
[0014]基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像增强结果。
[0015]在本公开的一种示例性实施例中，所述超分网络模型包括第一超分网络，所述第一超分网络为超分学生网络；
[0016]其中，基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像
增强结果，包括：
[0017]基于所述超分学生网络对所述目标历史图像的第一局部特征进行图像增强处理，得到第一图像增强结果。
[0018]在本公开的一种示例性实施例中，所述超分学生网络包括第一卷积层、第一上采样模块、第二上采样模块、第三上采样模块以及第一矩阵拼接模块；
[0019]其中，基于所述超分学生网络对所述目标历史图像的第一局部特征进行图像增强处理，得到第一图像增强结果，包括：
[0020]基于第一卷积层对第一局部特征进行卷积处理，得到第一卷积结果，并通过第一上采样模块对第一卷积结果进行上采样处理，得到第一上采样结果；
[0021]基于第二上采样模块对第一上采样结果进行上采样处理，得到第二上采样结果，并基于第三上采样模块对第二上采样结果进行上采样处理，得到第三上采样结果；
[0022]基于第一矩阵拼接模块对第三上采样结果进行矩阵拼接，得到第一图像增强结果。
[0023]在本公开的一种示例性实施例中，所述超分网络模型包括第二超分网络，所述第二超分网络为超分教师网络；
[0024]其中，基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像增强结果，包括：
[0025]基于所述超分教师网络对所述目标历史图像进行图像增强处理，得到第二图像增强结果。
[0026]在本公开的一种示例性实施例中，所述第一编码模块包括卷积神经网络，所述卷积神经网络中包括字符统计模块；
[0027]所述第一解码模块包括循环神经网络和/或Transformer。
[0028]在本公开的一种示例性实施例中，基于所述第一公式预测结果以及图像增强结果构建目标损失函数，包括：
[0029]基于第一公式预测结果以及目标历史图像的真实公式标签构建第一损失函数；
[0030]根据基于第一图像增强结果构建第二损失函数，并基于第一损失函数以及第二损失函数构建目标损失函数。
[0031]在本公开的一种示例性实施例中，根据基于第一图像增强结果构建第二损失函数，包括：
[0032]基于第一图像增强结果以及所述目标历史图像构建第二损失函数；或者
[0033]基于第一图像增强结果以及第二图像增强结果构建第二损失函数。
[0034]在本公开的一种示例性实施例中，基于第一图像增强结果以及第二图像增强结果构建第二损失函数，包括：
[0035]获取第一图像增强结果中包括的第一图像特征点，以及第二图像增强结果中的第二图像特征点；
[0036]根据所述第一图像特征点以及第二图像特征点，构建所述第二损失函数。
[0037]在本公开的一种示例性实施例中，对原始历史图像进行预处理，得到目标历史图像，包括：
[0038]对原始历史图像进行自适应调整，得到标准历史图像；
[0039]根据所述标准历史图像的图像质量检测结果对所述标准历史图像进行处理，得到目标历史图像。
[0040]在本公开的一种示例性实施例中，所述原始历史图像包括由手写公式构成的历史图像；
[0041]其中，对原始历史图像进行自适应调整，得到标准历史图像，包括：
[0042]基于预设的行数判断网络模型，提取所述原始历史图像中包括的第一公式行数，并根据所述第一公式行数对所述原始历史图像的第一图像分辨率进行自适应调整，得到标准历史图像。
[0043]在本公开的一种示例性实施例中，所述预设的行数判断网络模型包括行数检测网络模型，所述行数检测网络模型包括主干特征提取网络、颈部特征融合网络以及头部特征检测网络；
[0044]其中，基于预设的行数判断网络模型，提取所述原始历史图像中包括的第一公式行数，包括：
[0045]利用所述主干特征提取网络对所述原始历史图像进行下采样处理，得到第二局部特征，并利用所述颈部特征融合网络对所述第二局部特征进行从深层到浅层、再从浅层到深层的双向融合，得到第二全局特征；
[0046]利用所述头部特征检测网络对所述第二全局特征中包括的第一目标对象的第一类别信息以及第一位置信息进行检测，得到所述原始历史图像中包括的第一公式行数。
[0047]在本公开的一种示例性实施例中，所述预设的行数判断网络模型包括图像检测网络模型，所述图像检测网络模型包括第二编码模块、第二解码模块以及第二归一化处理模块；
[0048]其中，基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别模型的训练方法，其特征在于，包括：获取原始历史图像，并对原始历史图像进行预处理，得到目标历史图像；基于待训练的网络模型对所述目标历史图像进行图像识别以及图像增强处理，得到图第一公式预测结果以及图像增强结果；基于所述第一公式预测结果以及图像增强结果构建目标损失函数；基于目标损失函数对所述待训练的网络模型进行训练，得到训练完成的网络模型，并基于训练完成的网络模型，构建多维度的图像识别模型。2.根据权利要求1所述的图像识别模型的训练方法，其特征在于，所述待训练的网络模型包括第一编码模块、第一解码模块、第一归一化模块以及超分网络模型；其中，基于待训练的网络模型对所述目标历史图像进行图像识别以及图像增强处理，得到图第一公式预测结果以及图像增强结果，包括：基于第一编码模块对所述目标历史图像进行编码处理得到第一局部特征，并基于第一解码模块对所述第一局部特征进行解码处理，得到第一全局特征；基于第一归一化模块对所述第一全局特征进行分类处理，得到第一公式预测结果；基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像增强结果。3.根据权利要求2所述的图像识别模型的训练方法，其特征在于，所述超分网络模型包括第一超分网络，所述第一超分网络为超分学生网络；其中，基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像增强结果，包括：基于所述超分学生网络对所述目标历史图像的第一局部特征进行图像增强处理，得到第一图像增强结果。4.根据权利要求3所述的图像识别模型的训练方法，其特征在于，所述超分学生网络包括第一卷积层、第一上采样模块、第二上采样模块、第三上采样模块以及第一矩阵拼接模块；其中，基于所述超分学生网络对所述目标历史图像的第一局部特征进行图像增强处理，得到第一图像增强结果，包括：基于第一卷积层对第一局部特征进行卷积处理，得到第一卷积结果，并通过第一上采样模块对第一卷积结果进行上采样处理，得到第一上采样结果；基于第二上采样模块对第一上采样结果进行上采样处理，得到第二上采样结果，并基于第三上采样模块对第二上采样结果进行上采样处理，得到第三上采样结果；基于第一矩阵拼接模块对第三上采样结果进行矩阵拼接，得到第一图像增强结果。5.根据权利要求2所述的图像识别模型的训练方法，其特征在于，所述超分网络模型包括第二超分网络，所述第二超分网络为超分教师网络；其中，基于所述超分网络模型对所述目标历史图像进行图像增强处理，得到图像增强结果，包括：基于所述超分教师网络对所述目标历史图像进行图像增强处理，得到第二图像增强结果。6.根据权利要求2所述的图像识别模型的训练方法，其特征在于，所述第一编码模块包括卷积神经网络，所述卷积神经网络中包括字符统计模块；
所述第一解码模块包括循环神经网络和/或Transformer。7.根据权利要求1所述的图像识别模型的训练方法，其特征在于，基于所述第一公式预测结果以及图像增强结果构建目标损失函数，包括：基于第一公式预测结果以及目标历史图像的真实公式标签构建第一损失函数；根据基于第一图像增强结果构建第二损失函数，并基于第一损失函数以及第二损失函数构建目标损失函数。8.根据权利要求7所述的图像识别模型的训练方法，其特征在于，根据基于第一图像增强结果构建第二损失函数，包括：基于第一图像增强结果以及所述目标历史图像构建第二损失函数；或者基于第一图像增强结果以及第二图像增强结果构建第二损失函数。9.根据权利要求8所述的图像识别模型的训练方法，其特征在于，基于第一图像增强结果以及第二图像增强结果构建第二损失函数，包括：获取第一图像增强结果中包括的第一图像特征点，以及第二图像增强结果中的第二图像特征点；根据所述第一图像特征点以及第二图像特征点，构建所述第二损失函数。10.根据权利要求1所述的图像识别模型的训练方法，其特征在于，对原始历史图像进行预处理，得到目标历史图像，包括：对原始历史图像进行自适应调整，得到标准历史图像；根据所述标准历史图像的图像质量检测结果对所述标准历史图像进行处理，得到目标历史图像。11.根据权利要求10所述的图像识别模型的训练方法，其特征在于，所述原始历史图像包括由手写公式构成的历史图像；其中，对原始历史图像进行自适应调整，得到标准历史图像，包括：基于预设的行数判断网络模型，提取所述原始历史图像中包括的第一公式行数，并根据所述第一公式行数对所述原始历史图像的第一图像分辨率进行自适应调整，得到标准历史图像。12.根据权利要求11所述的图像识别模型的训练方法，其特征在于，所述预设的行数判断网络模型包括行数检测网络模型，所述行数检测网络模型包括主干特征提取网络、颈部特征融合网络以及头部特征检测网络；其中，基于预设的行数判断网络模型，提取所述原始历史图像中包括的第一公式行数，包括：利用所述主干特征提取网络对所述原始历史图像进行下采样处理，得到第二局部特征，并利用所述颈部特征融合网络对所述第二局部特征进行从深层到浅层、再从浅层到深层的双向融合，得到第二全局特征；利用所述头部特征检测网络对所述第二全局特征中包括的第一目标对象的第一类别信息以及第一位置信息进行检测，得到所述原始历史图像中包括的第一公式行数。13.根据权利要求11所述的图像识别模型的训练方法，其特征在于，所述预设的行数判断网络模型包括图像检测网络模型，所述图像检测网络模型包括第二编码模块、第二解码模块以及第二归一化处理模块；
其中，基于预设的行数判断网络模型，提取所述原始历史图像中包括的第一公式行数，包括：利用第二编码模块对所述原始历史图像进行编码处理，得到第三局部特征，并利用第二解码模块对所述第三局部特征进行解码处理，得到第三全局特征；利用第二归一化处理模块对所述第三全局特征中包括的第二目标对象进行分类，得到所述原始历史图像中包括的第一公式行数。14.根据权利要求11所述的图像识别模型的训练方法，其特征在于，根据所述第一公式行数对所述原始历史图像的第一图像分辨率进行自适应调整，得到标准历史图像，包括：根据所述第一公式行数，确定所述原始历史图像的第一标准图像高度，并基于所述第一标准图像高度对所述第一图像分辨率进行自适应调整，得到标准历史图像。15.根据权利要求10所述的图像识别模型的训练方法，其特征在于，根据所述标准历史图像的图像质量检测结果对所述标准历史图像进行处理，得到目标历史图像，包括：基于预设的图像质量判断模型对所述标准历史图像的图像质量进行检测，得到图像质量检测结果；根据所述图像质量检测结果确定处理所述标准历史图像所需要的图像处理规则，并基于所述图像处理规则对所述标准历史图像进行处理，得到所述目标历史图像。16.根据权利要求15所述的图像识别模型的训练方法，其特征在于，所述预设的图像质量判断模型包括第二卷积层、特征融合网络、第一拼接层以及第三归一化处理模块；其中，基于预设的图像质量判断模型对所述标准历史图像的图像质量进行检测，得到图像质量检测结果，包括：从所述标准历史图像中截取多个局部图像，并对各所述局部图像进行图像融合，得到多通道输入图像；通过所述第二卷积层对所述多通道输入图像进行卷积处理，得到多通道输入图像的第四局部特征，并基于所述特征融合网络对所述第四局部特征进行多尺度特征融合，得到多个不同尺度的特征融合结果；通过第一拼接层对所述多个不同尺度的特征融合结果进行拼接，得到特征拼接结果，并通过第三归一化处理模块对所述特征拼接结果进行分类，得到图像质量检测结果。17.根据权利要求16所述的图像识别模型的训练方法，其特征在于，所述特征融合网络包括第一特征融合网络、第二特征融合网络以及第三特征融合网络；所述第一特征融合网络包括第一深度可分离卷积层模块以及第一自适应平均池化模块，所述第二特征融合网络包括第二深度可分离卷积层模块以及第二自适应平均池化模块，所述第三特征融合网络包括第三深度可分离卷积层模块以及第三自适应平均池化模块；其中，基于所述特征融合网络对所述第四局部特征进行多尺度特征融合，得到多个不同尺度的特征融合结果，包括：基于第一深度可分离卷积层模块对第四局部特征进行第一通道的卷积处理，得到第一输出结果，并基于第一自适应平均池化模块对所述第一输出结果进行平均池化处理，得到具有第一尺度的特征融合结果；基于第二深度可分离卷积层模块对第第一输出结果进行第二通道的卷积处理，得到第
二输出结果，并基于第二自适应平均池化模块对所述第二输出结果进行平均池化处理，得到具有第二尺度的特征融合结果；基于第三深度可分离卷积层模块对第第二输出结果进行第三通道的卷积处理，得到第三输出结果，并基于第三自适应平均池化模块对所述第三输出结果进行平均池化处理，得到具有第三尺度的特征融合结果。18.根据权利要求15所述的图像识别模型的训练方法，其特征在于，所述图像质量检测结果包括图像质量清晰、图像质量一般模糊、图像质量非常模糊、图像光线的暗度值大于预设暗度值中的至少一种；其中，根据所述图像质量检测结果确定处理所述标准历史图像所需要的图像处理规则，包括：当所述图像质量检测结果为图像质量清晰时，确定处理所述标准历史图像所需要的图像处理规则为第一图像处理规则；所述第一图像处理规则为模糊处理；当所述图像质量检测结果为图像质量一般模糊时，确定处理所述标准历史图像所需要的图...

【专利技术属性】
技术研发人员：安占福，石瑞姣，郑瑞，刘宪彬，朱丹，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：