模型训练方法、图像处理方法及相关装置制造方法及图纸

本发明专利技术涉及图像处理技术领域，提供一种模型训练方法、图像处理方法及相关装置，所述方法包括：获取带标签的第一样本图像和不带标签的第二样本图像；将第一样本图像及第二样本图像分别输入至原始模型的特征提取网络，得到第一特征图和第二特征图；将第一特征图和第二特征图输入至原始模型的注意力约束网络，得到第二特征图的强化特征图；将第一特征图及强化特征图分别输入至原始模型的回归网络，得到原始模型的第一检测结果和第二检测结果；根据第一检测结果、标签、第二检测结果及预设损失函数，对原始模型的参数进行调整，直至达到预设的训练完成条件，得到检测模型。本发明专利技术训练得到的检测模型具有较高的检测精度和泛化能力。检测模型具有较高的检测精度和泛化能力。检测模型具有较高的检测精度和泛化能力。

【技术实现步骤摘要】
模型训练方法、图像处理方法及相关装置


[0001]本专利技术涉及图像处理
，具体而言，涉及一种模型训练方法、图像处理方法及相关装置。

技术介绍

[0002]监督式学习和无监督式学习是图像处理领域中经常使用的两种机器学习策略，两者的区别在于是否需要人工参与数据的标注，即是否需要对训练数据打标签。传统的监督式学习训练需要预先收集大量数据并对其进行标注以构建训练集，然后在此基础上进行建模拟合，最后让模型预测未知数据的结果。对于难以进行人工标注类别或进行人工类别标注的成本太高或者只需要分类，并不需要识别具体类别等应用场景，传统的监督式学习适用度并不高，无监督式学习虽然避免了数据标注带来的巨大工作量，但是图像处理时进行目标检测的精度通常不能满足要求。

技术实现思路

[0003]本专利技术的目的在于提供了一种模型训练方法、图像处理方法及相关装置，其能够在模型训练时利用注意力约束机制，以加强无标签的样本图像对模型的优化，最终提高训练后得到的检测模型的检测精度。
[0004]为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种模型训练方法，所述方法包括：获取带标签的第一样本图像和不带标签的第二样本图像；将所述第一样本图像及所述第二样本图像分别输入至原始模型的特征提取网络，得到第一特征图和第二特征图；将所述第一特征图和所述第二特征图输入至所述原始模型的注意力约束网络，得到所述第二特征图的强化特征图；将所述第一特征图及所述强化特征图分别输入至所述原始模型的回归网络，得到所述原始模型的第一检测结果和第二检测结果；根据所述第一检测结果、所述标签、所述第二检测结果及预设损失函数，对所述原始模型的参数进行调整，直至达到预设的训练完成条件，得到检测模型。
[0005]进一步地，所述将所述第一特征图和所述第二特征图输入至所述原始模型的注意力约束网络，得到所述第二特征图的强化特征图的步骤包括：利用所述注意力约束网络的池化层对所述第一特征图进行池化处理，得到注意力向量；将所述注意力向量和所述第二特征图输入至所述注意力约束网络的强化层进行特征强化，得到所述第二特征图的强化特征图。
[0006]进一步地，所述利用所述注意力约束网络的池化层对所述第一特征图进行池化处理，得到注意力向量的步骤包括：
根据所述第一特征图及所述标签，从所述第一特征图中确定目标区域；将所述目标区域输入至所述注意力约束网络的池化层进行处理，得到所述注意力向量。
[0007]进一步地，所述第一样本图像包括第一原始图像和对所述第一原始图像进行翻转得到的第一翻转图像，所述第二样本图像包括第二原始图像和对所述第二原始图像进行翻转得到的第二翻转图像，所述第一检测结果包括所述第一原始图像的检测结果和所述第一翻转图像的检测结果，所述第二检测结果包括所述第二原始图像的检测结果和所述第二翻转图像的检测结果，所述预设损失函数为：，其中，表示预设损失函数，表示有监督损失函数，表示一致性损失权重函数，表示一致性损失函数，表示所述第一原始图像的标签，表示所述第一翻转图像的标签，表示所述第一原始图像的检测结果，表示所述第一翻转图像的检测结果，表示所述第二原始图像的检测结果，表示所述第二翻转图像的检测结果。
[0008]进一步地，所述第一原始图像的预测结果包括所述第一原始图像的类别预测结果和位置预测结果，所述第一翻转图像的预测结果包括所述第一翻转图像的类别预测结果和位置预测结果，所述第二原始图像的预测结果包括所述第二原始图像的类别预测结果和位置预测结果，所述第二翻转图像的预测结果包括所述第二翻转图像的类别预测结果和位置预测结果；所述有监督损失函数为：，表示有监督分类损失函数，表示有监督位置损失函数，和分别表示所述第一原始图像的类别预测结果和位置预测结果，和分别表示所述第一翻转图像的类别预测结果和位置预测结果，和分别表示所述第一原始图像的类别标签和位置标签，和分别表示所述第一翻转图像的类别标签和位置标签；所述一致性损失函数为：，其中，表示分类一致性损失函数，表示位置一致性损失函数；和分别表示所述第二原始图像的类别预测结果和位置预测
结果，和分别表示所述第二翻转图像的类别预测结果和位置预测结果；所述分类一致性损失函数为：，其中，表示求均值，表示和之间的詹森香农JS散度，表示和之间的詹森香农JS散度；所述位置一致性损失函数为：，其中，表示和之间的位置一致性损失，表示和之间的位置一致性损失。
[0009]第二方面，本专利技术实施例提供了一种图像处理方法，所述方法包括：获取包含目标图像的待处理图像；将所述待处理图像输入检测模型，所述检测模型是通过第一方面中的模型训练方法进行训练得到的，所述检测模型包括特征提取网络和回归网络；利用所述检测模型的特征提取网络，得到特征图像；利用所述检测模型的回归网络对所述特征图像进行目标检测，以检测出所述目标图像。
[0010]第三方面，本专利技术实施例还提供了一种模型训练装置，所述装置包括：样本获取模块，获取带标签的第一样本图像和不带标签的第二样本图像；训练模块，用于将所述第一样本图像及所述第二样本图像分别输入至原始模型的特征提取网络，得到第一特征图和第二特征图；所述训练模块，还用于将所述第一特征图和所述第二特征图输入至所述原始模型的注意力约束网络，得到所述第二特征图的强化特征图；所述训练模块，还用于将所述第一特征图及所述强化特征图分别输入至所述原始模型的回归网络，得到所述原始模型的第一检测结果和第二检测结果；所述训练模块，还用于根据所述第一检测结果、所述标签、所述第二检测结果及预设损失函数，对所述原始模型的参数进行调整，直至达到预设的训练完成条件，得到检测模型。
[0011]第四方面，本专利技术实施例还提供了一种图像处理装置，所述装置包括：图像获取模块，用于获取包含目标图像的待处理图像；处理模块，用于将所述待处理图像输入检测模型，利用所述检测模型的特征提取网络，得到特征图像，所述检测模型是通过第一方面中的模型训练方法进行训练得到的，所述检测模型包括特征提取网络和回归网络；所述处理模块，还用于利用所述检测模型的回归网络对所述特征图像进行目标检测，以检测出所述目标图像。
[0012]第五方面，本专利技术实施例还提供了一种电子设备，包括处理器和存储器；所述存储器用于存储程序；所述处理器用于在执行所述程序时，实现上述第一方面中的模型训练方法和/或上述第二方面中的图像处理方法。
[0013]第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中的模型训练方法和/或上述第二方面中的图像处理方法。
[0014]相对于现有技术，本专利技术实施例提供的一种模型训练方法、图像处理方法及相关装置，通过对带标签的第一样本图像和不带标签的第二样本图像分别提取第一特征图和第二特征图，再将第一特征图和第二特征图输入至原始模型的注意力约束网络，得到第二特征图的强化特征图，最终将第一特征图和强化特征图分别输入回归网络，得到第一检测结果和第二检测结果，根据第一检测结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取带标签的第一样本图像和不带标签的第二样本图像；将所述第一样本图像及所述第二样本图像分别输入至原始模型的特征提取网络，得到第一特征图和第二特征图；将所述第一特征图和所述第二特征图输入至所述原始模型的注意力约束网络，得到所述第二特征图的强化特征图；将所述第一特征图及所述强化特征图分别输入至所述原始模型的回归网络，得到所述原始模型的第一检测结果和第二检测结果；根据所述第一检测结果、所述标签、所述第二检测结果及预设损失函数，对所述原始模型的参数进行调整，直至达到预设的训练完成条件，得到检测模型。2.如权利要求1所述的模型训练方法，其特征在于，所述将所述第一特征图和所述第二特征图输入至所述原始模型的注意力约束网络，得到所述第二特征图的强化特征图的步骤包括：利用所述注意力约束网络的池化层对所述第一特征图进行池化处理，得到注意力向量；将所述注意力向量和所述第二特征图输入至所述注意力约束网络的强化层进行特征强化，得到所述第二特征图的强化特征图。3.如权利要求2所述的模型训练方法，其特征在于，所述利用所述注意力约束网络的池化层对所述第一特征图进行池化处理，得到注意力向量的步骤包括：根据所述第一特征图及所述标签，从所述第一特征图中确定目标区域；将所述目标区域输入至所述注意力约束网络的池化层进行处理，得到所述注意力向量。4.如权利要求1所述的模型训练方法，其特征在于，所述第一样本图像包括第一原始图像和对所述第一原始图像进行翻转得到的第一翻转图像，所述第二样本图像包括第二原始图像和对所述第二原始图像进行翻转得到的第二翻转图像，所述第一检测结果包括所述第一原始图像的检测结果和所述第一翻转图像的检测结果，所述第二检测结果包括所述第二原始图像的检测结果和所述第二翻转图像的检测结果，所述预设损失函数为：其中，表示预设损失函数，表示有监督损失函数，表示一致性损失权重函数，表示一致性损失函数，表示所述第一原始图像的标签，表示所述第一翻转图像的标签，表示所述第一原始图像的检测结果，表示所述第一翻转图像的检测结果，表示所述第二原始图像的检测结果，表示所述第二翻转图像的检测结果。5.如权利要求4所述的模型训练方法，其特征在于，所述第一原始图像的预测结果包括所述第一原始图像的类别预测结果和位置预测结果，所述第一翻转图像的预测结果包括所
述第一翻转图像的类别预测结果和位置预测结果，所述第二原始图像的预测结果包括所述第二原始图像的类别预测结果和位置预测结果，所述第二翻转图像的预测结果包括所述第二翻转图像的类别预测结果和位置预测结果；所述有监督损失函数为：，表示有监督分类损失函数，表示有监督位置损失函数，和分别表示所述第一原始图像的类别预测结果和位置预测结果，和分别表示所述第一翻转图像的类别预测结果和位置...

【专利技术属性】
技术研发人员：孟慧，余子牛，谷宁波，李青锋，牛建伟，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：