训练方法、图像处理方法及相关装置、设备和存储介质制造方法及图纸

本申请公开了一种训练方法、图像处理方法及相关装置、设备和存储介质，训练方法包括：利用特征提取网络对样本图像进行特征提取，得到样本图像的样本特征图；利用样本特征图，确定若干组区域组合的特征相似度，其中，样本图像包括若干局部区域，以及每组区域组合的特征相似度表示所述区域组合包括的至少两个局部区域得到的；以及，基于各组区域组合的标注信息，确定各组区域组合对应的参考关系参数，其中，各参考关系参数表示区域组合中的局部区域之间的实际差异情况；利用各组区域组合的特征相似度以及参考关系参数，调整特征提取网络的网络参数。通过该方法，提高了特征提取网络对相同的图像信息的提取准确度。同的图像信息的提取准确度。同的图像信息的提取准确度。

【技术实现步骤摘要】
预设分类的类别参数，以此可以获得目标区域组合的参考关系参数，实现了利用标 注信息来确定参考关系参数。
[0010]其中，上述的基于目标区域组合的标注信息，分别确定每个目标局部区域关于 各预设分类的类别参数，包括：分别将每个预设分类作为目标分类；对于每个目标 局部区域，统计目标局部区域中属于目标分类的像素点数量，并基于属于目标分类 的像素点数量，确定目标局部区域属于目标分类的类别参数。
[0011]因此，通过统计目标局部区域中属于目标分类的像素点数量，使得后续能够基 于属于目标分类的像素点数量确定目标局部区域属于目标分类的类别参数，实现了 利用标注信息确定类别参数。
[0012]其中，上述的利用类别参数，得到目标区域组合的参考关系参数，包括：对于 各预设分类，基于每个目标局部区域属于预设分类的类别参数，得到目标区域组合 关于预设分类的类别参数差异；基于目标区域组合关于各预设分类的类别参数差异， 得到目标区域组合的参考关系参数。
[0013]因此，通过得到目标区域组合关于预设分类的类别参数差异，以此能够基于目 标区域组合关于各预设分类的类别参数差异来得到目标区域组合的参考关系参数， 使得参考关系参数能够反映出目标区域组合中的局部区域之间的实际差异情况。
[0014]其中，上述的基于属于目标分类的像素点数量，确定目标局部区域属于目标分 类的类别参数，包括：将属于目标分类的像素点数量与目标局部区域的总像素点数 量之间的比值，作为目标局部区域属于目标分类的类别参数。
[0015]因此，通过将属于目标分类的像素点数量与目标局部区域的总像素点数量之间 的比值作为目标局部区域属于目标分类的类别参数，实现了类别参数的获取。
[0016]上述的基于每个目标局部区域属于预设分类的类别参数，得到目标区域组合关 于预设分类的类别参数差异，包括：将目标局部区域之间属于预设分类的类别参数 之差，作为目标区域组合关于预设分类的类别参数差异。
[0017]因此，通过将目标局部区域之间属于预设分类的类别参数之差作为目标区域组 合关于预设分类的类别参数差异，实现了利用类别参数确定目标区域组合关于预设 分类的类别参数差异。
[0018]其中，上述的基于目标区域组合关于各预设分类的类别参数差异，得到目标区 域组合的参考关系参数，包括：获取目标区域组合关于各预设分类的类别参数差异 的统计值；利用目标区域组合的统计值，得到目标区域组合的参考关系参数，其中， 目标区域组合的参考关系参数与目标区域组合的统计值成负相关。
[0019]因此，通过获取目标区域组合关于各预设分类的类别参数差异的统计值，并根 据目标区域组合的统计值，得到目标区域组合的参考关系参数，以此可以得到用于 区域组合中的局部区域之间的实际差异情况的参考关系参数
[0020]其中，上述的利用各组区域组合的特征相似度以及参考关系参数，调整特征提 取网络的网络参数，包括：分别将各组区域组合作为目标区域组合，利用目标区域 组合的参考关系参数，调整目标区域组合的特征相似度，得到目标区域组合的参考 特征相似度，并基于目标区域组合的参考特征相似度，得到目标区域组合的第一损 失；基于各组区域组合的第一损失，得到特征提取网络的第二损失；利用第二损失， 调整特征提取网络的网络参
数。
[0021]因此，通过利用至少一个辅助区域组合的特征相似度以及辅助关系参数，对应 得到各辅助区域组合的辅助特征相似度，进而能够基于参考特征相似度和辅助特征 相似度，得到目标区域组合对应的第一损失，以此得到特征提取网络在对相同的图 像信息进行特征提取时在特征相似度方面的损失。另外，通过利用目标区域组合的 参考特征相似度来得到目标区域组合的第一损失，进而能够基于各组区域组合的第 一损失，得到特征提取网络关于样本特征图的整体的相似度方面的第二损失，以此 能够利用第二损失，调整特征提取网络的网络参数，实现了在一张图像上应用对比 学习的方法，完成了对特征提取网络的训练。
[0022]其中，上述的利用目标区域组合的参考关系参数，调整目标区域组合的特征相 似度，得到目标区域组合的参考特征相似度，包括：将目标区域组合的参考关系参 数与目标区域组合的特征相似度的乘积，作为目标区域组合的参考特征相似度；上 述的基于目标区域组合的参考特征相似度，得到目标区域组合的第一损失，包括： 利用至少一个辅助区域组合的特征相似度以及辅助关系参数，对应得到各辅助区域 组合的辅助特征相似度，其中，辅助区域组合与目标区域组合存在至少一个相同的 局部区域，辅助区域组合的辅助关系参数是基于辅助区域组合的参考关系参数得到 的；基于参考特征相似度和辅助特征相似度，得到目标区域组合对应的第一损失。
[0023]因此，通过将目标区域组合的参考关系参数与目标区域组合的特征相似度的乘 积作为目标区域组合的参考特征相似度，实现了利用参考关系参数来对特征相似度 进行处理，使得得到的参考特征相似度能够更加准确的反映目标区域组合中各目标 局部区域之间的特征的相似度。另外，通过确定辅助区域组合，可以结合辅助区域 组合进行对比学习。
[0024]其中，上述的目标区域组合中的一个局部区域为参考区域，辅助区域组合为包 含参考区域的区域组合。
[0025]其中，上述的辅助区域组合的辅助关系参数与辅助区域组合的参考关系参数之 和为预设数值。
[0026]因此，通过将辅助区域组合的辅助关系参数与辅助区域组合的参考关系参数之 和为预设数值，使得辅助关系参数的辅助关系参数与参考关系参数成负相关关系， 使得辅助区域组合的辅助关系参数与参考关系参数能够用于表示目标区域组合中各 目标局部区域关于全部预设分类的相同方面和不相同方面。在参考关系参数用于体 现目标区域组合中各目标局部区域关于全部预设分类的相同方面时，辅助关系参数 能够表示目标区域组合中各目标局部区域关于全部预设分类的不相同方面。
[0027]其中，上述的基于参考特征相似度和辅助特征相似度，得到目标区域组合对应 的第一损失，包括：将参考特征相似度进行预设运算，得到第一运算结果；对各辅 助区域组合的辅助特征相似度分别进行预设运算，得到各辅助区域组合对应的第二 运算结果；基于第一运算结果与各辅助区域组合对应的第二运算结果之和的比值， 得到目标区域组合对应的第一损失。
[0028]其中，上述的特征提取网络为图像处理模型中的一部分，图像处理模型用于基 于样本图像的样本特征图，对样本图像进行预测。
[0029]其中，上述的特征提取网络的训练方法在图像处理模型的预训练阶段执行。
[0030]因此，通过上述的特征提取网络的训练方法应用于图像处理模型的预训练阶段 中，有助于提高预训练的效果，进而提高后续图像处理模型的训练效果。
[0031]其中，上述的区域组合的参考关系参数与区域组合中的局部区域之间的实际类 别相似程度成正相关关系。
[0032]因此，通过将区域组合的参考关系参数设置为与区域组合中的局部区域之间的 实际类别相似程度成正相关关系，以此可以通过参考关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取网络的训练方法，其特征在于，包括：利用特征提取网络对样本图像进行特征提取，得到所述样本图像的样本特征图；利用所述样本特征图，确定若干组区域组合的特征相似度，其中，所述样本图像包括若干局部区域，以及每组所述区域组合的特征相似度表示所述区域组合包括的至少两个所述局部区域的特征信息的相似度情况；以及，基于各组所述区域组合的标注信息，确定各组所述区域组合对应的参考关系参数，其中，各所述参考关系参数表示所述区域组合中的局部区域之间的实际差异情况；利用各组所述区域组合的特征相似度以及参考关系参数，调整所述特征提取网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述区域组合的标注信息包括所述区域组合的每个所述局部区域中的像素点所属的预设分类；所述基于各组所述区域组合的标注信息，确定各组所述区域组合对应的参考关系参数，包括：分别将各所述区域组合作为目标区域组合；基于所述目标区域组合的标注信息，分别确定每个目标局部区域关于各所述预设分类的类别参数，其中，所述目标局部区域为所述目标区域组合中的局部区域，关于所述预设分类的类别参数表征所述目标局部区域中属于所述预设分类的像素点情况；基于所述类别参数，得到所述目标区域组合的参考关系参数。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标区域组合的标注信息，分别确定每个目标局部区域关于各所述预设分类的类别参数，包括：分别将每个所述预设分类作为目标分类；对于每个所述目标局部区域，统计所述目标局部区域中属于所述目标分类的像素点数量，并基于属于所述目标分类的像素点数量，确定所述目标局部区域关于所述目标分类的类别参数；和/或，所述利用所述类别参数，得到所述目标区域组合的参考关系参数，包括：对于各所述预设分类，基于每个所述目标局部区域关于所述预设分类的类别参数，得到所述目标区域组合关于所述预设分类的类别参数差异；基于所述目标区域组合关于各所述预设分类的类别参数差异，得到所述目标区域组合的参考关系参数。4.根据权利要求3所述的方法，其特征在于，所述基于属于所述目标分类的像素点数量，确定所述目标局部区域关于所述目标分类的类别参数，包括：将属于所述目标分类的像素点数量与所述目标局部区域的总像素点数量之间的比值，作为所述目标局部区域关于所述目标分类的类别参数。5.根据权利要求3所述的方法，其特征在于，所述基于每个所述目标局部区域属于所述预设分类的类别参数，得到所述目标区域组合关于所述预设分类的类别参数差异，包括：将所述目标局部区域之间关于所述预设分类的类别参数之差，作为所述目标区域组合关于所述预设分类的类别参数差异；所述基于所述目标区域组合关于各所述预设分类的类别参数差异，得到所述目标区域组合的参考关系参数，包括：
获取所述目标区域组合关于各所述预设分类的类别参数差异的统计值；利用所述目标区域组合的统计值，得到所述目标区域组合的参考关系参数，其中，所述目标区域组合的参考关系参数与所述目标区域组合的统计值成负相关。6.根据权利要求1至5任一项所述的方法，其特征在于，所述利用各组所述区域组合的特征相似度以及所述参考关系参数，调整所述特征提取网络的网络参数，包括：分别将各组所述区域组合作为目标区域组合，利用所述目标区域组合的参考关系参数，调整所述目标区域组合的特征相似度，得到所述目标区域组合的参考特征相似度，并基于所述目标区域组合的参考特征相似度，得到所述目标区域组合的第一损失；基于各组所述区域组合的第一损失，得到所述特征提取网络的第二损失；利用所述第二损失，调整所述特征提取网络的网络参数。7.根据权利要求6所述的方法，其特征在于，所述利用所述目标区域组合的参考关系参数，调整所述目标区域组合的特征相似度，得到所述目标区域组合的参考特征相似度，包括：将所述目标区域组合的参考关系参数与所述目标区域组合的特征相似度的乘积，作为所述目标区域组合的参考特征相似度；所述基于所述目标区域组合的参考特征相似度，得到所述目标区域组合的第一损失，包括：利用至少一个辅助区域组合的特征相似度以及辅助关系参数，对应得到各所述辅助区域组合的辅助特征相似度，其中，所述辅助区域组合与所述目标区域组合存在至少一个相同的所述局部区域，所述辅助区域组合的辅助关系参数是基于辅助区域组合的参考关系参数得到的；基于所述参考特征相似度和辅助特征相似度，得到所述目标区域组合对应的第一损失。8.根据权利要求7所述的方法，其特征在于，所述目标区域组合中的一个所述局部区域为参考区域，所述辅助区域组合为包含所述参考区域的区域组合；和/或，所述辅助区域组合的辅助关系参数...

【专利技术属性】
技术研发人员：胡志强，刘子豪，李卓威，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：