图像检索模型的训练方法、装置、计算机设备及存储介质制造方法及图纸

本申请提供了一种图像检索模型的训练方法、装置、计算机设备及存储介质，属于计算机技术领域。方法包括：基于样本图像集，对图像检索模型进行第一阶段训练，得到第一图像检索模型；基于第一图像检索模型对多个样本图像的预测类别，构建多个样本三元组；基于多个样本三元组，对第一图像检索模型进行第二阶段训练，得到第二图像检索模型，第二阶段训练用于通过样本三元组中图像的局部图像描述子之间的对应关系来对图像的局部特征进行配对。上述技术方案使得样本图像的全局特征中包含更多可判别的局部信息，提高了模型的检索性能。在训练和使用模型的过程中无需引入复杂的卷积网络来提取图像的局部特征，有效减少了模型的计算开销。开销。开销。

【技术实现步骤摘要】
图像检索模型的训练方法、装置、计算机设备及存储介质


[0001]本申请涉及计算机
，特别涉及一种图像检索模型的训练方法、装置、计算机设备及存储介质。

技术介绍

[0002]在图像处理
中，图像检索是理解图像内容的一项重要技术，它通过计算目标图像的图像特征和其他图像的图像特征间的相似度，从大规模数据库中检索出与目标图像相似的图像，而目标图像的图像特征和各候选图像的图像特征通常是利用图像检索模型确定的。由于图像检索的效果由图像检索模型的准确度决定，因此，如何提高图像检索模型的准确度是一个需要解决的问题。
[0003]相关技术中，为了提高图像检索模型的准确度，在图像检索模型的训练阶段，通常设计复杂的多尺度卷积层来学习图像的局部特征，并通过特征融合模块将全局特征和局部特征融合成一种紧凑的表征来实现更精确的检索。
[0004]然而，上述方案虽然能获得较高的检索精度，但是需要引入复杂的多尺度卷积层和特征融合模块，使得模型在训练和使用阶段会带来额外的计算开销。

技术实现思路

[0005]本申请实施例提供了一种图像检索模型的训练方法、装置、计算机设备及存储介质，能够使得样本图像的全局特征中包含更多可判别的局部信息，提高了模型的检索性能。在训练和使用模型的过程中无需引入复杂的卷积网络来提取图像的局部特征，有效减少了模型的计算开销。所述技术方案如下：
[0006]一方面，提供了一种图像检索模型的训练方法，所述方法包括：
[0007]基于样本图像集，对图像检索模型进行第一阶段训练，得到第一图像检索模型，所述样本图像集包括多个样本图像和多个样本图像的类别信息，所述类别信息用于指示所述多个样本图像的真实类别，所述第一阶段训练用于通过图像的局部图像描述子来学习图像的全局特征；
[0008]基于所述第一图像检索模型对所述多个样本图像的预测类别，构建多个样本三元组，任一样本图像的样本三元组包括所述样本图像、正样本图像以及多个负样本图像，所述正样本图像的真实类别与所述样本图像相同，所述多个负样本图像的真实类别与所述样本图像不相同；
[0009]基于所述多个样本三元组，对所述第一图像检索模型进行第二阶段训练，得到第二图像检索模型，所述第二阶段训练用于通过样本三元组中图像的局部图像描述子之间的对应关系来对图像的局部特征进行配对。
[0010]另一方面，提供了一种图像检索模型的训练装置，所述装置包括：
[0011]第一训练模块，用于基于样本图像集，对图像检索模型进行第一阶段训练，得到第一图像检索模型，所述样本图像集包括多个样本图像和多个样本图像的类别信息，所述类
别信息用于指示所述多个样本图像的真实类别，所述第一阶段训练用于通过图像的局部图像描述子来学习图像的全局特征；
[0012]构建模块，用于基于所述第一图像检索模型对所述多个样本图像的预测类别，构建多个样本三元组，任一样本图像的样本三元组包括所述样本图像、正样本图像以及多个负样本图像，所述正样本图像的真实类别与所述样本图像相同，所述多个负样本图像的真实类别与所述样本图像不相同；
[0013]第二训练模块，用于基于所述多个样本三元组，对所述第一图像检索模型进行第二阶段训练，得到第二图像检索模型，所述第二阶段训练用于通过样本三元组中图像的局部图像描述子之间的对应关系来对图像的局部特征进行配对。
[0014]在一些实施例中，所述构建模块，用于对于任一样本图像，在所述样本图像的预测类别与所述样本图像的真实类别相同的情况下，对所述样本图像集的第一图像子集进行随机采样，得到所述正样本图像，所述第一图像子集包括与所述真实类别相同的多个样本图像；对所述样本图像集的第二图像子集和第三图像子集进行等概率采样，得到所述多个负样本图像，所述第二图像子集包括与所述真实类别不相同且预测类别为所述真实类别的多个样本图像，所述第三图像子集包括与所述真实类别不相同且预测类别不为所述真实类别的多个样本图像；将所述样本图像、所述正样本图像以及所述多个负样本图像组成所述样本图像的样本三元组。
[0015]在一些实施例中，所述构建模块，用于对于任一样本图像，在所述样本图像的预测类别与所述样本图像的真实类别不相同的情况下，对所述样本图像的第四图像子集进行随机采样，得到所述正样本图像，所述第四图像子集包括与所述真实类别相同且预测类别为所述真实类别的多个样本图像；对所述样本图像集的第二图像子集、第五图像子集以及第六图像子集进行等概率采样，得到所述多个负样本图像，所述第二图像子集包括与所述真实类别不相同且预测类别为所述真实类别的多个样本图像，所述第五图像子集包括与所述真实类别不相同且预测类别为预设类别的多个样本图像，所述第六图像子集包括与所述真实类别不相同且预测类别不为所述真实类别和所述预设类别的多个样本图像；将所述样本图像、所述正样本图像以及所述多个负样本图像组成所述样本图像的样本三元组。
[0016]在一些实施例中，所述第二训练模块，包括：
[0017]特征提取单元，用于对于任一样本三元组，基于所述第一图像检索模型，对所述样本图像、所述正样本图像以及所述多个负样本图像分别进行特征提取，得到所述样本图像的局部描述信息、所述正样本图像的局部描述信息以及所述多个负样本图像的局部描述信息，所述局部描述信息包括多个局部图像描述子；
[0018]预测单元，用于基于所述样本图像的局部描述信息，对所述样本图像进行类别预测，得到所述样本图像的预测损失；
[0019]损失确定单元，基于所述样本图像的局部描述信息与所述正样本图像的局部描述信息之间的差异与所述样本图像的局部描述信息与所述多个负样本图像的局部描述信息之间的差异，确定所述样本三元组的三元组损失；
[0020]更新单元，用于基于所述预测损失和所述三元组损失，对所述第一图像检索模型进行更新，得到所述第二图像检索模型。
[0021]在一些实施例中，所述损失确定单元，包括：
[0022]第一确定子单元，用于基于所述样本图像的局部描述信息和所述正样本图像的局部描述信息，确定第一空间距离，所述第一空间距离用于表示所述样本图像与所述正样本图像之间的相似程度；
[0023]第二确定子单元，用于对于任一负样本图像，基于所述样本图像的局部描述信息和所述负样本图像的局部描述信息，确定第二空间距离，所述第二空间距离用于表示所述样本图像与所述负样本图像之间的相似程度；
[0024]损失确定子单元，用于基于所述第一空间距离和所述第二空间距离，确定所述三元组损失，所述三元组损失与所述第一空间距离正相关，所述三元组损失与所述第二空间距离负相关。
[0025]在一些实施例中，所述第一确定子单元，用于对所述样本图像的局部描述信息和所述正样本图像的局部描述信息分别进行L1正则化，得到第一局部图像描述子集合和第二局部图像描述子集合，所述第一局部图像描述子集合包括所述样本图像的多个局部图像描述子，所述第二局部图像描述子集合包括所述正样本图像的多个局部图像描述子；基于所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索模型的训练方法，其特征在于，所述方法包括：基于样本图像集，对图像检索模型进行第一阶段训练，得到第一图像检索模型，所述样本图像集包括多个样本图像和多个样本图像的类别信息，所述类别信息用于指示所述多个样本图像的真实类别，所述第一阶段训练用于通过图像的局部图像描述子来学习图像的全局特征；基于所述第一图像检索模型对所述多个样本图像的预测类别，构建多个样本三元组，任一样本图像的样本三元组包括所述样本图像、正样本图像以及多个负样本图像，所述正样本图像的真实类别与所述样本图像相同，所述多个负样本图像的真实类别与所述样本图像不相同；基于所述多个样本三元组，对所述第一图像检索模型进行第二阶段训练，得到第二图像检索模型，所述第二阶段训练用于通过样本三元组中图像的局部图像描述子之间的对应关系来对图像的局部特征进行配对。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像检索模型对所述多个样本图像的预测类别，构建多个样本三元组，包括：对于任一样本图像，在所述样本图像的预测类别与所述样本图像的真实类别相同的情况下，对所述样本图像集的第一图像子集进行随机采样，得到所述正样本图像，所述第一图像子集包括与所述真实类别相同的多个样本图像；对所述样本图像集的第二图像子集和第三图像子集进行等概率采样，得到所述多个负样本图像，所述第二图像子集包括与所述真实类别不相同且预测类别为所述真实类别的多个样本图像，所述第三图像子集包括与所述真实类别不相同且预测类别不为所述真实类别的多个样本图像；将所述样本图像、所述正样本图像以及所述多个负样本图像组成所述样本图像的样本三元组。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像检索模型对所述多个样本图像的预测类别，构建多个样本三元组，包括：对于任一样本图像，在所述样本图像的预测类别与所述样本图像的真实类别不相同的情况下，对所述样本图像的第四图像子集进行随机采样，得到所述正样本图像，所述第四图像子集包括与所述真实类别相同且预测类别为所述真实类别的多个样本图像；对所述样本图像集的第二图像子集、第五图像子集以及第六图像子集进行等概率采样，得到所述多个负样本图像，所述第二图像子集包括与所述真实类别不相同且预测类别为所述真实类别的多个样本图像，所述第五图像子集包括与所述真实类别不相同且预测类别为预设类别的多个样本图像，所述第六图像子集包括与所述真实类别不相同且预测类别不为所述真实类别和所述预设类别的多个样本图像；将所述样本图像、所述正样本图像以及所述多个负样本图像组成所述样本图像的样本三元组。4.根据权利要求1所述的方法，其特征在于，所述基于所述多个样本三元组，对所述第一图像检索模型进行第二阶段训练，得到第二图像检索模型，包括：对于任一样本三元组，基于所述第一图像检索模型，对所述样本图像、所述正样本图像以及所述多个负样本图像分别进行特征提取，得到所述样本图像的局部描述信息、所述正
样本图像的局部描述信息以及所述多个负样本图像的局部描述信息，所述局部描述信息包括多个局部图像描述子；基于所述样本图像的局部描述信息，对所述样本图像进行类别预测，得到所述样本图像的预测损失；基于所述样本图像的局部描述信息与所述正样本图像的局部描述信息之间的差异与所述样本图像的局部描述信息与所述多个负样本图像的局部描述信息之间的差异，确定所述样本三元组的三元组损失；基于所述预测损失和所述三元组损失，对所述第一图像检索模型进行更新，得到所述第二图像检索模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述样本图像的局部描述信息与所述正样本图像的局部描述信息之间的差异与所述样本图像的局部描述信息与所述多个负样本图像的局部描述信息之间的差异，确定所述样本三元组的三元组损失，包括：基于所述样本图像的局部描述信息和所述正样本图像的局部描述信息，确定第一空间距离，所述第一空间距离用于表示所述样本图像与所述正样本图像之间的相似程度；对于任一负样本图像，...

【专利技术属性】
技术研发人员：高信凯，朱允全，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：