图像检索模型训练方法和装置制造方法及图纸

技术编号:39745492 阅读:9 留言:0更新日期:2023-12-17 23:44
提出了一种图像检索模型训练方法和装置

【技术实现步骤摘要】
图像检索模型训练方法和装置、计算设备及存储介质


[0001]本公开涉及计算机
,更具体地涉及一种图像检索模型训练方法和装置、计算设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在互联网技术快速发展的时代,随着深度学习的发展,图像检索技术已经在许多领域(例如目标检测领域)中得到了广泛应用。图像检索技术是一种使用计算机和图像处理技术来查找、检索与图像特征数据库中已有图像特征类似的新图像的应用领域,其可以对图像进行目标检测以提取出图像中的目标信息,并与图像特征数据库中的目标信息进行比对,找到最相似的目标或图像。
[0003]然而,在相关技术的图像检索系统或模型的训练方法中,由于训练数据集本身各种因素的影响,所得到的图像检索系统或模型的表征学习能力不强,最终提取的对象特征通常缺乏鲁棒性并缺少辨识度,从而使得图像检索泛化能力较弱,图像检索的准确率变差。

技术实现思路

[0004]有鉴于此,本公开提供了一种图像检索模型训练方法和装置、计算设备、计算机可读存储介质及计算机程序产品,从而缓解、减轻或甚至消除上述问题中的一些或全部以及其它可能的问题。
[0005]根据本公开的一个方面,提出了一种图像检索模型训练方法,其包括:获取训练数据集,所述训练数据集包括涉及多个对象的多个图像,每一个图像包括所述多个对象中的至少一个对象;将所述训练数据集中每一个图像输入所述图像检索模型的第一子模型,以提取每一个图像中各个对象在该图像中的全局特征向量;针对所述训练数据集中每一个图像,将该图像中每一个对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,其中所述第一特征向量表示对象属性相关特征,所述第二特征向量表示对象环境相关特征,并且所述第一特征向量和所述第二特征向量的维度之和等于所述全局特征向量的维度;针对所述训练数据集中每一个图像,基于该图像中每一个对象的第一特征向量和第二特征向量之间的相似度计算第一损失;至少基于所述训练数据集中每一个图像对应的第一损失,确定所述图像检索模型的目标损失;基于所述目标损失,对所述图像检索模型的参数进行迭代更新直至满足预设训练结束条件。
[0006]根据本公开一些实施例,所述方法进一步包括:针对所述多个图像中每一个图像,将该图像中每一个对象的全局特征向量输入所述图像检索模型的第二子模型,以输出该对象在该图像中的对象标识符;针对所述多个对象中每一个对象,根据该对象在所述训练数据集的涉及该对象的各个图像中的全局特征向量及其相应的对象标识符,更新对象总体特征库,该对象总体特征库包括所述多个对象中每个对象的总体对象标识符及其总体特征向量;并且其中,所述针对所述训练数据集中每一个图像,将该图像中每一个对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,包括:根据当前训练轮次的前一次
训练轮次得到的对象总体特征库中每一个对象的总体特征向量的多分类操作,确定所述多个对象中每一个对象对应的全局特征向量的维度权重向量;针对所述训练数据集中每一个图像,根据该图像中每一个对象对应的特征维度权重向量,将该对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量。
[0007]根据本公开一些实施例,所述每一个对象对应的全局特征向量的维度权重向量中各个权重分量为0或1,并且其中,所述针对所述训练数据集中每一个图像,根据该图像中每一个对象对应的特征维度权重向量,将该对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,包括:针对每一个图像中每一个对象,依据该对象的全局特征向量中对应于权重分量为1的各个维度,形成第一特征向量;针对每一个图像中每一个对象,依据该对象的全局特征向量中对应于权重分量为0的各个维度,形成第二特征向量。
[0008]根据本公开一些实施例,所述针对所述训练数据集中每一个图像,基于该图像中每一个对象的第一特征向量和第二特征向量之间的相似度计算第一损失,包括:针对所述训练数据集中每一个图像中每一个对象,执行下述步骤:计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个;基于第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,确定第一特征向量与第二特征向量之间的相似度;计算第一特征向量与第二特征向量之间的相似度的F

范数,以确定所述第一损失。
[0009]根据本公开一些实施例,所述计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,包括:利用核方法将第一特征向量和第二特征向量分别投影到再生核希尔伯特空间,以获得分别与第一特征向量和第二特征向量对应的第一投影向量和第二投影向量;计算第一投影向量和第二投影向量之间的协方差,以得到第一特征向量和第二特征向量的非线性相似度。
[0010]根据本公开一些实施例,所述计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,包括:计算第一特征向量与第二特征向量的余弦相似度和欧式距离中至少一个;根据第一特征向量与第二特征向量的余弦相似度和欧式距离中至少一个,确定第一特征向量与第二特征向量的线性相似度。
[0011]根据本公开一些实施例,所述至少基于所述训练数据集中每一个图像对应的第一损失,确定所述图像检索模型的目标损失,包括:针对所述多个图像中每一个图像,识别该图像中第一对象集合中的各个对象的对象标识符标签,所述第一对象集合包括该图像中所有对象中的至少一部分对象;针对所述多个图像中每一个图像,响应于作为全体对象集合与所述第一对象集合的差集的第二对象集合为非空集,将第二对象集合中该图像涉及的每一个对象在该图像中的全局特征向量与所述对象总体特征库中的每一个总体特征向量进行匹配,以根据对象总体特征库中每个对象的总体对象标识符向第二对象集合中每一个对象分配对象标识符标签;针对所述训练数据集中每一个图像,基于所述图像检索模型输出的该图像中每一个对象的对象标识符与该对象的对象标识符标签之间的差异,计算第二损失;至少基于每一个图像对应的第一损失和第二损失,确定所述图像检索模型的目标损失。
[0012]根据本公开一些实施例,所述针对所述多个图像中每一个图像,响应于作为全体对象集合与所述第一对象集合的差集的第二对象集合为非空集,将第二对象集合中该图像涉及的每一个对象在该图像中的全局特征向量与所述对象总体特征库中的每一个总体特征向量进行匹配,以根据对象总体特征库中每个对象的总体对象标识符向第二对象集合中
每一个对象分配对象标识符标签,包括:针对所述多个图像中每一个图像,响应于作为全体对象集合与所述第一对象集合的差集的第二对象集合为非空集,执行下述步骤:针对所述第二对象集合中该图像所涉及的每一个对象,计算该对象的全局特征向量与对象总体特征库中每一个总体特征向量的线性相似度;针对所述第二对象集合中该图像所涉及的每一个对象,基于该对象的全局特征向量与对象总体特征库中每一个总体特征向量的线性相似度,确定该对象的对象标识符标签。
[0013]根据本公开一些实施例,所述针对所述第二对象集合中该图像所涉及的每一个对象,计算该对象本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种图像检索模型训练方法,其特征在于,所述方法包括:获取训练数据集,所述训练数据集包括涉及多个对象的多个图像,每一个图像包括所述多个对象中的至少一个对象;将所述训练数据集中每一个图像输入所述图像检索模型的第一子模型,以提取每一个图像中各个对象在该图像中的全局特征向量;针对所述训练数据集中每一个图像,将该图像中每一个对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,其中所述第一特征向量表示对象属性相关特征,所述第二特征向量表示对象环境相关特征,并且所述第一特征向量和所述第二特征向量的维度之和等于所述全局特征向量的维度;针对所述训练数据集中每一个图像,基于该图像中每一个对象的第一特征向量和第二特征向量之间的相似度计算第一损失;至少基于所述训练数据集中每一个图像对应的第一损失,确定所述图像检索模型的目标损失;基于所述目标损失,对所述图像检索模型的参数进行迭代更新直至满足预设训练结束条件。2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:针对所述多个图像中每一个图像,将该图像中每一个对象的全局特征向量输入所述图像检索模型的第二子模型,以输出该对象在该图像中的对象标识符;针对所述多个对象中每一个对象,根据该对象在所述训练数据集的涉及该对象的各个图像中的全局特征向量及其相应的对象标识符,更新对象总体特征库,该对象总体特征库包括所述多个对象中每个对象的总体对象标识符及其总体特征向量;并且其中,所述针对所述训练数据集中每一个图像,将该图像中每一个对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,包括:根据当前训练轮次的前一次训练轮次得到的对象总体特征库中每一个对象的总体特征向量的多分类操作,确定所述多个对象中每一个对象对应的全局特征向量的维度权重向量;针对所述训练数据集中每一个图像,根据该图像中每一个对象对应的特征维度权重向量,将该对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量。3.根据权利要求2所述的方法,其特征在于,所述每一个对象对应的全局特征向量的维度权重向量中各个权重分量为0或1,并且其中,所述针对所述训练数据集中每一个图像,根据该图像中每一个对象对应的特征维度权重向量,将该对象在该图像中的全局特征向量拆分为第一特征向量和第二特征向量,包括:针对每一个图像中每一个对象,依据该对象的全局特征向量中对应于权重分量为1的各个维度,形成第一特征向量;针对每一个图像中每一个对象,依据该对象的全局特征向量中对应于权重分量为0的各个维度,形成第二特征向量。4.根据权利要求1所述的方法,其特征在于,所述针对所述训练数据集中每一个图像,基于该图像中每一个对象的第一特征向量和第二特征向量之间的相似度计算第一损失,包
括:针对所述训练数据集中每一个图像中每一个对象,执行下述步骤:计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个;基于第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,确定第一特征向量与第二特征向量之间的相似度;计算第一特征向量与第二特征向量之间的相似度的F

范数,以确定所述第一损失。5.根据权利要求4所述的方法,其特征在于,所述计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,包括:利用核方法将第一特征向量和第二特征向量分别投影到再生核希尔伯特空间,以获得分别与第一特征向量和第二特征向量对应的第一投影向量和第二投影向量;计算第一投影向量和第二投影向量之间的协方差,以得到第一特征向量和第二特征向量的非线性相似度。6.根据权利要求4或5所述的方法,其特征在于,所述计算第一特征向量和第二特征向量的线性相似度和非线性相似度中至少一个,包括:计算第一特征向量与第二特征向量的余弦相似度和欧式距离中至少一个;根据第一特征向量与第二特征向量的余弦相似度和欧式距离中至少一个,确定第一特征向量与第二特征向量的线性相似度。7.根据权利要求2所述的方法,其特征在于,所述至少基于所述训练数据集中每一个图像对应的第一损失,确定所述图像检索模型的目标损失,包括:针对所述多个图像中每一个图像,识别该图像中第一对象集合中的各个对象的对象标识符标签,所述第一对象集合包括该图像中所有对象中的至少一部分对象;针对所述多个图像中每一个图像,响应于作为全体对象集合与所述第一对象集合的差集的第二对象集合为非空集,将第二对象集合中该图像涉及的每一个对象在该图像中的全局特征向量与所述对象总体特征库中的每一个总体特征向量进行匹配,以根据对象总体特征库中每个对象的总体对象标识符向第二对象集合中每一个对象分配对象标识符标签;针对所述训练数据集中每一个图像,基于所述图像检索模型输出的该图像中每一个对象的对象标识符与该对象的对象标识符标签之间的差异,计算第二损失;至少基于每一个图像对应的第一损失和第二损失,确定所述图像检索模型的目标损失。8.根据权利要求7所述的方法,其特征在于,所述针对所述多个图像中每一个图像,响应于作为全体对象集合与所述第一对象集合的差集的第二对象集合为非空集,将第二对象集合中该图像涉及的每一个对象在该图像中的全局特征向量与所述对...

【专利技术属性】
技术研发人员:李俊杰王冠朔晏轶超俞福福贾琼丁守鸿
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1