图像检索方法、装置、存储介质和电子设备制造方法及图纸

本申请实施例提供的图像检索方法、装置、存储介质和电子设备，涉及计算机技术领域。本申请实施例提供的图像检索方法，可以将待检索图像输入到已训练的图像特征提取模型中，确定出待检索图像中的图像特征，根据待匹配图像中的图像特征与预存的备选图像的图像特征之间的相似度，从备选图像中检索出与待匹配图像关联的目标图像，从而可以提高对图像进行检索的检索效率和检索精度。检索效率和检索精度。检索效率和检索精度。

【技术实现步骤摘要】
图像检索方法、装置、存储介质和电子设备


[0001]本申请实施例涉及计算机
，尤其涉及一种图像检索方法、装置、存储介质和电子设备。

技术介绍

[0002]在医疗影像审核整理、财务报销数据查重以及稽核查重等领域中，通常需要对提交的图像进行审核，防止存在重复的医疗影像或者重复报销的欺诈行为。例如，稽核部门会对公司内部大量的会议照片以及培训活动照片进行人工筛选，将相同场景的图像找出来并查看是否有重复提交。
[0003]传统方法通常是相关人员采用肉眼排查的方法进行审核，但是很多情况下，许多图像中的场景特别相似却又属于不同的场景，只有通过图像背景中的一些细节可以进行区分，在这种情况下采用肉眼的方式进行识别不仅容易区分错误，并且效率极低。此外，当涉及到的图像数量上百万上千万量级时，采用人力的方式进行审核不仅耗时耗力成本较高，而且也无法有效地从巨量的图像中查找到存在重复的问题图像。

技术实现思路

[0004]为解决相关技术中存在的技术问题，本申请实施例提供一种图像检索方法、装置、存储介质和电子设备，可以提高对图像进行检索的检索效率和检索精度。
[0005]为达到上述目的，本申请实施例的技术方案是这样实现的：
[0006]第一方面，本申请实施例提供了一种图像检索方法，所述方法包括：
[0007]将待检索图像输入已训练的图像特征提取模型的注意力网络，基于所述注意力网络确定所述待检索图像对应的多个特征信息；
[0008]对所述多个特征信息进行聚类处理，得到所述待检索图像对应的特征信息集合，并将所述特征信息集合中的特征信息进行叠加，得到所述待检索图像对应的热力图像；
[0009]将所述热力图像与所述待检索图像进行叠加，并对叠加后的图像中的注意力区域进行裁剪，得到所述待检索图像对应的注意力图像；
[0010]将所述注意力图像输入所述已训练的图像特征提取模型的特征提取网络，基于所述特征提取网络确定所述待检索图像中的图像特征；
[0011]确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的相似度；
[0012]根据所述相似度，从所述备选图像中检索出所述待匹配图像关联的目标图像。
[0013]在一种可选的实施例中，所述注意力网络包括第一卷积层、第二卷积层、池化层和全连接层；
[0014]所述将待检索图像输入已训练的图像特征提取模型的注意力网络，基于所述注意力网络确定所述待检索图像对应的多个特征信息，包括：
[0015]将所述待检索图像输入所述第一卷积层，基于所述第一卷积层获取所述待检索图像对应的特征图；
[0016]将所述特征图输入所述第二卷积层，基于所述第二卷积层获取所述待检索图像对应的多个特征向量；
[0017]将所述多个特征向量输入所述池化层，基于所述池化层得到所述待检索图像对应的多个降维特征向量；
[0018]将所述多个降维特征向量输入所述全连接层，基于所述全连接层获取所述待检索图像对应的多个特征信息。
[0019]在一种可选的实施例中，所述确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的相似度，包括：
[0020]确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的欧式距离；
[0021]根据所述欧式距离，确定所述待匹配图像中的图像特征与所述备选图像的图像特征之间的相似度。
[0022]在一种可选的实施例中，所述图像特征提取模型的训练过程，包括：
[0023]获取训练数据集；所述训练数据集中的每张样本图像均具有场景类别标签；
[0024]基于所述训练数据集，对所述图像特征提取模型包含的注意力网络和特征提取网络进行迭代训练，直到满足设定的收敛条件为止，其中，一次迭代训练过程包括：
[0025]从所述训练数据集中抽取样本图像；抽取的样本图像包括具有同一种场景类别标签的至少两张样本图像；
[0026]将抽取的至少两张样本图像输入所述注意力网络，得到所述至少两张样本图像的多个样本特征信息，并基于对所述多个样本特征信息进行聚类得到的设定数量的特征信息集合确定第一损失值；每个样本特征信息对应表征样本图像中一个区域的特征；每个特征信息集合对应至少两张样本图像中属于同一类型的区域；
[0027]根据所述第一损失值，对所述注意力网络进行参数调整；
[0028]基于所述特征信息集合，分别生成抽取的每张样本图像对应的注意力图像，并将得到的注意力图像输入所述特征提取网络，得到每张样本图像对应的样本图像特征；
[0029]分别将每张样本图像对应的样本图像特征输入用于辅助训练的分类网络，得到每张样本图像的场景类别结果，并根据每张样本图像的场景类别结果与对应的场景类别标签，确定第二损失值；
[0030]根据所述第二损失值，对所述特征提取网络进行参数调整。
[0031]在一种可选的实施例中，所述基于对所述多个样本特征信息进行聚类得到的设定数量的特征信息集合确定第一损失值，包括：
[0032]对所述多个样本特征信息进行聚类处理，得到所述样本特征信息对应的设定数量的特征信息集合；
[0033]针对每个特征信息集合，确定所述特征信息集合中作为聚类中心的第一样本特征信息以及所述特征信息集合中距离所述聚类中心最远的第二样本特征信息；
[0034]根据所述第一样本特征信息到所述第二样本特征信息的距离与预先设置的阈值，确定第一损失值。
[0035]在一种可选的实施例中，所述基于所述特征信息集合，分别生成抽取的每张样本图像对应的注意力图像，包括：
[0036]将每张样本图像对应的特征信息集合中的样本特征信息进行叠加，得到每张样本图像对应的热力图像；
[0037]将每张样本图像与对应的热力图像进行叠加，并对叠加后的图像中的注意力区域进行裁剪，得到每张样本图像对应的注意力图像。
[0038]在一种可选的实施例中，所述根据每张样本图像的场景类别结果与对应的场景类别标签，确定第二损失值，包括：
[0039]针对每张样本图像，分别执行如下操作：
[0040]将所述样本图像的场景类别结果与场景类别标签进行比对，确定分类损失值；
[0041]从所述样本图像对应的样本图像特征中选取一个样本图像特征作为对照样本图像特征，并根据所述样本图像特征所对应的特征信息集合和场景类别标签，将除所述对照样本图像特征之外的所有样本图像特征分为四类；
[0042]根据四类样本图像特征和所述对照样本图像特征，确定正样本集合和负样本集合；
[0043]根据所述正样本集合和所述负样本集合，确定多类型损失值；
[0044]将所述分类损失值和所述多类型损失值的加权和，作为所述第二损失值。
[0045]第二方面，本申请实施例还提供了一种图像检索装置，所述装置包括：
[0046]图像特征确定单元，用于将待检索图像输入已训练的图像特征提取模型的注意力网络，基于所述注意力网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，所述方法包括：将待检索图像输入已训练的图像特征提取模型的注意力网络，基于所述注意力网络确定所述待检索图像对应的多个特征信息；对所述多个特征信息进行聚类处理，得到所述待检索图像对应的特征信息集合，并将所述特征信息集合中的特征信息进行叠加，得到所述待检索图像对应的热力图像；将所述热力图像与所述待检索图像进行叠加，并对叠加后的图像中的注意力区域进行裁剪，得到所述待检索图像对应的注意力图像；将所述注意力图像输入所述已训练的图像特征提取模型的特征提取网络，基于所述特征提取网络确定所述待检索图像中的图像特征；确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的相似度；根据所述相似度，从所述备选图像中检索出所述待匹配图像关联的目标图像。2.根据权利要求1所述的检索方法，其特征在于，所述注意力网络包括第一卷积层、第二卷积层、池化层和全连接层；所述将待检索图像输入已训练的图像特征提取模型的注意力网络，基于所述注意力网络确定所述待检索图像对应的多个特征信息，包括：将所述待检索图像输入所述第一卷积层，基于所述第一卷积层获取所述待检索图像对应的特征图；将所述特征图输入所述第二卷积层，基于所述第二卷积层获取所述待检索图像对应的多个特征向量；将所述多个特征向量输入所述池化层，基于所述池化层得到所述待检索图像对应的多个降维特征向量；将所述多个降维特征向量输入所述全连接层，基于所述全连接层获取所述待检索图像对应的多个特征信息。3.根据权利要求1所述的检索方法，其特征在于，所述确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的相似度，包括：确定所述待匹配图像中的图像特征与预存的备选图像的图像特征之间的欧式距离；根据所述欧式距离，确定所述待匹配图像中的图像特征与所述备选图像的图像特征之间的相似度。4.根据权利要求1所述的检索方法，其特征在于，所述图像特征提取模型的训练过程，包括：获取训练数据集；所述训练数据集中的每张样本图像均具有场景类别标签；基于所述训练数据集，对所述图像特征提取模型包含的注意力网络和特征提取网络进行迭代训练，直到满足设定的收敛条件为止，其中，一次迭代训练过程包括：从所述训练数据集中抽取样本图像；抽取的样本图像包括具有同一种场景类别标签的至少两张样本图像；将抽取的至少两张样本图像输入所述注意力网络，得到所述至少两张样本图像的多个样本特征信息，并基于对所述多个样本特征信息进行聚类得到的设定数量的特征信息集合确定第一损失值；每个样本特征信息对应表征样本图像中一个区域的特征；每个特征信息集合对应至少两张样本图像中属于同一类型的区域；
根据所述第一损失值，对所述注意力网络进行参数调整；基于所述特征信息集合，分别生成抽取的每张样本图像对应的注意力图像，并将得到的注意力图像输入所述特征提取网络，得到每张样本图像对应的样本图像特征；分别将每张样本图像对应的样本图像特征输入用于辅助训练的分类网络，得到每张样本图像的场景类别结果，并根据每张样本图像的场景类别结果...

【专利技术属性】
技术研发人员：侯博严，李驰，刘岩，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：