图像检索方法及装置制造方法及图纸

本公开涉及图像检索方法及装置。该方法包括：获取包含查询图像和至少一个候选图像的图像组；计算所述图像组中任意两幅图像间的中间相似度；根据所述任意两幅图像间的中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度；根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像。本公开能够提高图像检索的精度和鲁棒性。

Image retrieval method and device

The present disclosure relates to image retrieval methods and devices. The method includes: acquiring an image group containing a query image and at least one candidate image; calculating the intermediate similarity between any two images in the image group; fusing multi-scale features according to the intermediate similarity between the two images to obtain the final similarity between the query image and each candidate image. A target image corresponding to the query image is determined from the candidate images according to the final similarity. This disclosure can improve the accuracy and robustness of image retrieval.

【技术实现步骤摘要】
图像检索方法及装置
本公开涉及计算机视觉
，尤其涉及一种图像检索方法及装置。
技术介绍
基于内容的图像检索(CBIR，Content-BasedImageRetrieval)是计算机视觉领域中关注大规模数字图像内容检索的研究分支。基于内容的图像检索允许用户输入一张图像，以查找具有相同或相似内容的其他图像。在相关技术中，在训练图像检索模型时，通常采用二元损失函数(pairwiseloss)、三元损失函数(tripletloss)或者四元损失函数(quadrupletloss)等损失函数。这些损失函数都是仅对中间相似度(即二元组、三元组或者四元组之间的相似度)进行约束。这样训练出来的图像检索模型进行图像检索的精度和鲁棒性较低。
技术实现思路
有鉴于此，本公开提出了一种图像检索方法及装置。根据本公开的一方面，提供了一种图像检索方法，包括：获取包含查询图像和至少一个候选图像的图像组；计算所述图像组中任意两幅图像间的中间相似度；根据所述任意两幅图像间的中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度；根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像。在一种可能的实现方式中，所述计算所述图像组中任意两幅图像间的中间相似度，包括：对所述图像组中的每幅图像分别进行多尺度特征提取，得到与每幅图像一一对应的多尺度特征向量；根据所述多尺度特征向量计算所述图像组中任意两幅图像间的中间相似度。在一种可能的实现方式中，对所述图像组中的每幅图像分别进行多尺度特征提取，得到与每幅图像一一对应的多尺度特征向量，包括：对所述每幅图像提取预定数目的多尺度特征图；将每个所述多尺度特征图规范化为预定维度的特征向量。在一种可能的实现方式中，根据所述多尺度特征向量计算所述图像组中任意两幅图像间的中间相似度，包括：将任意两幅图像对应的多尺度特征向量逐位做差，得到两个多尺度特征向量的差向量；将所述差向量逐位做平方，得到所述差向量的平方向量；对所述平方向量进行归一化处理，得到归一化向量；对所述归一化向量进行降维处理，得到所述归一化向量对应的二维向量；对所述二维向量进行归一化处理，得到所述任意两幅图像间的中间相似度。在一种可能的实现方式中，所述对所述平方向量进行归一化处理，得到归一化向量，包括：分别计算所述平方向量的均值和方差；将所述平方向量逐位减所述均值之后，除以所述方差，得到所述归一化向量。在一种可能的实现方式中，所述对所述归一化向量进行降维处理，得到所述归一化向量对应的二维向量，包括：计算所述归一化向量与预定系数矩阵的乘积，将所述乘积作为所述归一化向量对应的二维向量。在一种可能的实现方式中，所述根据所述中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度，包括：根据所述中间相似度进行最终相似度约束，得到收敛的最终相似度估计；对所述收敛的最终相似度估计进行归一化处理，得到最终相似度。在一种可能的实现方式中，在所述根据所述中间相似度进行最终相似度约束之前，还包括：根据所述中间相似度对最终相似度估计进行初始化。在一种可能的实现方式中，所述根据所述中间相似度进行最终相似度约束，包括：计算所述查询图像与所述候选图像中的第一图像之间的第一中间相似度；计算所述第一图像与所述候选图像中的第二图像之间的第二中间相似度；计算所述查询图像与所述第二图像之间的最终相似度估计；计算所述第二中间相似度与所述最终相似度估计的乘积；计算所述第一中间相似度与所述乘积的加权叠加结果；根据所述加权叠加结果更新所述查询图像与所述第一图像之间的最终相似度估计，直至所述查询图像与所述第一图像之间的最终相似度估计收敛，得到所述查询图像与所述第一图像之间的收敛的最终相似度估计。在一种可能的实现方式中，所述根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像，包括：将所述最终相似度大于预设阈值的候选图像作为所述查询图像对应的目标图像。根据本公开的另一方面，提供了一种图像检索装置，包括：获取模块，用于获取包含查询图像和至少一个候选图像的图像组；计算模块，用于计算所述图像组中任意两幅图像间的中间相似度；融合模块，用于根据所述任意两幅图像间的中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度；确定模块，用于根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像。在一种可能的实现方式中，所述计算模块包括：提取子模块，用于对所述图像组中的每幅图像分别进行多尺度特征提取，得到与每幅图像一一对应的多尺度特征向量；计算子模块，用于根据所述多尺度特征向量计算所述图像组中任意两幅图像间的中间相似度。在一种可能的实现方式中，所述提取子模块包括：提取单元，用于对所述每幅图像提取预定数目的多尺度特征图；规范单元，用于将每个所述多尺度特征图规范化为预定维度的特征向量。在一种可能的实现方式中，所述计算子模块包括：做差单元，用于将任意两幅图像对应的多尺度特征向量逐位做差，得到两个多尺度特征向量的差向量；做平方单元，用于将所述差向量逐位做平方，得到所述差向量的平方向量；第一归一化单元，用于对所述平方向量进行归一化处理，得到归一化向量；降维单元，用于对所述归一化向量进行降维处理，得到所述归一化向量对应的二维向量；第二归一化单元，用于对所述二维向量进行归一化处理，得到所述任意两幅图像间的中间相似度。在一种可能的实现方式中，所述第一归一化单元包括：计算子单元，用于分别计算所述平方向量的均值和方差；归一化子单元，用于将所述平方向量逐位减所述均值之后，除以所述方差，得到所述归一化向量。在一种可能的实现方式中，所述降维单元用于：计算所述归一化向量与预定系数矩阵的乘积，将所述乘积作为所述归一化向量对应的二维向量。在一种可能的实现方式中，所述融合模块包括：约束子模块，用于根据所述中间相似度进行最终相似度约束，得到收敛的最终相似度估计；归一化子模块，用于对所述收敛的最终相似度估计进行归一化处理，得到最终相似度。在一种可能的实现方式中，所述融合模块还包括：初始化子模块，用于根据所述中间相似度对最终相似度估计进行初始化。在一种可能的实现方式中，所述约束子模块包括：第一计算单元，用于计算所述查询图像与所述候选图像中的第一图像之间的第一中间相似度；第二计算单元，用于计算所述第一图像与所述候选图像中的第二图像之间的第二中间相似度；第三计算单元，用于计算所述查询图像与所述第二图像之间的最终相似度估计；第四计算单元，用于计算所述第二中间相似度与所述最终相似度估计的乘积；第五计算单元，用于计算所述第一中间相似度与所述乘积的加权叠加结果；确定单元，用于根据所述加权叠加结果更新所述查询图像与所述第一图像之间的最终相似度估计，直至所述查询图像与所述第一图像之间的最终相似度估计收敛，得到所述查询图像与所述第一图像之间的收敛的最终相似度估计。在一种可能的实现方式中，所述确定模块用于：将所述最终相似度大于预设阈值的候选图像作为所述查询图像对应的目标图像。根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有本文档来自技高网...

【技术保护点】
1.一种图像检索方法，其特征在，包括：获取包含查询图像和至少一个候选图像的图像组；计算所述图像组中任意两幅图像间的中间相似度；根据所述任意两幅图像间的中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度；根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像。

【技术特征摘要】
1.一种图像检索方法，其特征在，包括：获取包含查询图像和至少一个候选图像的图像组；计算所述图像组中任意两幅图像间的中间相似度；根据所述任意两幅图像间的中间相似度进行多尺度特征融合，得到所述查询图像与各个候选图像间的最终相似度；根据所述最终相似度从所述各个候选图像中确定所述查询图像对应的目标图像。2.根据权利要求1所述的方法，其特征在于，所述计算所述图像组中任意两幅图像间的中间相似度，包括：对所述图像组中的每幅图像分别进行多尺度特征提取，得到与每幅图像一一对应的多尺度特征向量；根据所述多尺度特征向量计算所述图像组中任意两幅图像间的中间相似度。3.根据权利要求2所述的方法，其特征在于，对所述图像组中的每幅图像分别进行多尺度特征提取，得到与每幅图像一一对应的多尺度特征向量，包括：对所述每幅图像提取预定数目的多尺度特征图；将每个所述多尺度特征图规范化为预定维度的特征向量。4.根据权利要求2所述的方法，其特征在于，根据所述多尺度特征向量计算所述图像组中任意两幅图像间的中间相似度，包括：将任意两幅图像对应的多尺度特征向量逐位做差，得到两个多尺度特征向量的差向量；将所述差向量逐位做平方，得到所述差向量的平方向量；对所述平方向量进行归一化处理，得到归一化向量；对所述归一化向量进行降维处理，得到所述归一化向量对应的二维向量；对所述二维向量进行归一化处理，得到所述任意两幅图像间的中间相似度。5.一种图像检索装置，其特征在于，包括：获取模块，用于获取包含查询图像和至少一个候选图像的图像组；计算模块，用于计算所述图像组中任意两幅图像间的中间相似度；融合...

【专利技术属性】
技术研发人员：陈大鹏，李鸿升，伊帅，田茂清，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44