一种图像检索方法及装置制造方法及图纸

本发明专利技术实施例提供一种图像检索方法及装置。该方法包括：通过待检索图像的深度图，确定待检索图像的第一特征向量；从候选图像集中确定出与第一特征向量满足第一相似度要求的各第二特征向量对应的各目标候选图像；候选图像集中包括针对不同对象从不同角度进行拍摄的各候选图像；从各目标候选图像中确定出与待检索图像的第三特征向量满足第二相似度要求的目标候选图像作为待检索图像的目标图像；第三特征向量是基于待检索图像的颜色RGB图确定的。基于不同角度的候选图像进行图像检索减少了拍摄角度对图像检索的影响。基于待检索图像的颜色RGB图提取第三特征向量。两次筛选兼顾不同的图像信息，提高图像检索准确性。提高图像检索准确性。提高图像检索准确性。

【技术实现步骤摘要】
一种图像检索方法及装置


[0001]本专利技术实施例涉及计算机视觉
，尤其涉及一种图像检索方法、装置、计算设备及计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
[0003]随着近年来计算机、互联网、多媒体的迅猛发展，世界上有着愈来愈多的海量图像数据。图像检索功能的推出极大地拓宽了检索的范围，提高了检索的准确率。图像检索广泛应用在各种领域，如搜索引擎、电商平台、安防、信息认证领域等。例如，在失物招领系统中，用户输入一张丢失的物品的图像作为待检索图像，系统在库中检索到可能为该物品的图像展示给用户，或者将可能为该物品的图像的标识展示给用户。
[0004]图像检索的核心是比较待检索图像和候选图像集中的各候选图像的相似度，现有的确定两张图像的相似度的方法没有考虑到拍摄角度的影响，导致即便是同一物品的两张图像，相似度也较低。
[0005]综上，本专利技术实施例提供一种图像检索方法，用以提高图像检索的准确率。

技术实现思路

[0006]本专利技术实施例提供一种图像检索方法，用以提高图像检索的准确率。
[0007]第一方面，本专利技术实施例提供一种图像检索方法，包括：
[0008]通过待检索图像的深度图，确定所述待检索图像的第一特征向量；
[0009]从候选图像集中确定出与所述第一特征向量满足第一相似度要求的各第二特征向量对应的各目标候选图像；所述候选图像集中包括针对不同对象从不同角度进行拍摄的各候选图像；
[0010]从各目标候选图像中，确定出与所述待检索图像的第三特征向量满足第二相似度要求的目标候选图像作为所述待检索图像的目标图像；所述第三特征向量是基于所述待检索图像的颜色RGB图确定的。
[0011]图像的深度图可以反映图像中各点在物理世界中距离摄像机的距离，可以反映图像中的对象的立体特征。在上述方法中，通过待检索图像的深度图确定第一特征向量，因此得到的第一特征向量能够反映待检索图像中的对象的形状信息，考虑到了拍摄角度的影响。将第一特征向量先与候选图像集中的各候选图像的特征向量进行相似度的比较，确定满足第一相似度要求的各目标候选图像，如此得到的各目标候选图像的准确率较高。并且，由于候选图像集中包括针对不同对象从不同角度进行拍摄的各候选图像，那么基于这些不同角度的候选图像进行图像检索，进一步减少了拍摄角度对图像检索的影响。在通过深度图进行第一次筛选后，由于深度图不反映颜色信息，因此为了提高图像检索的准确性，基于
待检索图像的颜色RGB图再次提取第三特征向量，通过第三特征向量与各目标候选图像进行相似度的比较，从而确定目标图像。如此，在第一次筛选的基础上，进行第二次筛选，两次筛选兼顾了不同的图像信息，提高了图像检索的准确性。
[0012]可选地，通过待检索图像的深度图，确定所述待检索图像的第一特征向量，包括：
[0013]通过待检索图像的深度图，确定所述深度图中每个采样点的法向量；所述法向量用于表征采样点的朝向信息；
[0014]基于各采样点的法向量，确定所述深度图的法向量直方图；所述法向量直方图用于表征各采样点的朝向信息的分布状态；
[0015]根据所述法向量直方图，得到所述第一特征向量。
[0016]深度图中每个采样点的法向量可以反映该采样点的朝向信息，根据每个采样点的朝向信息得到的法向量直方图可以反映朝向信息的分布状态，也就是说，可以获取待检索图像中的对象的立体特征、形状信息。从而可以避免拍摄角度的不同对图像检索准确率的干扰。
[0017]可选地，通过待检索图像的深度图，确定所述深度图中每个采样点的法向量，包括：
[0018]对所述待检索图像的深度图进行采样，得到各第一采样点；
[0019]针对每个第一采样点，按照预设规则从所述深度图中确定出第二采样点和第三采样点；根据所述第一采样点的深度向量、所述第二采样点的深度向量和所述第三采样点的深度向量，确定所述第一采样点的法向量。
[0020]通过上述方法可以确定每个采样点的法向量，那么就可准确地反映各采样点的朝向信息。
[0021]可选地，基于各采样点的法向量，确定所述深度图的法向量直方图，包括：
[0022]将所述深度图划分为多个区域，针对任一区域，根据所述区域中各采样点的法向量确定所述区域中具有不同朝向信息的各采样点的分布状态；
[0023]根据多个区域的具有不同朝向信息的各采样点的分布状态，确定所述深度图的法向量直方图。
[0024]将深度图划分为多个区域，对各区域分别获取具有不同朝向信息的各采样点的分布状态。根据多个区域的具有不同朝向信息的各采样点的分布状态，确定深度图的法向量直方图。如此，可以在一定程度上模糊一些图像的深度信息，不至于使图像检索的敏感度太高，而不容易将表示相同对象的图像识别出来。因此，提高了图像检索的准确性。同时，每个区域确定的具有不同朝向信息的各采样点的分布状态可以反映该区域的拍摄的对象的形状信息，各区域进行整合后又可以反映出整个待检索图像中的不同区域的对象的形状信息。因此采样上述方法，可以克服角度变化带来干扰导致图像检索不准确的问题，提升了检索的准确率。
[0025]可选地，根据所述区域中各采样点的法向量确定所述区域中具有不同朝向信息的各采样点的分布状态，包括：
[0026]针对所述区域中任一采样点的法向量，确定所述法向量与第一坐标轴所成的第一夹角，以及所述法向量与第二坐标轴所成的第二夹角；对所述第一夹角和所述第二夹角进行桶化binning处理后，得到所述法向量的表征值；
[0027]根据所述区域中各采样点的法向量的表征值，确定所述区域中不同表征值的分布状态。
[0028]将法向量与第一坐标轴所成的第一夹角、与第二坐标轴所成的第二夹角，进行桶化处理后，得到法向量的表征值，如此，第一夹角和第二夹角的数值范围进行了简化，这样确定出来的采样点的朝向信息的数值范围也会相应简化，而不是取值范围很广泛的数值。那么在后续通过进行图像检索时，可以降低敏感度，不至于将本来表示为同一物体的两张图像确认为相似度较低的图像。
[0029]可选地，确定出与所述待检索图像的第三特征向量满足第二相似度要求的目标候选图像，包括：
[0030]基于所述深度图中的深度信息，生成深度权重图；
[0031]将所述RGB图与所述深度权重图分别输入至双塔结构的神经网络模型的第一分支和第二分支，其中，所述第一分支中的各卷积层基于所述第二分支在每一层产生的注意力权重对所述RGB图进行特征提取，从而生成所述待检索图像的第三特征向量；
[0032]计算所述第三特征向量与任一所述目标候选图像的第四特征向量之间的相似度，从而确定相似度满足第二相似度要求的目标候选图像。
[0033]图像检索中，背景对于检索的成功率也有很大的影响，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：通过待检索图像的深度图，确定所述待检索图像的第一特征向量；从候选图像集中确定出与所述第一特征向量满足第一相似度要求的各第二特征向量对应的各目标候选图像；所述候选图像集中包括针对不同对象从不同角度进行拍摄的各候选图像；从各目标候选图像中，确定出与所述待检索图像的第三特征向量满足第二相似度要求的目标候选图像作为所述待检索图像的目标图像；所述第三特征向量是基于所述待检索图像的颜色RGB图确定的。2.如权利要求1所述的方法，其特征在于，通过待检索图像的深度图，确定所述待检索图像的第一特征向量，包括：通过待检索图像的深度图，确定所述深度图中每个采样点的法向量；所述法向量用于表征采样点的朝向信息；基于各采样点的法向量，确定所述深度图的法向量直方图；所述法向量直方图用于表征各采样点的朝向信息的分布状态；根据所述法向量直方图，得到所述第一特征向量。3.如权利要求2所述的方法，其特征在于，通过待检索图像的深度图，确定所述深度图中每个采样点的法向量，包括：对所述待检索图像的深度图进行采样，得到各第一采样点；针对每个第一采样点，按照预设规则从所述深度图中确定出第二采样点和第三采样点；根据所述第一采样点的深度向量、所述第二采样点的深度向量和所述第三采样点的深度向量，确定所述第一采样点的法向量。4.如权利要求2所述的方法，其特征在于，基于各采样点的法向量，确定所述深度图的法向量直方图，包括：将所述深度图划分为多个区域，针对任一区域，根据所述区域中各采样点的法向量确定所述区域中具有不同朝向信息的各采样点的分布状态；根据多个区域的具有不同朝向信息的各采样点的分布状态，确定所述深度图的法向量直方图。5.如权利要求4所述的方法，其特征在于，根据所述区域中各采样点的法向量确定所述区域中具有不同朝向信息的各采样点的分布状态，包括：针对所述区域中任一采样点的法向量，确定所述法向量与第一坐标轴所成的第一夹角，以及所述法向量与第二坐标轴所成的第二夹角；对所述第一夹角和所述第二夹角进行...

【专利技术属性】
技术研发人员：裴勇，杨启城，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：