一种图像检索方法、装置、设备及存储介质制造方法及图纸

本申请提供一种图像检索方法、装置、计算机设备及储存介质，该方法包括获取待测目标图像的置信度和检测框；提取待测目标图像的局部特征，并获取局部特征所对应的感受野；根据检测框和感受野，计算局部特征的加权比重；根据置信度，对加权后的局部特征融合得到待测目标图像的全局特征；根据全局特征进行图像检索。本方法通过获取和利用目标检测模型产生的检测置信度和检测框信息，通过提取待测目标图像的局部特征，计算感受野和检测框的交并比，并进行加权分析，再利用置信度加权融合注意力局部特征得到全局特征进行图像检索，本申请可避免裁剪多个子图像，减少背景的负面影响，提高了图像检索准确率及检索效率。

【技术实现步骤摘要】
一种图像检索方法、装置、设备及存储介质
本申请涉及图像处理
，具体涉及一种图像检索方法、装置、设备及存储介质。
技术介绍
目标检测，是一种基于目标几何和统计特征的图像定位与识别，能识别出图像中物体的类别、位置和大小。它将目标的定位和识别合二为一，目标检测作为在大量的视觉信息中来定位区域或目标的一种处理过程被应用于多项领域当中。近年来，图像检索技术广泛应用于如商品、商标、艺术品、地标建筑室内室外等检索服务中。现有技术中的较为成熟的技术一般为基于输入图像获取其图像特征，并进一步经由特征进行检索，最终输出与输入图像相似的图像。如直接将待测目标的整幅图像直接输入到神经网络中，通过检测并裁剪感兴趣目标区域而形成感兴趣的子图像，并对子图像分别提取并融合图像特征来进行检索，但是该方法一般需要使用多个神经网络独立的提取多个子图像的特征，深度神经网络应用的过程包括首先获取样本，标注样本，然后用样本来训练神经网络，让神经网络学习到样本的特征，最后在训练好的神经网络上预测新的样本。其可以对输入图像上的每个像素进行分类，可以对输出图像上从像素级别区别哪些像素是背景，哪些像素属于哪种类型的缺陷，因而其计算量大，效率不高，检索速度慢，并且一般的图像中都会带有干扰，如背景，遮挡，光照，拍摄角度等，这些都会对神经网络产生影响，成为检索目标重要的障碍，降低检索准确性。
技术实现思路
本申请实施例的目的在于提出一种图像检索方法、装置、设备及存储介质，用于解决现有技术中裁剪形成多个子图像，干扰信息多，计算量大，并且检索速度慢准确性低的技术问题。为了解决上述技术问题，本申请实施例提供一种图像检索方法，包括下述步骤：获取待测目标图像的置信度和检测框；提取所述待测目标图像的局部特征，并获取所述局部特征所对应的感受野；根据所述检测框和感受野，计算所述局部特征的加权比重；根据所述所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征；根据所述全局特征进行图像检索。进一步地，所述根据所述检测框和感受野，计算所述局部特征的加权比重的步骤，包括：根据所述检测框和感受野，计算所述局部特征的交并比；根据所述交并比，计算所述局部特征的注意得分；根据所述注意力得分计算所述局部特征的注意力权重。进一步地，根据以下公式计算所述局部特征的交并比：IOU＝|A∩B|/A∪B|；其中，IOU为所述局部特征的交并比，A为所述局部特征的感受野，B为检测框。进一步地，所述根据公式①或公式②计算所述局部特征的注意得分：a＝IOU①；a＝1-IOU②；其中，a为所述局部特征的注意得分。进一步地，所述根据所述注意力得分计算所述局部特征的注意力权重的步骤，包括：获取每个所述局部特征的注意力得分；根据每个所述局部特征的注意力得分和所有局部特征的注意力得分的占比计算每个所述局部特征的注意力权重λ：进一步地，所述根据所述注意力得分计算所述局部特征的注意力权重的步骤，还包括：根据置信度和所述局部特征的注意力得分计算每个所述局部特征的注意力权重：λ＝softmax(s*a)；其中s为所述待测目标图像的置信度。进一步地，所述根据所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征，包括：根据以下公式③获取加权后每个所述局部特征对应的注意力局部特征；根据所述置信度，通过公式④和公式⑤对所述注意力局部特征Yi进行加权融合得到全局特征：Yi＝Xi*λ③；f＝(∑|Yi|p)1/p④；p＝3s⑤；其中，Xi为所提取的局部特征，Yi为加权后的注意力局部特征，f为加权融合得到的全局特征。为了解决上述技术问题，本申请实施例还提供一种图像检索装置，包括：获取模块，用于获取待测目标图像的置信度和检测框；局部特征提取模块，用于提取所述待测目标图像的局部特征，并获取所述局部特征所对应的感受野；加权计算模块，用于根据所述检测框和感受野，计算所述局部特征的加权比重；融合模块，用于根据所述所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征；检索模块，用于根据所述全局特征进行图像检索。为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：一种计算机设备，包括存储器、处理器和网络接口，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述的图像检索方法的步骤。为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的图像检索方法的步骤。与现有技术相比，本申请实施例主要有以下有益效果：本申请实施例提供一种图像检索方法，包括获取待测目标图像的置信度和检测框；提取所述待测目标图像的局部特征，并获取所述局部特征所对应的感受野；根据所述检测框和感受野，计算所述局部特征的加权比重；根据所述所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征；根据所述全局特征进行图像检索。本申请所提供的图像检索方法通过获取和利用目标检测模型产生的检测置信度和检测框信息，通过局部特征的感受野，计算感受野和检测框的交并比，得到注意力得分图，利用注意力机制加权产生注意力局部特征，提高感兴趣目标的特征，抑制背景干扰。本申请通过利用检测置信度加权融合注意力局部特征得到全局特征进行图像检索。相较于现有技术通过检测并裁剪感兴趣目标区域而形成感兴趣的子图像，可避免裁剪多个子图像，减少背景的负面影响，提高了图像检索准确率及检索效率。附图说明为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例可以应用于其中的示例性系统架构图；图2为本申请的图像检索方法的流程示意图；图3为申请的图像检索方法的应用系统的结构示意图；图4为本申请的图像检索装置的一个实施例的结构示意图；图5是根据本申请的计算机设备的一个实施例的结构示意图。附图标记：100系统架构101、102、103终端设备104网络105服务器301目标检测模型302检索模型303局部特征提取模块304注意力模块305全局特征融合模块306检索模块4...

【技术保护点】
1.一种图像检索方法，其特征在于，包括下述步骤：/n获取待测目标图像的置信度和检测框；/n提取所述待测目标图像的局部特征，并获取所述局部特征所对应的感受野；/n根据所述检测框和感受野，计算所述局部特征的加权比重；/n根据所述所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征；/n根据所述全局特征进行图像检索。/n

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括下述步骤：
获取待测目标图像的置信度和检测框；
提取所述待测目标图像的局部特征，并获取所述局部特征所对应的感受野；
根据所述检测框和感受野，计算所述局部特征的加权比重；
根据所述所述置信度，对加权后的所述局部特征融合得到所述待测目标图像的全局特征；
根据所述全局特征进行图像检索。


2.根据权利要求1所述的图像检索方法，其特征在于，所述根据所述检测框和感受野，计算所述局部特征的加权比重的步骤，包括：
根据所述检测框和感受野，计算所述局部特征的交并比；
根据所述交并比，计算所述局部特征的注意得分；
根据所述注意力得分计算所述局部特征的注意力权重。


3.根据权利要求2所述的图像检索方法，其特征在于，根据以下公式计算所述局部特征的交并比：
IOU＝|A∩B|/|A∪B|；
其中，IOU为所述局部特征的交并比，A为所述局部特征的感受野，B为检测框。


4.根据权利要求2所述的图像检索方法，其特征在于，所述根据公式①或公式②计算所述局部特征的注意得分：
a＝IOU①；
a＝1-IOU②；
其中，a为所述局部特征的注意得分。


5.根据权利要求4所述的图像检索方法，其特征在于，所述根据所述注意力得分计算所述局部特征的注意力权重的步骤，包括：
获取每个所述局部特征的注意力得分；
根据每个所述局部特征的注意力得分和所有局部特征的注意力得分的占比计算每个所述局部特征的注意力权重λ：





6.根据权利要求4所述的图像检索方法，其特征在于，所述根据所述注意力得分计算所述局...

【专利技术属性】
技术研发人员：孔明明，
申请(专利权)人：深圳依时货拉拉科技有限公司，
类型：发明
国别省市：广东;44