一种基于层次化特征互补的图像哈希检索方法技术

本发明专利技术公开了一种基于层次化特征互补的图像哈希检索方法，可应用于大规模的基于内容的图像检索，是一种能同时有效地提取图像的低层细节信息和高层语义信息且充分利用图像的全局特征和局部特征的算法。本发明专利技术同时提取出卷积神经网络中的低层特征图和高层特征图，可以获取图像的低层信息和高层信息，引入注意力模块，可以减少低层特征图中噪声的干扰，确保低层特征图的有效性，在卷积神经网络的高层特征图中添加多尺度特征融合，聚合不同区域的上下文信息，可以提高卷积神经网络获取局部细节信息的能力，通过对不同层次的信息进行增强后融合，可以保证模型能够充分地提取到图像丰富而复杂的内容，让哈希码能够更好地保留图像之间的相似性。

【技术实现步骤摘要】
一种基于层次化特征互补的图像哈希检索方法
本专利技术涉及计算机视觉
，尤其涉及一种基于层次化特征互补的图像哈希检索方法。
技术介绍
随着互联网、多媒体技术、大容量存储技术和智能设备的迅速发展，网络上的多媒体数据正以爆炸式的形式生成、传播和存储。在每一个时刻都会有大量的图像生成，因此，基于内容的图像检索面临的数据规模日益变大。然而传统的图像检索方法因为存在图像特征提取能力差，编码速度慢等缺点，逐渐被高效的哈希方法代替。近年来，卷积神经网络(ConvolutionalNeuralNetworks,CNN)技术被应用于图像处理、计算机视觉等相关领域，取得巨大成功。与人工设计提取算法的特征提取和匹配方式相比，卷积神经网络可以自行通过数据集进行训练，从而较完好地保存了图像的语义信息。受此启发，相关领域的研究人员也开始寻求在大规模图像检索的应用环境下，将卷积神经网络与哈希算法结合的可能性。基于深度哈希的图像检索方法研究，有助于我们完成对大规模图像的快速检索，在当前与互联网相关的各产业均寻求大数据作为支撑和增长点的背景下，具有重要的现实意义。当前大部分深度哈希算法先使用卷积神经网络提取图像特征，然后使用全连接哈希层对图像特征进行量化编码，生成二进制哈希码。在特征提取部分，绝大部分的哈希码方法使用的是AlexNet或ResNet50等层数比较多的卷积神经网络。图像经过多次的卷积以及池化后，提取到的特征图上每一个元素都有着较大的感受野，是包含丰富语义信息的高层全局特征。因为使用了包含图像全局语义信息的图像特征进行编码，这一类哈希方法的效果比传统的利用局部特征进行编码的非深度方法好。然而，在实际的应用场景中，图像的内容都是十分复杂的。一张图像中可能会包含许多的物体、动物和人，又或者是图像的关键内容只占了整张图像的小部分，在这些情况下，如果仍然只使用图像的高层全局特征进行编码，可能会导致图像的关键信息被一些次要无关的信息，如背景等信息覆盖，导致哈希模型不能对真正有效的信息进行编码。相对地，如果模型使用一些卷积层数比较少的网络，那么特征图像中每一个元素的感受野比较小，此时的特征图代表的是图像的低层局部特征，在进行量化编码时，可能会由于没有识别出图像中全局语义信息而导致检索性能的下降。相关研究表明，使用低层特征能够在图像实例检索中获得更好的结果，因为低层特征具有相对较高的分辨率，包含更多的位置和局部细节信息。然而，由于原始图像经过的卷积次数较少，导致低层特征包含的语义信息较少，噪声更多。相对地，图像经过层数较多的卷积神经网络后得到的高层全局特征具有更加丰富的语义信息，但分辨率低而且对图像细节信息的感知能力差。综上，当前的深度哈希算法在特征提取方面存在一定问题，未充分利用低层局部特征，忽略了图像的细节信息，从而导致检索精度下降。
技术实现思路
有鉴于此，本专利技术提供了一种基于层次化特征互补的图像哈希检索方法，用以有效地提取图像的低层细节信息和高层语义信息并充分利用图像的全局特征和局部特征。本专利技术提供的一种基于层次化特征互补的图像哈希检索方法，包括如下步骤：S1：将待检索图像输入到用于提取特征的卷积神经网络中；S2：截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1；S3：将所述低层特征图L输入通道注意力模块中，所述通道注意力模块对所述低层特征图L各个通道之间的语义依赖进行建模，得到特征图L2；S4：将得到的特征图L1和特征图L2相加得到特征图L3，全连接哈希层对特征图L3进行编码，生成长度为L1的低层哈希码；S5：将所述卷积神经网络的最后一层生成的特征图作为高层特征图K，分别使用多个不同大小的卷积核对高层特征图K进行卷积操作，生成多个不同尺度的特征图；S6：利用多尺度特征融合模块对生成的多个不同尺度的特征图分别进行逐点卷积，将每一个特征图的通道数降为高层特征图K通道数的1/4；S7：使用双线性插值方式对经过逐点卷积后的各个特征图进行上采样，将每一个特征图还原为与高层特征图K相同的尺度，将各个还原后的特征图以及高层特征图K进行通道方向的拼接融合，融合后的特征图包含不同子区域之间不同尺度的信息，实现局部信息和全局信息的融合；S8：对融合后的特征图使用全连接哈希层编码，生成长度为l2的高层哈希码；S9：将所述低层哈希码和所述高层哈希码进行拼接，得到长度为l1+l2的哈希码用于图像检索。在一种可能的实现方式中，在本专利技术提供的上述基于层次化特征互补的图像哈希检索方法中，步骤S2，截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1，具体包括：给定一个低层特征图L∈RC×H×W，使用两个不同的卷积层对低层特征图L进行卷积操作，生成特征图Y和特征图Z，其中，{Y,Z}∈RC×H×W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽；把特征图Y和特征图Z的维度调整为C×N，调整后得到{Y′,Z′}∈RC×N，其中，N＝H×W，表示特征图中一个通道上像素的总量；将特征图Z′的转置与Y′相乘，使用softmax函数作为激活函数，得到空间特征关系图S∈RN×N：其中，Sij表示空间特征关系图S在第i行、第j列的值，代表在特征图Y和特征图Z中对应局部特征之间的关系，Sij越大，代表两个局部特征的相似性和相关性越大，i＝1，2，...，N，j＝1，2，...，N；表示特征图Z′的转置中的第i行元素，Yj′表示特征图Y′中的第j列元素；获得空间特征关系图S后，使用均值池化层和卷积层挖掘低层特征图L在每一个空间位置上的相对权重；获得相对权重后，对低层特征图L重新赋予权重，完成空间维度上的重标定，加权公式如下：L1＝conv(avg(S))·L(2)其中，avg表示均值池化层，conv表示以sigmoid为激活函数的卷积层；式(2)对低层特征图L的空间位置进行加权，在空间维度上对低层特征图L的关键信息进行增强，得到特征图L1。在一种可能的实现方式中，在本专利技术提供的上述基于层次化特征互补的图像哈希检索方法中，步骤S3，将所述低层特征图L输入通道注意力模块中，所述通道注意力模块对所述低层特征图L各个通道之间的语义依赖进行建模，得到特征图L2，具体包括：将低层特征图L的维度调整为C×N，得到特征图L′∈RC×N，将特征图L′与特征图L′的转置相乘，使用softmax作为激活函数，得到通道特征关系图G∈RC×C：其中，Gmn表示通道特征关系图G在第m行、第n列的值，m＝1，2，...，C，n＝1，2，...，C；L′m表示特征图L′中的第m行元素，表示特征图L′的转置中的第n列元素；获得通道特征关系图G后，使用均值池化层和全连接哈希层挖掘低层特征图L在每一个通道上的相对权重；获得本文档来自技高网...

【技术保护点】
1.一种基于层次化特征互补的图像哈希检索方法，其特征在于，包括如下步骤：/nS1：将待检索图像输入到用于提取特征的卷积神经网络中；/nS2：截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L

【技术特征摘要】
1.一种基于层次化特征互补的图像哈希检索方法，其特征在于，包括如下步骤：
S1：将待检索图像输入到用于提取特征的卷积神经网络中；
S2：截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1；
S3：将所述低层特征图L输入通道注意力模块中，所述通道注意力模块对所述低层特征图L各个通道之间的语义依赖进行建模，得到特征图L2；
S4：将得到的特征图L1和特征图L2相加得到特征图L3，全连接哈希层对特征图L3进行编码，生成长度为l1的低层哈希码；
S5：将所述卷积神经网络的最后一层生成的特征图作为高层特征图K，分别使用多个不同大小的卷积核对高层特征图K进行卷积操作，生成多个不同尺度的特征图；
S6：利用多尺度特征融合模块对生成的多个不同尺度的特征图分别进行逐点卷积，将每一个特征图的通道数降为高层特征图K通道数的1/4；
S7：使用双线性插值方式对经过逐点卷积后的各个特征图进行上采样，将每一个特征图还原为与高层特征图K相同的尺度，将各个还原后的特征图以及高层特征图K进行通道方向的拼接融合，融合后的特征图包含不同子区域之间不同尺度的信息，实现局部信息和全局信息的融合；
S8：对融合后的特征图使用全连接哈希层编码，生成长度为l2的高层哈希码；
S9：将所述低层哈希码和所述高层哈希码进行拼接，得到长度为l1+l2的哈希码用于图像检索。


2.如权利要求1所述的基于层次化特征互补的图像哈希检索方法，其特征在于，步骤S2，截取所述卷积神经网络的中间层生成的特征图作为低层特征图L，将所述低层特征图L输入空间注意力模块中，所述空间注意力模块将上下文信息聚合到低层特征图L中，得到特征图L1，具体包括：
给定一个低层特征图L∈RC×H×W，使用两个不同的卷积层对低层特征图L进行卷积操作，生成特征图Y和特征图Z，其中，{Y，Z}∈RC×H×W，其中，C表示特征图的通道数，H表示特征图的高，W表示特征图的宽；把特征图Y和特征图Z的维度调整为C×N，调整后得到{Y′，Z′}∈RC×...

【专利技术属性】
技术研发人员：刘庆杰，马田瑶，许杰浩，王蕴红，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11