基于空间重要性的深度加权哈希学习方法技术

本发明专利技术提供了一种基于空间重要性的深度加权哈希学习方法，包括以下步骤：(1)空间重要性提取：构造深度空间重要性学习模型得到图像的重要性和非重要性区域；(2)重要性区域和非重要性区域的哈希学习：对图像的重要和非重要区域放入不同的深度卷积神经网络学习哈希码，把两类哈希码结合起来作为最终的哈希表示。与现有技术相比，本发明专利技术实现图像不同区域的分层次哈希码学习，根据不同区域的重要性进行哈希编码，最终融合成图像的哈希码，本发明专利技术体现了图像不同部分对哈希学习的影响作用，提高了哈希检索的精度。

Deep weighted hash learning method based on spatial importance

【技术实现步骤摘要】
基于空间重要性的深度加权哈希学习方法
本专利技术涉及一种基于空间重要性的深度加权哈希学习方法，属于多媒体信号处理、大数据检索

技术介绍
随着近年来互联网、云计算、社交媒体以及其他信息技术的迅速发展，人们能够更加便捷地使用传感器，这使得通过传感器上传的数据包括大量的图像和视频。中国移动研究院的一份简报中称，人类在2011年创造的数据达到180亿吉字节(GB)，且每年还在以高于60％的速度增长，预计到2020年，全球每年产生的数据将达到350万亿吉字节(GB)。这些数据如何处理已成为亟待解决的问题，而其中如何比较这些数据的相似性就是一个重要难点，最近搜索方法应运而生。传统的最近邻搜索根据数据的相似性，从数据库中寻找与目标数据最相似的项目。这种相似性通常会被量化到空间上数据之间的距离，可以认为数据在空间中的距离越近，则数据之间的相似性越高。但是随着图像采集设备的不断升级，最近邻搜索在处理维度较高的数据时速度慢的特点难以满足人们的需求，即传统的检索方法无法获得理想的检索效果，无法在可接受的时间内检索到结果。迫切需要寻求一种方法来解决最近邻方法在检索问题上的不足，近似最近邻检索方法在检索速度上的突出表现引起了研究人员的注意。近似最近邻检索利用数据量增大后数据之间会形成簇状聚集分布的特性，通过对数据分析聚类的方法对数据库中的数据进行分类或编码，对于目标数据根据其数据特征预测其所属的数据类别，返回类别中的部分或全部作为检索结果。而近似最近邻检索的核心思想就是搜索可能是近邻的数据项而不再只局限于返回最可能的项目，在牺牲可接受范围内的精度的情况下提高检索效率，这使得在可接受的时间范围内也能获得令人满意的效果。哈希作为近似最近邻检索技术的一种方法，将可视空间的高维数据映射到海明空间的紧凑型二进制代码中。由于哈希具有出色的存储容量和高效的计算能力，引起了研究人员的广泛关注。
技术实现思路
本专利技术从对图像识别的贡献度的角度考虑空间重要性信息，也就是说，如果某个像素位置的数据能够对图像的识别有较大的帮助，我们就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低。基于对上述空间重要性信息的研究和利用，本专利技术提出了一种基于空间重要性的深度加权哈希学习方法，提升了哈希学习的性能。与现有哈希技术相比，本专利技术可以学习得到空间重要性信息并利用它学习哈希码，提高了利用哈希技术进行大数据检索的效率和精确性。现有的文献和技术中，并没有出现利用空间重要性信息加权得到哈希码的技术和方法。本专利技术采用的技术方案为：一种基于空间重要性的深度加权哈希学习方法，其特征在于该方法包括以下步骤：(1)利用深度网络学习空间重要性信息：构造深度空间重要性学习模型，即将图像送入深度网络，深度网络根据图像的像素位置对图像分类的敏感程度以及图像的分类标签信息学习得到图像的空间重要性信息，所述空间重要性信息是表征原始图像中每个像素位置的数据对于整个图像的识别的贡献度的信息，如果某个像素位置的数据能够对图像的识别有较大的帮助，就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低；(2)重要性区域和非重要性区域的哈希学习，具体步骤为：①通过步骤(1)得到的重要性信息以及原图像，生成图像的重要性区域和图像的非重要性区域；②将图像的重要性区域和图像的非重要性区域放入两个不同的深度网络；③利用两个深度网络建立哈希码和原始特征的映射关系，得到图像的重要性区域的哈希码和图像的非重要性区域的哈希码；④将图像的重要性区域的哈希码和图像的非重要性区域的哈希码拼接起来，得到最终的哈希码。优选地，步骤(2)中，通过样本标记信息、样本相似性信息以及量化信息来建立哈希联合优化目标函数，经过优化目标函数获取哈希表示，所述目标函数如下：其中，B为所有图片的哈希码，Ls代表相似性损失，Lq代表量化损失，Lc代表分类损失，η和β是参数，在Ls中S是相似性矩阵，sij为相似性矩阵中图像i图像j的相似性，若同类则为1，不同类则为0，bi和bj是图像i图像j哈希码，在Lq中bi是图像i的哈希码，di是深度网络得到的结果，在Lc中yi是图像i的标记信息，是网络得到的预测信息。优选地，所述深度网络包括卷积神经网络CNN、全卷积网络FCN。本专利技术实现了带权重空间重要性的深度哈希学习方法，充分利用了每幅图像中的空间重要性信息，提高了哈希检索的性能。附图说明图1是本专利技术基于空间重要性的深度加权哈希学习方法的示意图。具体实施方式下面结合附图对本专利技术加以详细的说明。本专利技术的方法按图1所示流程，包括如下具体步骤：(1)空间重要性提取网络的输入是原始图像，输出是图像各个像素位置的重要性程度。可以根据图像的分类信息学习到特征图的权重，并加权得到重要性程度。在特征提取阶段，根据实际的应用需要，可以有两类网络可用：①卷积神经网络(CNN)：可以利用现有的卷积神经网络(CNN)模型；②全卷积网络(FCN)：可以利用现有的全卷积网络(FCN)模型或者利用现有的卷积神经网络(CNN)进行更改；(2)重要性区域和非重要性区域的哈希学习在哈希学习阶段，通过样本标记信息、样本相似性信息以及量化信息来建立哈希联合优化目标函数，经过优化目标函数获取哈希表示，本专利技术提出一个优化问题如下：其中，B为所有图片的哈希码，Ls代表相似性损失，Lq代表量化损失，Lc代表分类损失，η和β是参数。在Ls中S是相似性矩阵，sij为相似性矩阵中图像i图像j的相似性(若同类则为1，不同类则为0)，(bi和bj是图像i图像j哈希码)。在Lq中bi是图像i的哈希码，di是深度网络得到的结果。在Lc中yi是图像i的标记信息，是网络得到的预测信息。表1是本专利技术方法的一个仿真实验，该实验采用MAP(平均准确率)进行度量，在CIFAR-10，MS-COCO、NUS-WIDE三个常用数据库上进行实验。表1是本专利技术(SIWH)与其他算法的性能比较。从表1中，我们观察到SIWH在不同长度和不同数据集中明显优于其他算法。与最佳深度哈希方法ADSH相比，在CIFAR10和NUSWIDE数据集上实现的SIWH的mAP值分别实现了平均2.57％和1.29％的性能提升。与MS-COCO数据集上现有的最佳深度哈希方法DOH相比，SIWH的平均性能提高了4.47％。实质性的改进证明了所提出方法的有效性。表1本专利技术与其他算法MAP性能比较本文档来自技高网...

【技术保护点】
1.一种基于空间重要性的深度加权哈希学习方法，其特征在于该方法包括以下步骤：/n(1)利用深度网络学习空间重要性信息：构造深度空间重要性学习模型，即将图像送入深度网络，深度网络根据图像的像素位置对图像分类的敏感程度以及图像的分类标签信息学习得到图像的空间重要性信息，所述空间重要性信息是表征原始图像中每个像素位置的数据对于整个图像的识别的贡献度的信息，如果某个像素位置的数据能够对图像的识别有较大的帮助，就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低；/n(2)重要性区域和非重要性区域的哈希学习，具体步骤为：/n①通过步骤(1)得到的重要性信息以及原图像，生成图像的重要性区域和图像的非重要性区域；/n②将图像的重要性区域和图像的非重要性区域放入两个不同的深度网络；/n③利用两个深度网络建立哈希码和原始特征的映射关系，得到图像的重要性区域的哈希码和图像的非重要性区域的哈希码；/n④将图像的重要性区域的哈希码和图像的非重要性区域的哈希码拼接起来，得到最终的哈希码。/n

【技术特征摘要】
1.一种基于空间重要性的深度加权哈希学习方法，其特征在于该方法包括以下步骤：
(1)利用深度网络学习空间重要性信息：构造深度空间重要性学习模型，即将图像送入深度网络，深度网络根据图像的像素位置对图像分类的敏感程度以及图像的分类标签信息学习得到图像的空间重要性信息，所述空间重要性信息是表征原始图像中每个像素位置的数据对于整个图像的识别的贡献度的信息，如果某个像素位置的数据能够对图像的识别有较大的帮助，就认为这个像素位置的空间重要性高，反之认为该位置的空间重要性低；
(2)重要性区域和非重要性区域的哈希学习，具体步骤为：
①通过步骤(1)得到的重要性信息以及原图像，生成图像的重要性区域和图像的非重要性区域；
②将图像的重要性区域和图像的非重要性区域放入两个不同的深度网络；
③利用两个深度网络建立哈希码和原始特征的映射关系，得到图像的重要性区域的哈希码和图像的非重要性区域的哈希码；
④将图像...

【专利技术属性】
技术研发人员：聂秀山，尹义龙，史洋，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：山东;37