基于深度二值细节感知哈希的可视媒体检索方法技术

本发明专利技术提供了一种基于深度二值细节感知哈希的可视媒体检索方法，包括以下步骤：(1)原始数据特征提取：使用修改的深度网络提取图像区域的二值语义特征；(2)哈希学习：利用图像之间的相似度关系、同一图像不同相互重叠区域的相似度关系，构建目标函数，联合优化得到二值细节感知哈希。与现有技术相比，本发明专利技术得到了融合更多信息的哈希码，与现有哈希学习仅从整幅图像得到哈希码或在特征空间中融合细节信息的方法相比，本发明专利技术的方法充分利用了图像的局部细节信息和哈希检索任务的特点，提高了哈希检索的精度。

Visual media retrieval method based on depth binary detail aware hash

【技术实现步骤摘要】
基于深度二值细节感知哈希的可视媒体检索方法
本专利技术涉及一种基于深度二值细节感知哈希的可视媒体检索方法，属于多媒体信号处理、大数据检索

技术介绍
随着近年来大数据的爆炸性增长，大量内容近似或重复的图像和视频等可视媒体充斥网络。对于互联网的内容提供商来说，过滤重复、近似内容，或对搜索到的相似内容进行重新排序，让用户从海量数据中快速检测到对自己有用或喜欢的可视媒体内容非常必要。同时，根据用户搜索或观看的可视媒体内容进行个性化推荐，也是互联网企业的重要任务。另外，可视媒体的广泛传播在丰富人们文化娱乐生活的同时，也为暴力恐怖、淫秽色情、谣言等有害信息的传播提供了便利，这些有害图像和视频极大地危害了社会稳定和政府公信力，淫秽图片或视频更是影响青少年的身心健康，因此，对此类有害可视媒体内容的检测和过滤也十分必要。在众多近邻搜索(NearestNeighbor,NN)算法中，近似最近邻(ApproximateNearestNeighbor,ANN)搜索凭借着其在实际应用中的高效性吸引了大量的关注。而哈希方法是一类广泛研究的近似最近邻搜索算法，其能将文档、图像、视频等多媒体转换成一个紧凑的二进制编码，并保留原始数据间的相似性关系。该二进制编码(也称哈希码)间的距离度量使用的是汉明距离，其可以通过硬件的异或运算进行快速求解。因此，哈希方法能够在存储和效率上具备极大的优势，这也造成了其成为最流行的近似最近邻搜索算法之一。
技术实现思路
现有的深度哈希算法，大多都是直接从整幅图像学习哈希码，而忽略了局部的细节信息，但这些细节信息对于哈希学习来说是很有帮助的。此外，尽管有少量深度哈希算法利用了图像局部细节，但都是在特征空间中将局部细节信息进行融合。对于基于二值编码进行检索的哈希方法而言，在特征空间中融合会带来一定的信息损失，从而降低哈希方法的性能。为此，本专利技术提出一种二值细节感知哈希方法，在汉明空间中融合二值局部细节信息(即子图哈希码)，同时在训练中利用同一图像不同相互重叠区域间的关系，以提升哈希学习的性能。与现有哈希技术相比，本专利技术可以利用更多的细节信息，同时减少融合带来的信息损失，提高了利用哈希技术进行大数据检索的效率和精确性。现有的文献和技术中，并没有关于在汉明空间中融合局部二值细节信息得到哈希码的技术和方法。本专利技术采用的技术方案为：一种基于深度二值细节感知哈希的可视媒体检索方法，其特征在于该方法包括以下步骤：(1)原始数据特征提取：使用深度网络进行图像的特征提取，具体方法为：①选择深度网络模型，将网络中的全连接层替换成相应的卷积层，根据所选择的图像区域的数量，确定输入网络的图像在预处理时进行缩放的大小，该步骤无需使用滑动窗口切割原始图像后再将图像区域输入网络得到区域的特征，而是以直接修改网络结构的方式实现了图像区域的划分；②从网络输出的结果中得到对应于原始图像各个区域的哈希码，将这些哈希码进行平均融合，得到的即为原始图像的哈希码；(2)构造哈希学习模型，具体方法为；①建立基于成对图像相似度的损失函数项，即根据两个图像之间的相似度与其相应哈希码之间的相似度的一致性来设计，进而使得最终的图像哈希码能够保留原始图像之间的相似关系；②建立基于同一图像或视频的不同相互重叠区域之间关系的损失函数项，即使得来自同一图像不同区域的哈希码之间尽可能地相似，从而约束同一图像或视频不同区域之间的哈希码能够在汉明空间中聚类，以提升哈希学习的性能；③通过构造的损失函数进行学习，得到样本的融合了区域二值细节信息的哈希码。特别地，采用如下损失函数构建哈希学习模型：其中，第一项是基于成对图像相似度的损失函数项，第二项是基于同一图像或视频的不同相互重叠区域之间关系的损失函数项，第三项是使得图像的被松弛的哈希码hi与对应的真正哈希码bi之间差距尽可能小的量化项，公式中，hik代表第i个图像的第k个区域对应的网络输出，θ为使用的网络的参数，n、N2、c分别表示图像的数量、图像区域的数量和哈希码的长度，S表示相似度矩阵，sij表示第i张图像与第j张图像之间的相似度，1为相似，0为不相似，bi＝sign(hi)表示图像的哈希码，且γ和η是超参数。本专利技术实现了融合更多细节信息的学习，充分利用了图像局部二值细节的相互关系，提高了哈希检索的性能。附图说明图1是本专利技术所述基于深度二值细节感知哈希的可视媒体检索方法的示意图，其中图像分成了N2个相互重叠的区域，图中展示N＝2的流程。具体实施方式下面结合附图对本专利技术加以详细的说明。本专利技术的方法按图1所示流程，包括如下具体步骤：(1)特征提取网络架构参照图1中的(b)。相对于使用滑动窗口切割原始图像区域再输入网络得到区域的特征，本专利技术可以直接修改网络结构以隐式地包含这一步骤到端到端的网络中。具体来说，对选择的网络模型(如经典的AlexNet、ResNet或深度哈希常用的CNN-F等)，将网络中的全连接层替换成相应的卷积层(表1展示了CNN-F的原始结构和进行上述修改后的结构)。随后，根据所选择的图像区域的数量(即N2个)，来确定输入网络的图像在预处理时进行缩放的大小。该缩放大小需要根据选择的网络和选定的N来进行计算。以CNN-F为例，图像在网络中由于步长为4的卷积核和3个池化操作，尺寸共会缩小32倍。且当N＝1时，输入图像边长为224，所以当N＝1时，有等式224＝32×N+b成立。其中b表示图像在网络中尺寸变化的偏移量。因此，可知b＝192，即对于CNN-F，输入图像大小应为(192+32×N)。表1CNN-F的原始结构和用于该专利技术的对应修改结构在一个实施例中，使用了CNN-F网络作为特征提取器，其在最后一层输出N2(N一般设置为6-8)个相互重叠的图像区域的哈希码。该端到端的过程，实现了图1中(c)方式的目标，但比(c)的方式(即将图像分割成多个相互重叠的区域，再输入网络)更简洁、高效。此外，选择SGD优化器对网络进行更新，初始学习率是0.1，批大小设为32。(2)哈希学习目标函数部分参照图1中的(d)：基于图像成对相似关系、同一图像区域不同区域一致性关系来建立深度二值细节感知哈希的目标函数，通过优化目标函数获取哈希表示。本专利技术提出一个优化问题如下：第一项是基于成对相似度的损失项，其目标是使得不同图像的哈希码之间的相似度与原图像之间的相似度保持一致。第二项是同一图像或视频不同区域的哈希码之间关系的损失项，目标是约束同一图像或视频的不同区域之间的二值信息(哈希码)聚类。第三项是量化项，目标是使得图像的被松弛的哈希码hi与对应的真正的哈希码bi之间的差距尽可能小。公式中，hik代表第i个图像的第k个区域对应的网络输出。θ为使用的网络的参数。n、N2、c分别表示图像的数量、图像区域的数量和哈希码的长度。S表示相似度矩阵，sij表示第i张图像与第j张图像之间的相似度(1为相似，0为不相似)，bi＝sign(hi本文档来自技高网...

【技术保护点】
1.一种基于深度二值细节感知哈希的可视媒体检索方法，其特征在于该方法包括以下步骤：/n(1)原始数据特征提取：使用深度网络进行图像的特征提取，具体方法为：/n①选择深度网络模型，将网络中的全连接层替换成相应的卷积层，根据所选择的图像区域的数量，确定输入网络的图像在预处理时进行缩放的大小，该步骤无需使用滑动窗口切割原始图像后再将图像区域输入网络得到区域的特征，而是以直接修改网络结构的方式实现了图像区域的划分；/n②从网络输出的结果中得到对应于原始图像各个区域的哈希码，将这些哈希码进行平均融合，得到的即为原始图像的哈希码；/n(2)构造哈希学习模型，具体方法为；/n①建立基于成对图像相似度的损失函数项，即根据两个图像之间的相似度与其相应哈希码之间的相似度的一致性来设计，进而使得最终的图像哈希码能够保留原始图像之间的相似关系；/n②建立基于同一图像或视频的不同相互重叠区域之间关系的损失函数项，即使得来自同一图像不同区域的哈希码之间尽可能地相似，从而约束同一图像或视频不同区域之间的哈希码能够在汉明空间中聚类，以提升哈希学习的性能；/n③通过构造的损失函数进行学习，得到样本的融合了区域二值细节信息的哈希码。/n...

【技术特征摘要】
1.一种基于深度二值细节感知哈希的可视媒体检索方法，其特征在于该方法包括以下步骤：
(1)原始数据特征提取：使用深度网络进行图像的特征提取，具体方法为：
①选择深度网络模型，将网络中的全连接层替换成相应的卷积层，根据所选择的图像区域的数量，确定输入网络的图像在预处理时进行缩放的大小，该步骤无需使用滑动窗口切割原始图像后再将图像区域输入网络得到区域的特征，而是以直接修改网络结构的方式实现了图像区域的划分；
②从网络输出的结果中得到对应于原始图像各个区域的哈希码，将这些哈希码进行平均融合，得到的即为原始图像的哈希码；
(2)构造哈希学习模型，具体方法为；
①建立基于成对图像相似度的损失函数项，即根据两个图像之间的相似度与其相应哈希码之间的相似度的一致性来设计，进而使得最终的图像哈希码能够保留原始图像之间的相似关系；
②建立基于同一图像或视频的不同相互重叠区域之间关系的损失函数项，即使得来自同一图像不同区域的哈希码...

【专利技术属性】
技术研发人员：聂秀山，尹义龙，周权，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：山东;37