图像检索方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像检索方法、装置、设备及计算机可读存储介质。其中，方法包括首先利用卷积层数不同的两个卷积神经网络并联构造双列卷积哈希映射模型，第一卷积神经网络与第二卷积神经网络的池化层数目、池化窗口的大小和步长均相同；该模型包含由第一卷积神经网络和第二卷积神经网络的输出并联而成的第一全连接层及作为哈希编码层的第二全连接层。将待检索图像利用双列卷积哈希映射模型映射为待检索哈希编码；在哈希编码库中查找与待检索哈希编码的汉明距离差值满足预设条件的目标图像，以作为待检索图像在图像数据库的检索结果；哈希编码库为将图像数据库中每张图像经双列卷积哈希映射模型映射后所得。本申请提高图像检索的准确率。

Image Retrieval Method, Device, Equipment and Computer Readable Storage Media

The embodiment of the present invention discloses an image retrieval method, device, device and computer readable storage medium. Firstly, two convolution neural networks with different convolution layers are used to construct a double-row convolution hash mapping model in parallel. The number of pooling layers, the size and step-size of the pooling window of the first convolution neural network and the second convolution neural network are the same. The model contains the first full-connection layer which is composed of the output of the first convolution neural network and the second convolution neural network in parallel. And the second full connection layer as the hash coding layer. The image to be retrieved is mapped to the hash coding to be retrieved by using the double-column convolution hash mapping model; the target image which satisfies the presupposed condition of the Hamming distance difference between the image to be retrieved and the hash coding is searched in the hash coding library as the retrieval result of the image database to be retrieved; and the hash coding library is mapped to each image in the image database by the double-column convolution hash mapping model. Income. This application improves the accuracy of image retrieval.

【技术实现步骤摘要】
图像检索方法、装置、设备及计算机可读存储介质
本专利技术实施例涉及图像处理
，特别是涉及一种图像检索方法、装置、设备及计算机可读存储介质。
技术介绍
近些年来，随着互联网的进一步普及和大数据技术的深入应用，每天都会有数以亿计的图像产生。图像数据资源的集中和规模的增大使得现有技术越来越难以满足用户图像检索的需求。因此，如何有效地描述图像的特征信息，采用何种数据结构进行高效索引和快速相似性检索等问题成为了这个方向的研究热点。面对大规模的图像数据，鉴于二进制编码具有易于比较与存储的性质，可以极大的提升相似性检索的速度并节省更多的计算机资源，故在进行图像检索时一般将图像映射成二进制编码。深度学习的出现推动了计算机视觉的发展，也为学习哈希映射方法提供了更有效的工具。相关技术用神经网络模型映射哈希编码，然利用图像的方式训练深度学习模型，通过损失函数来约束该模型参数，取得了较为不错的结果。但是，该方法检索图像的准确率不高，尤其是针对比较相似图像，无法满足用户对图像检索精度的高要求。鉴于此，如何提升图像检索的准确率，是本领域技术人员亟待解决的问题。
技术实现思路
本公开实施例提供了一种图像检索方法、装置、设备及计算机可读存储介质，提高图像检索的准确率。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种图像检索方法，包括：利用预先构建的双列卷积哈希映射模型将待检索图像映射为待检索哈希编码；在预先构建的哈希编码库中查找与所述待检索哈希编码的汉明距离差值满足预设条件的目标图像，以作为所述待检索图像在图像数据库的检索结果；其中，所述双列卷积哈希映射模型为由卷积层数不同的两个卷积神经网络组合而成，包含由第一卷积神经网络和第二卷积神经网络的输出并联而成的第一全连接层及作为哈希编码层的第二全连接层；所述第一卷积神经网络与所述第二卷积神经网络的池化层数目、池化窗口的大小和步长均相同；所述哈希编码库为将所述图像数据库中每张图像经所述双列卷积哈希映射模型映射后所得。可选的，所述双列卷积哈希映射模型的训练过程包括：以所述图像数据库中的图像对为输入；若所述图像对的标签类别为相似，则以所述图像对映射得到的哈希编码对之间的距离为损失值；若所述图像对的标签类别为不相似，则以所述图像对映射得到的哈希编码对之间的距离和间隔为损失值；所述标签类别用于标识所述图像对中两张图像的相似性；采用机器学习优化算法优化所述损失值以训练所述双列卷积哈希映射模型。可选的，所述双列卷积哈希映射模型的损失值为：式中，Loss为所述损失值，第i张图像与第j张图像组成所述图像对，n为所述图像数据库中图像总个数，oi为第i张图像的哈希编码，oj为第j张图像的哈希编码，||oi-oj||2为的哈希编码对间的距离，m为所述图像对映射得到的哈希编码对的间隔，α为超参数，yi,j为标签类别，yi,j＝1表示第i张图像与第j张图像为相似，yi,j＝0表示第i张图像与第j张图像不相似。可选的，采用机器学习优化算法优化所述损失值以训练所述双列卷积哈希映射模型为采用随机梯度下降优化所述损失值以训练所述双列卷积哈希映射模型。可选的，所述哈希编码库的生成过程为：将所述图像数据库中的每张图像输入至所述双列卷积哈希映射模型，通过设置阈值，将所述双列卷积哈希映射模型的哈希编码层的输出映射为哈希编码；根据每张图像的哈希编码生成所述哈希编码库；其中，所述图像数据库的第i张图像的第m位编码可如下式：式中，为第i张图像的第m位在哈希编码层的输出，θ为所述阈值。可选的，所述在预先构建的哈希编码库中查找与所述待检索哈希编码的汉明距离差值满足预设条件的目标图像为：在所述哈希编码库中查找与所述待检索哈希编码的汉明距离值最小的前T张图像；按照与所述待检索哈希编码的汉明距离的差值从小到大对T张图像进行排序；输出排序后的T张图像。可选的，所述第一卷积神经网络为卷积层为14层的VGG-16网络模型，所述第二卷积神经网络为卷积层为5层的VGG-16网络模型，所述第一卷积神经网络和所述第二卷积神经网络的池化窗口为2*2且步长为1。本专利技术实施例另一方面提供了一种图像检索装置，包括：哈希编码生成模块，用于利用预先构建的双列卷积哈希映射模型将待检索图像映射为待检索哈希编码；所述双列卷积哈希映射模型为由卷积层数不同的两个卷积神经网络组合而成，包含由第一卷积神经网络和第二卷积神经网络的输出并联而成的第一全连接层及作为哈希编码层的第二全连接层；所述第一卷积神经网络与所述第二卷积神经网络的池化层数目、池化窗口的大小和步长均相同；图像检索模块，用于在预先构建的哈希编码库中查找与所述待检索哈希编码的汉明距离差值满足预设条件的目标图像，以作为所述待检索图像在图像数据库的检索结果；所述哈希编码库为将所述图像数据库中每张图像经所述双列卷积哈希映射模型映射后所得。本专利技术实施例还提供了一种图像检索设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像检索方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像检索程序，所述图像检索程序被处理器执行时实现如前任一项所述图像检索方法的步骤。本申请提供的技术方案的优点在于，将第一卷积神经网络模型和第二卷积神经网络模型并联连接、并添加哈希编码层以构造双列卷积哈希映射模型，利用卷积层数多的卷积神经网络模型识别高级别的语义特征，利用卷积层数少的神经网络用来辨别低级别的形状、纹理等特征，将这两个模型叠加连接可以增强特征对图像的表达能力，从而提升二进制编码的辨别力，增强图像映射生成哈希编码的表达能力，以此来提升大规模图像检索的准确率。此外，本专利技术实施例还针对图像检索方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明为了更清楚的说明本专利技术实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种图像检索方法的流程示意图；图2为本公开根据一示例性实施例示出的一种卷积神经网络模型的结构示意图；图3为本公开根据一示例性实施例示出的另一种卷积神经网络模型的结构示意图；图4为本公开根据一示例性实施例示出的双列卷积哈希映射模型的训练过程示意图；图5为本专利技术实施例提供的图像检索装置的一种具体实施方式结构图；图6为本专利技术实施例提供的图像检索装置的另一种具体实施方式结构图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特本文档来自技高网...

【技术保护点】
1.一种图像检索方法，其特征在于，包括：利用预先构建的双列卷积哈希映射模型将待检索图像映射为待检索哈希编码；在预先构建的哈希编码库中查找与所述待检索哈希编码的汉明距离差值满足预设条件的目标图像，以作为所述待检索图像在图像数据库的检索结果；其中，所述双列卷积哈希映射模型为由卷积层数不同的两个卷积神经网络组合而成，包含由第一卷积神经网络和第二卷积神经网络的输出并联而成的第一全连接层及作为哈希编码层的第二全连接层；所述第一卷积神经网络与所述第二卷积神经网络的池化层数目、池化窗口的大小和步长均相同；所述哈希编码库为将所述图像数据库中每张图像经所述双列卷积哈希映射模型映射后所得。

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：利用预先构建的双列卷积哈希映射模型将待检索图像映射为待检索哈希编码；在预先构建的哈希编码库中查找与所述待检索哈希编码的汉明距离差值满足预设条件的目标图像，以作为所述待检索图像在图像数据库的检索结果；其中，所述双列卷积哈希映射模型为由卷积层数不同的两个卷积神经网络组合而成，包含由第一卷积神经网络和第二卷积神经网络的输出并联而成的第一全连接层及作为哈希编码层的第二全连接层；所述第一卷积神经网络与所述第二卷积神经网络的池化层数目、池化窗口的大小和步长均相同；所述哈希编码库为将所述图像数据库中每张图像经所述双列卷积哈希映射模型映射后所得。2.根据权利要求1所述的图像检索方法，其特征在于，所述双列卷积哈希映射模型的训练过程包括：以所述图像数据库中的图像对为输入；若所述图像对的标签类别为相似，则以所述图像对映射得到的哈希编码对之间的距离为损失值；若所述图像对的标签类别为不相似，则以所述图像对映射得到的哈希编码对之间的距离和间隔为损失值；所述标签类别用于标识所述图像对中两张图像的相似性；采用机器学习优化算法优化所述损失值以训练所述双列卷积哈希映射模型。3.根据权利要求2所述的图像检索方法，其特征在于，所述双列卷积哈希映射模型的损失值为：式中，Loss为所述损失值，第i张图像与第j张图像组成所述图像对，n为所述图像数据库中图像总个数，oi为第i张图像的哈希编码，oj为第j张图像的哈希编码，||oi-oj||2为的哈希编码对间的距离，m为所述图像对映射得到的哈希编码对的间隔，α为超参数，yi,j为标签类别，yi,j＝1表示第i张图像与第j张图像为相似，yi,j＝0表示第i张图像与第j张图像不相似。4.根据权利要求2所述的图像检索方法，其特征在于，采用机器学习优化算法优化所述损失值以训练所述双列卷积哈希映射模型为采用随机梯度下降优化所述损失值以训练所述双列卷积哈希映射模型。5.根据权利要求1至4任意一项所述的图像检索方法，其特征在于，所述哈希编码库的生成过程为：将所述图像数据库中的每张图...

【专利技术属性】
技术研发人员：张莉，陆鋆，王邦军，周伟达，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32