基于三维张量对比策略的深度特征对比加权图像检索方法技术

本发明专利技术公开一种基于三维张量对比策略的深度特征对比加权图像检索方法，首先将数据库的图像输入卷积神经网络模型，并提取深度特征；其次，对深度特征增强、融合和对比，生成对比权重并保存；然后，将数据库图像和待查询图像输入卷积神经网络模型，并提取深度特征；接着，利用对比权重对深度特征进行加权、加权增强、融合，生成匹配特征向量；最后，将待查询图像的匹配特征向量与数据库图像的匹配特征向量进行相似性匹配，从而返回检索图像。本发明专利技术模拟了人脑的视觉显著性对比处理机制，利用卷积神经网络模型获取图像的深度特征进行对比，能够有效描述图像可辨别的高级语义特征，能够提高图像检索精确度。提高图像检索精确度。提高图像检索精确度。

【技术实现步骤摘要】
基于三维张量对比策略的深度特征对比加权图像检索方法


[0001]本专利技术涉及图像检索
，具体涉及一种基于三维张量对比策略的深度特征对比加权图像检索方法。

技术介绍

[0002]随着智能手机和移动通讯技术的迅速发展和广泛应用，现在人们随时随地都可以拍照并非常轻易地通过分享通道上传到互联网，在此背景下，互联网获得了海量的图像数据信息。面对海量的图像，不管是服务端的企业管理者，还是用户端的个人，都面临着从海量图像中检索图像的难题和挑战。一方面，企业管理者需要对海量图像数据进行高效地管理，其中图像检索是其核心管理业务之一，比如检索出图像库中包含某些敏感内容的所有图像，以进行清除管理。另一方面，个人用户需要对其分享的图像进行浏览查询，比如检索出该个人用户上传的某个场景的所有图像。因此，有效的图像检索方法成为了热门的研究技术。
[0003]近年来，作为模拟人脑神经系统连接机制的机器学习热点技术，深度学习技术在计算机视觉的模式分类领域获得了引人瞩目的成就。目前，深度学习主要是构建深度卷积神经网络，通过深层次的自主学习训练，获得图像从低层的属性特征到高级的语义特征，生成卷积神经网络模型，帮助对新图像的自主识别和分类。如今，人们利用卷积神经网络模型，提取图像的深度特征，生成能够用于图像检索的特征向量，从而实现了图像检索新技术。在此背景下，如何利用人脑的视觉信息处理机制构建基于深度特征的图像检索方法以提高检索性能，成为了图像检索的技术热点和难点。

技术实现思路

[0004]本专利技术针对如何模拟了人脑的视觉显著性对比处理信息的机制的问题，提供一种基于三维张量对比策略的深度特征对比加权图像检索方法。
[0005]为解决上述问题，本专利技术是通过以下技术方案实现的：
[0006]基于三维张量对比策略的深度特征对比加权图像检索方法，包括步骤如下：
[0007]步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型，提取每张数据库图像的深度特征图；
[0008]步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图；
[0009]步骤3、基于三维张量对比策略，分别将步骤2所得的每张数据库图像的增强深度特征图进行融合，得到每张数据库图像的融合特征三维张量；
[0010]步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比，得到对比权重；
[0011]步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘，得到每张数据库图像的对比加权算子；
[0012]步骤6、基于步骤5所得的每张数据库图像的对比加权算子，分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图；
[0013]步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合，得到每张数据库图像的匹配特征向量；
[0014]步骤8、将待查询图像输入卷积神经网络模型，提取待查询图像的深度特征图；
[0015]步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘，得到待查询图像的对比加权算子；
[0016]步骤10、基于步骤9所得的待查询图像的对比加权算子，对步骤8所得的待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图；
[0017]步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合，得到待查询图像的匹配特征向量；
[0018]步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配，匹配结果即为待查询图像的检索结果。
[0019]上述步骤3中，每张数据库图像的融合特征三维张量为：
[0020][0021]式中，T
ijdn
表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；X"
ijdn
表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
[0022]上述步骤4中，对比权重为：
[0023][0024]式中，CW
d
表示对比权重的第d个深度特征图对应的权重值，T
ijdn
表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；T
ijdp
表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号
·
表示点乘。
[0025]上述步骤2中，对每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图的过程为：
[0026]1)对每张数据库图像的深度特征图进行显著性特征增强，得到每张数据库图像的初增强深度特征图：
[0027][0028]2)对每张数据库图像的初增强特征图进行非显著性特征增强，得到每张数据库图像的增强深度特征图：
[0029][0030]式中，X
ijdn
表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；X'
ijdn
表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值，X"
ijdn
表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号
·
表示点乘。
[0031]上述步骤6中，基于每张数据库图像的对比加权算子，分别对每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图的过程为：
[0032]1)对每张数据库图像的深度特征图进行加权显著性特征增强，得到每张数据库图像的初加权增强深度特征图：
[0033][0034]2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强，得到每张数据库图像的加权增强深度特征图：
[0035][0036]式中，X
ijdn
表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；Y
ijdn
表示第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，包括步骤如下：步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型，提取每张数据库图像的深度特征图；步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图；步骤3、基于三维张量对比策略，分别将步骤2所得的每张数据库图像的增强深度特征图进行融合，得到每张数据库图像的融合特征三维张量；步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比，得到对比权重；步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘，得到每张数据库图像的对比加权算子；步骤6、基于步骤5所得的每张数据库图像的对比加权算子，分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图；步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合，得到每张数据库图像的匹配特征向量；步骤8、将待查询图像输入卷积神经网络模型，提取待查询图像的深度特征图；步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘，得到待查询图像的对比加权算子；步骤10、基于步骤9所得的待查询图像的对比加权算子，对步骤8所得的待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图；步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合，得到待查询图像的匹配特征向量；步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配，匹配结果即为待查询图像的检索结果。2.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤3中，每张数据库图像的融合特征三维张量为：式中，T
ijdn
表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；X"
ijdn
表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。3.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤4中，对比权重为：
式中，CW
d
表示对比权重的第d个深度特征图对应的权重值，T
ijdn
表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；T
ijdp
表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号
·
表示点乘。4.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤2中，对每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图的过程为：1)对每张数据库图像的深度特征图进行显著性特征增强，得到每张数据库图像的初增强深度特征图：2)对每张数据库图像的初增强特征图进行非显著性特征增强，得到每张数据库图像的增强深度特征图：式中，X
ijdn
表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；X'
ijdn
表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值，X"
ijdn
表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号
·
表示点乘。5.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤6中，基于每张数据库图像的对比加权算子，分别对每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图的过程为：1)对每张数据库图像的深度特征图进行加权显著性特征增强，得到每张数据库图像的初加权增强深度特征图：
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强，得到每张数据库图像的加权...

【专利技术属性】
技术研发人员：卢奋，张伯健，刘广海，陆周，孔令杰，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：