一种基于嵌套网络模型的相似图像检索方法及系统技术方案

本发明专利技术一种基于嵌套网络模型的相似图像检索方法，包括：将经过稠密卷积网络的第一稠密层后得到的待检索图像的特征信息，以矩阵形式输入到嵌入的网络模型SENet中；将待检测图像的特征信息压缩为全局特征向量，设置各通道特征的权重系数向量，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量；获取待检索图像的最终特征向量；将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像，本发明专利技术还提出了一种基于嵌套网络模型的相似图像检索系统，不仅能够有效地降低计算量，缩短图像检索时间，而且还能进一步提高检索图像的准确率。

【技术实现步骤摘要】
一种基于嵌套网络模型的相似图像检索方法及系统
本专利技术涉及图像检索处理领域，尤其是涉及基于嵌套网络模型的相似图像检索方法及系统置。
技术介绍
相似图像检索(SimilarImageResearchingtechnology)是计算机视觉中一个重要的图像处理方向，其主要过程是提取待检索图像和已有图像集的内容特征并对两部分图像特征进行向量化处理，通过相似度度量，比较两部分的特征向量，从而在已有图像集中能够自动搜索获取到与待检索图像相似度较高的图像集。目前已有的相似图像检索方法包括：基于内容的检索方法，基于颜色特征的检索方法，基于纹理特征的检索方法，哈希差值检测方法，以及基于深度学习的检索方法。近些年来，深度学习技术在图像分类、目标识别、图像检索等领域的研究取得了显著的成果，尤其是基于CNN(卷积神经网络)的图像特征提取为图像检索提供了有效的描述对象。图像差值哈希(DifferenceHash，简称Dhash)算法，具体地，提取图像哈希矩阵，通过比较哈希值，得到相似图像集结果，其提取哈希值的过程示意图可以参见图1。深度学习中的VGGNet神经网络,其主要步骤为：将已有图片库中的所以图像转化成224*224*3的RGB图像，进行去均值处理。经过如图2所示的VGGNet网络结构，最终得到所有图像的特征向量并存储于数据库中。对于待检索图像，抽取同样的特征向量，计算其与数据库中各个向量的余弦距离，作为相似度值，进而通过参数设置，自动搜索出与之相似的图像集。传统的卷积神经网络若有k层，则有k个连接，而稠密卷积网络(DenseConvolutionalNetwork，简称DenseNet)则与之不同，若其有k层，DenseNet有k(k+1)/2个连接。这种网络模型，鼓励特征复用，即下层网络能够直接利用上层网络的特征结果，加强了图像特征的传递。图3为现有技术中DenseNet网络结构示意图。然而，目前的相似图像检索方法中，对图像的特征信息划分不细，从而容易降低检索结果的准确率，而且运算效率较低。
技术实现思路
本专利技术为了解决现有技术中存在的问题，创新提出了一种基于嵌套网络模型的相似图像检索方法及系统，有效解决由于现有相似图像检索方法造成运算效率低且准确率不高的问题，有效了图像检索的准确率。本专利技术第一方面提供了一种基于嵌套网络模型的相似图像检索方法，包括：将经过稠密卷积网络的第一稠密层后得到的待检索图像的特征信息，以矩阵形式输入到嵌入的网络模型SENet中；将待检测图像的特征信息压缩为全局特征向量，其中，全局特征向量为1×1×C，C为待检索图像通道数；对压缩后的全局特征向量设置各通道特征的权重系数向量，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量；将得到的加权特征向量分别经过网络模型SENet后的若干网络层，获取待检索图像的最终特征向量；将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像。可选地，将待检测图像的特征信息压缩为全局特征向量中是通过嵌套网络模型中的池化层实现的，池化层中的压缩函数具体是：其中，C表示通道数，ZC为压缩后输出的全局特征向量，FC(i,j)为待检索图像的全局特征信息，W和H分别为池化层的宽度和高度，i和j为代表池化层宽度和池化层高度的变量。可选地，对压缩后的全局特征向量设置各通道特征的权重系数向量，具体是通过嵌套网络模型中的第一全连接层、第一激活层、第二全连接层、第二激活层实现的，第一全连接层、第一激活层、第二全连接层、第二激活层具体公式是：U＝Fe(g(ZC,W))＝Fe(W2ReLU(W1ZC))其中，W1为第一全连接层的维度，W2为第二全连接层的维度，ZC为压缩后输出的全局特征向量，U为对压缩后的全局特征向量设置权重系数的权重系数向量，Fe为激活函数，具体形式为：其中，x为全局特征向量ZC中的特征值。进一步地，第一全连接层的维度W1具体表达式为：第二全连接层的维度W2具体表达式为：其中，C为待检索图像通道数，r为维度参数。可选地，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量具体是：将权重系数向量U与压缩后的全局特征向量ZC相乘的结果为待检索图像的加权全局特征向量Fscale(U,ZC)。可选地，加权特征向量分别经过网络模型SENet后的若干网络层依次包括：第二稠密层、第三稠密层、第四稠密层。可选地，经过训练的图像集的最终特征向量集具体是：将待训练的图像集中的待检索图像依次经过训练，得到待训练的图像集的最终特征向量集。进一步地，将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像具体是：将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集通过余弦相似度指标计算，获取待检索图像与经过训练的图像集中图像之间的相似度；将经过训练的图像集中大于预设余弦相似度阈值的图像集，进行排序操作，按照相似度由高到低的顺序进行依次输出。进一步地，余弦相似度指标函数形式如下：式中s为余弦相似度，An、Bn分别表示A、B两个特征向量在维度n上的特征值，A为待检索图像的最终特征向量，B为经过训练的图像集的最终特征向量集的某一最终特征向量，N表示特征向量的总维度。本专利技术第二方面提供了一种基于嵌套网络模型的相似图像检索系统，包括：输入模块，将经过稠密卷积网络的第一稠密层后得到的待检索图像的特征信息，以矩阵形式输入到嵌入的网络模型SENet中；压缩模块，将待检测图像的特征信息压缩为全局特征向量，其中，全局特征向量为1×1×C，C为待检索图像通道数；设置模块，对压缩后的全局特征向量设置各通道特征的权重系数向量，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量；获取模块，将得到的加权特征向量分别经过网络模型SENet后的若干网络层，获取待检索图像的最终特征向量；检索获取模块，将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像。本专利技术采用的技术方案包括以下技术效果：1、本专利技术技术方案提供的基于嵌套网络模型的相似图像检索方法及系统，通过在原有的Densnet网络中嵌入SENet网络模型(Squeeze-and-ExcitationNetworks，简称SENet，为压缩和激发网络)，对待检测图像和已知图像集数据实现嵌套网络训练，在原有整体信息的基础上进一步优化，设置各通道特征的权重系数，抑制无效特征信息，不仅能够有效地降低计算量，缩短图像检索时间，而且还能进一步提高检索图像的准确率。2、本实施例对嵌入的网络模型SENet中的池化层、第一全连接层、第一激活层、第二全连接层、第二激活层分别进行设置，使得权重系数向量与第一全连接层的维度、第本文档来自技高网...

【技术保护点】
1.一种基于嵌套网络模型的相似图像检索方法，其特征是，包括：/n将经过稠密卷积网络的第一稠密层后得到的待检索图像的特征信息，以矩阵形式输入到嵌入的网络模型SENet中；/n将待检测图像的特征信息压缩为全局特征向量，其中，全局特征向量为1×1×C，C为待检索图像通道数；/n对压缩后的全局特征向量设置各通道特征的权重系数向量，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量；/n将得到的加权特征向量分别经过网络模型SENet后的若干网络层，获取待检索图像的最终特征向量；/n将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像。/n

【技术特征摘要】
1.一种基于嵌套网络模型的相似图像检索方法，其特征是，包括：
将经过稠密卷积网络的第一稠密层后得到的待检索图像的特征信息，以矩阵形式输入到嵌入的网络模型SENet中；
将待检测图像的特征信息压缩为全局特征向量，其中，全局特征向量为1×1×C，C为待检索图像通道数；
对压缩后的全局特征向量设置各通道特征的权重系数向量，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局特征向量；
将得到的加权特征向量分别经过网络模型SENet后的若干网络层，获取待检索图像的最终特征向量；
将待检索图像的最终特征向量与经过训练的图像集的最终特征向量集进行一一匹配，获取高于预设相似阈值的图像。


2.根据权利要求1所述的基于嵌套网络模型的相似图像检索方法，其特征是，将待检测图像的特征信息压缩为全局特征向量中是通过嵌套网络模型中的池化层实现的，池化层中的压缩函数具体是：



其中，C表示通道数，ZC为压缩后输出的全局特征向量，FC(i,j)为待检索图像的全局特征信息，W和H分别为池化层的宽度和高度，i和j为代表池化层宽度和池化层高度的变量。


3.根据权利要求1所述基于嵌套网络模型的相似图像检索方法，其特征是，对压缩后的全局特征向量设置各通道特征的权重系数向量，具体是通过嵌套网络模型中的第一全连接层、第一激活层、第二全连接层、第二激活层实现的，第一全连接层、第一激活层、第二全连接层、第二激活层具体公式是：
U＝Fe(g(ZC,W))＝Fe(W2ReLU(W1ZC))
其中，W1为第一全连接层的维度，W2为第二全连接层的维度，ZC为压缩后输出的全局特征向量，U为对压缩后的全局特征向量设置权重系数的权重系数向量，Fe为激活函数，具体形式为：

其中，x为全局特征向量Zc中的特征值。


4.根据权利要求3所述基于嵌套网络模型的相似图像检索方法，其特征是，第一全连接层的维度W1具体表达式为：



第二全连接层的维度W2具体表达式为：

其中，C为待检索图像通道数，r为维度参数。


5.根据权利要求3所述基于嵌套网络模型的相似图像检索方法，其特征是，根据权重系数向量与压缩后的全局特征向量，得到待检索图像的加权全局...

【专利技术属性】
技术研发人员：倪翠，王朋，朱元汀，
申请(专利权)人：山东交通学院，
类型：发明
国别省市：山东;37