基于卷积神经网络的图像检索方法及系统技术方案

本发明专利技术提供了基于卷积神经网络的图像检索方法及系统，包括：建立图像数据库，批量进行图像预处理；利用图像数据库训练基于GoogLeNet的Inception‑v2图像卷积神经网络模型；采集待检测图像，并对其进行预处理，用图像卷积神经网络模型对图像数据库中的图像待检索图像进行特征向量提取；对待检索的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的top n图像反馈给用户，完成图像检索过程。本发明专利技术避免了图像缩放、旋转、平移等因素对检索结果造成的影响，大幅度提高了模型训练时间，有效解决了因图纹理复杂而导致特征表示不全面，从而导致检索精度不高的问题。

Image retrieval method and system based on convolutional neural network

【技术实现步骤摘要】
基于卷积神经网络的图像检索方法及系统
本专利技术涉及计算机视觉图像检索领域，具体涉及基于卷积神经网络的图像检索方法及系统。
技术介绍
近年来，随着互联网的发展和智能设备的普及，网络上存储的图片数量呈现爆发式增长，引发了图像数据过载问题，如何从大规模海量图像中有效检索出用户感兴趣的图像成为当前图像处理与分析领域研究的研究热点。由于传统基于文本的检索人工标注成本高、存在用户主观性，图像检索技术由基于文本的检索逐渐发展成为基于内容的检索，基于内容的图像检索流程是通过提取诸如图像颜色、纹理、形状等图像底层视觉特征，计算查询图像与测试图像特征的距离，返回与查询图像相同或最为相似的图像。但是，底层特征与高层语义之间存在语义鸿沟，不能准确反映出用户的检索意图。随着社会信息技术高速发展以及大数据时代的到来，不仅图像数量增多，而且图像内容也变得复杂多样，传统的基于内容的检索技术已无法满足用户的需求，检索结果容易受到图像缩放、平移、旋转的影响，图像的低级特征相对复杂，检索费时且准确率较低。随着计算机硬件的快速发展以及数据量的指数增长，深度学习技术特别是卷积神经网络能直接从图像数据中学习到数据的分布，已在图像分类、图像分割、目标检测、人脸识别等视觉任务中取得了成功，其准确率已经超越了人类。利用卷积神经网络的强大的图像特征提取能力，建立卷积神经网络模型，以提高图像检索性能。
技术实现思路
本专利技术要解决的技术问题在于，针对上述目前图像检索精度不高、计算量大的技术问题，提供基于卷积神经网络的图像检索方法及系统解决上述技术缺陷。基于卷积神经网络的图像检索方法，包括：步骤1、建立图像数据库，并批量进行图像预处理；步骤2、利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像和所述待检索图像分别进行特征向量提取；步骤4、对待检测图像的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的前n个图像反馈给用户，完成图像检索过程。进一步的，步骤1具体包括：步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；步骤1.2、将所有图像统一缩放至固定大小；步骤1.3、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。进一步的，步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的全连接层产生输出，将Inception-v2模型的softmax层和全连接层去掉，在pool_3层的后面加上新的全连接层，网络节点数为2048，输出节点的数目为数据集图片类别的数目，在对模型进行迁移学习的时候需要定义训练参数。进一步的，步骤3的具体方法是：用步骤2建立的卷积神经网络模型步骤1建立的图像数据库中的图像提取特征向量，构建特征库，对步骤1中采集的待检索图像特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Yi，i＝1，2，…，N，N为从图像数据库中提取的特征向量的个数。进一步的，步骤4的具体方法是：根据步骤3提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Yi之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的前n个图像。基于卷积神经网络的图像检索方法系统，包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现任意一种基于卷积神经网络的图像检索方法。与现有技术相比，本专利技术优势在于：1、本专利技术提出了基于卷积神经网络的图像检索方法，根据卷积神经网络的自学习能力，避免了图像缩放、旋转、平移等因素对检索结果造成的影响，适应能力强。2、使用较小的专用数据集对已有的网络模型进行微调，提高了模型的准确性；利用GPU加速，大幅度提高了模型训练时间。3、利用卷积神经网络模型提取图像特征，有效解决了因图纹理复杂而导致特征表示不全面，从而导致检索精度不高的问题。附图说明下面结合附图以及具体实施方式对本专利技术作详细说明，附图中：图1为本专利技术基于卷积神经网络的图像检索方法流程图；图2为本专利技术基于卷积神经网络的图像检索方法的卷积神经网络结构图；图3为本专利技术基于卷积神经网络的图像检索方法的对应检索精度曲线图。具体实施方式为了使本专利技术的技术特征、目的和效果更加易于理解，现对照附图详细说明本专利技术的具体实施方式。基于卷积神经网络的图像检索方法，如图1所示，包括：步骤1、建立图像数据库，并批量进行图像预处理，具体包括：步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；步骤1.2、将所有图像数据库中的图像分为训练集和测试集部分，训练集用来训练检索模型，测试集用来检验模型的好坏。步骤1.3、将所有图像统一缩放至固定大小，在整个卷积神经网络的结构中，卷积层和池化层对图片大小是没有要求的，但是全连接层就需要图片是固定大小，因为全连接层的权值矩阵在训练后是固定大小的矩阵。步骤1.4、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。步骤2、，如图2所示，利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；GoogLeNet是2014年ImageNet比赛的冠军，模型有22层，Inception-v2模型的核心是批量归一化以及卷积核替代，批量归一化解决了内部神经元的数据分布发生变化的问题，使得每一层的输出都规范化到了N(0,1)，同时允许比较高的学习率；取代部分dropout的功能，Inception-v2的卷积核替代是使用两个3x3的卷积核代替一个5x5的卷积核，参数减少但感受野相同，能减轻网络负担。步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的全连接层产生输出，因为迁移学习训练的特点，网络的训练只训练自己加上的全连接层的神经网络权值，并不会影响Inception-v2的参数。将Inception-v2模型的softmax层和全连接层去掉，在pool_3层的后面加上新的全连接层，网络节点数为2048，输出节点的数目为数据集图片类别的数目，在对模型进行迁移学习的时候需要定义训练参数。要想使得神经网络具有非线性运算的功能，就要引入非线性的激活函数，这样对任意非线性函数的逼近都可以通过神经网络模型来实现，从而使神经网络模型可以扩展到非线性额模型中。激活函数选用ReLU，能较好地解决神经网络梯度消失的问题。模型训练的目的是希望损失函数尽量降低，但是在真实的应用中并不是想让卷积模神经网络完全的拟合训练数据的行为，而是希望卷积神经网络训练得到学习数据的内在规律。L2正则化是L2范数惩罚项被添加在参数约束中，公式如下：滑动平均模型是一个可以让模型更加健壮的方法，在训练网络中应用本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的图像检索方法，其特征在于，包括：步骤1、建立图像数据库，并批量进行图像预处理；步骤2、利用步骤1建立的图像数据库训练基于GoogLeNet的Inception‑v2图像卷积神经网络模型；步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像和所述待检索图像分别进行特征向量提取；步骤4、对待检测图像的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的前n个图像反馈给用户，完成图像检索过程。

【技术特征摘要】
1.基于卷积神经网络的图像检索方法，其特征在于，包括：步骤1、建立图像数据库，并批量进行图像预处理；步骤2、利用步骤1建立的图像数据库训练基于GoogLeNet的Inception-v2图像卷积神经网络模型；步骤3、采集待检测图像，并对其进行预处理，用步骤2建立的图像卷积神经网络模型对步骤1中建立的图像数据库中的图像和所述待检索图像分别进行特征向量提取；步骤4、对待检测图像的图像特征与图像数据库中的每一个特征向量进行欧式距离计算相似度，对数据库图像按照欧式距离由小到大的顺序排序，按顺序将对应的前n个图像反馈给用户，完成图像检索过程。2.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤1具体包括：步骤1.1、收集图像，准备用于检索的图像数据库，对库中的图像进行手动分类，并按照所在类别进行重命名；步骤1.2、将所有图像统一缩放至固定大小；步骤1.3、将图像数据库中的图像进行归一化和零均值化，以对整个图像数据消除该图像数据的均值。3.根据权利要求1所述的基于卷积神经网络的图像检索方法，其特征在于，步骤2中所述的利用步骤1中建立的数据库训练卷积神经网络模型具体方法是：将图像数据在经过Inception-v2神经网络模型之后再经过自己创建的...

【专利技术属性】
技术研发人员：金星，夏伟，胡聪，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42