一种基于卷积特征的图片检索方法及系统技术方案

本发明专利技术公开了一种基于卷积特征的图片检索方法及系统，其特征在于，利用图片库训练深度卷积神经网络模型，并以此提取图片库中图片的卷积特征和分类信息，利用卷积特征训练一个降维模型，在图片库中选定与待检索图片概率最大的m个类别的候选检索库，利用该降维模型对候选检索库图片和待检索图片的卷积特征压缩降维，选取相似度最高的n张图片作为检索结果，可以达到检索速度更快，准确性更高的有益效果。

【技术实现步骤摘要】
一种基于卷积特征的图片检索方法及系统
本专利技术涉及领域图片检索，特别是涉及一种基于卷积特征的图片检索方法及系统。
技术介绍
随着互联网的日益发展，图片在网络中的数目呈现指数级增长，传统基于关键词的图片检索方法已难以满足用户的需求，其局限性单纯的文字描述在于难以充分表达用户真实所想，因此基于图片内容的检索成为大家关注的重点。基于图片内容的检索是一种参考图片内容的搜索方法，目的是找到与待检索图片尽可能相似的图片，从而迅速找到与待检索图片的产品等。基于图片内容的检索一般包括如下步骤：第一步，获取待检索图片的特征表示，传统的特征表示方法有Sift、Haar等。第二步，计算待检索图片的特征表示与检索库内图片的特征表示的相似度，找出最相似的n张图片。传统的特征表示方法对图片的特征描述往往并不全面，对图片的描述并不完整，且特征表示维度过高，导致图片检索准确率不高，检索时间过长。因此，需要一种准确率高且速度快的图片检索方法和系统。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的不足，提供一种基于卷积特征的图片检索方法及系统。为解决上述技术问题，本专利技术提供一种基于卷积特征的图片检索方法及系统，其特征在于，包括如下步骤：步骤1，以分类为目标，利用百万级产品图片库训练一个深度卷积神经网络模型利用训练的深度卷积神经网络模型抽取出产品图片的卷积特征和分类信息，利用这些卷积特征训练一个降维模型，用来对高维度的卷积特征进行压缩并输出对应的卷积特征；步骤2，待检索图片通过深度卷积神经网络模型抽取出卷积特征和分类信息，再通过降维模型将卷积特征压缩并输出对应的卷积特征，所述分类信息包括类别及相应的概率；步骤3，通过待检索图片的分类信息，选择产品图片库中概率最大的m个类别作为候选检索库，计算压缩后的待检索图片卷积特征与候选检索库中图片的卷积特征的相似度，选取相似度最高的n张图片作为检索结果。所述步骤1中，对图片库的图片进行预处理，将图片批量规范化处理成卷积神经网络需要的格式与大小，深度卷积神经网络模型是一个20层以上的卷积神经网络，其倒数第二层的卷积信息作为卷积特征表示；降维模型将高维卷积特征降低到128维，保留主要卷积特征，并将所有降维后的卷积特征保存到数据库中；所述步骤2中，对待检索图片进行预处理，将图片规范化处理成卷积神经网络需要的格式与大小，用户将待检索图片输入深层卷积神经网络模型，输出分类信息，并保存其卷积特征，利用训练好的降维模型将卷积特征降低到128维；所述步骤3中，根据待检索图片预测类别及其概率，选取概率最大的3个类别作为待选类别，将待检索图片的128维卷积特征向量与待选类别图片库中卷积特征向量计算相似度，返回相似度最高的10张相似图片。所述步骤1中，百万级产品图片库是指由3000个类别物品，每个类别各2000张图片所组成的图片库，深度卷积神经网络模型包含多个卷积层、池化层；所述步骤3中，计算相似度的相似度度量公式为其中A,B分别为待检索图片特征向量与图片库图片特征向量。一种基于卷积特征的图片检索系统，其特征在于，包括深度卷积神经网络模块、降维模块和相似度计算模块，所述深度卷积神经网络模块中包括特征表示层模块和类别概率层模块，所述特征表示层模块与降维模块相连，所述相似度计算模块同时连接降维模块和类别概率层模块。本专利技术所达到的有益效果:通过提取图片库及待检索图片的卷积特征，并将其降维压缩，同时输出相应的分类类别概率，通过相似度计算对降维压缩后的特征表示向量和分类类别进行分析，得到所需的相似图片检索结果，相对于现有的基于传统特征图片检索方案，本方案速度更快，准确性更高。附图说明图1为本专利技术中基于卷积特征的图片检索方法的流程示意图；图2为本专利技术中基于卷积特征的图片检索系统的结构示意图；具体实施方式下面结合附图和示例性实施例对本专利技术作进一步的说明：图1是本专利技术基于卷积特征的图片检索方法及系统具体实施方式的检索流程图。在本实施方式中，主要包括以下步骤：步骤1：以分类为目标，训练一个20层以上的卷积神经网络，将倒数第二层卷积信息作为特征表示，将图片库图片输入卷积神经网络，获取其卷积特征，利用所有图片的卷积特征训练一个降维模型，将高维卷积特征降低到128维，保留主要特征，并将所有降维后的特征保存到数据库中。步骤2：用户将待检索图片输入卷积神经网络，输出预测类别及其概率，并保存其卷积特征，利用训练好的降维模型将卷积特征降低到128维。步骤3：根据待检索图片预测类别及其概率，选取概率最大的3个类别作为待选类别，将待检索图片的128维特征向量与待选类别图片库中特征向量计算相似度，返回相似度最高的n张相似图片。其中步骤1包含如下几个步骤：步骤11：选取3000个类别物品，每个类别各2000张图片，以分类为目标，训练一个20层以上的卷积神经网络，包含多个卷积层、池化层等，将图片库图片批量规范化处理成卷积神经网络需要的格式与大小，方便特征提取。对于卷积神经网络层数选择超过20层，选择图片3000个类别各2000张，是为了保证样本均衡，使得卷积神经网络能充分学习各类别的差别特征。步骤12：将卷积神经网络倒数第二层卷积输出作为特征表示，抽取图片的卷积特征向量。步骤13：利用所有图片抽取的卷积特征训练一个降维模型，目的在于保留主要特征并减少计算量，将所有图片降维后的特征保存到数据库中。步骤2包含如下几个步骤：步骤21：用户将待检索图片处理成系统需要的格式与大小。步骤22：将处理后的图片输入卷积神经网络，输出其预测类别及概率，步骤23：:保存图片的卷积特征。步骤24：利用训练好的降维模型，将待检索图片卷积特征降低到128维，方便与图片库图片特征向量计算相似度。将卷积特征降低到128维是为了降低运算量，同时保证卷积特征降维造成对检索准确率的影响尽可能小。步骤3包含如下几个步骤：步骤31：根据步骤22，选取预测概率最大的3个类别(即top3类别)作为待选类别，在检索库中抽取待选类别图片特征向量，并与待检索图片的卷积特征向量进行相似度计算，相似度度量的公式为：其中A,B分别为待检索图片特征向量与图片库图片特征向量。选择top3类别作为候选类别并在候选类别中进行检索，是为了缩小检索方位，加快检索速度。步骤32：对计算结果进行排序，选取top10结果返回，作为待检索图片的相似图片。图2是本专利技术基于卷积特征的图片检索方法及系统具体实施方式的结构示意图。模块21为，作用是抽取图片的卷积特征，输出图片的类别。训练该模块时以分类为目标，网络的最后两层包括一个特征表示层，一个类别概率层，分别用来输出新图片的卷积特征向量及可能的类别。模块22为降维模块，作用是降低卷积特征向量的维度。训练该模块时需要利用大规模图片的卷积特征向量，选取出最具代表性的特征作为图片的特征表示。模块23为相似度计算模块，作用是计算待检索图片特征向量与图片库图片特征向量的相似度，对相似度进行排序，选取topn作为结果返回。本专利技术主要用于提供一种基于卷积特征的图片检索方法及系统，通过提取图片库及待检索图片的卷积特征，并将其降维压缩，同时输出相应的分类类别概率，通过相似度计算对降维压缩后的特征表示向量和分类类别进行分析，得到所需的相似图片检索结果，对于卷积神经网络层数选择超过20层，选择图片3本文档来自技高网...

【技术保护点】
1.一种基于卷积特征的图片检索方法，其特征在于，包括如下步骤：步骤1，以分类为目标，利用百万级产品图片库训练一个深度卷积神经网络模型利用训练的深度卷积神经网络模型抽取出产品图片的卷积特征和分类信息，利用这些卷积特征训练一个降维模型，用来对高维度的卷积特征进行压缩并输出对应的卷积特征；步骤2，待检索图片通过深度卷积神经网络模型抽取出卷积特征和分类信息，再通过降维模型将卷积特征压缩并输出对应的卷积特征，所述分类信息包括类别及相应的概率；步骤3，通过待检索图片的分类信息，选择产品图片库中概率最大的m个类别作为候选检索库，计算压缩后的待检索图片卷积特征与候选检索库中图片的卷积特征的相似度，选取相似度最高的n张图片作为检索结果。

【技术特征摘要】
1.一种基于卷积特征的图片检索方法，其特征在于，包括如下步骤：步骤1，以分类为目标，利用百万级产品图片库训练一个深度卷积神经网络模型利用训练的深度卷积神经网络模型抽取出产品图片的卷积特征和分类信息，利用这些卷积特征训练一个降维模型，用来对高维度的卷积特征进行压缩并输出对应的卷积特征；步骤2，待检索图片通过深度卷积神经网络模型抽取出卷积特征和分类信息，再通过降维模型将卷积特征压缩并输出对应的卷积特征，所述分类信息包括类别及相应的概率；步骤3，通过待检索图片的分类信息，选择产品图片库中概率最大的m个类别作为候选检索库，计算压缩后的待检索图片卷积特征与候选检索库中图片的卷积特征的相似度，选取相似度最高的n张图片作为检索结果。2.如权利要求1所述的一种基于卷积特征的图片检索方法，其特征在于：所述步骤1中，对图片库的图片进行预处理，将图片批量规范化处理成卷积神经网络需要的格式与大小，深度卷积神经网络模型是一个20层以上的卷积神经网络，其倒数第二层的卷积信息作为卷积特征表示；降维模型将高维卷积特征降低到128维，保留主要卷积特征，并将所有降维后的卷积特征保存到数据库中；所述步...

【专利技术属性】
技术研发人员：吕晨，夏宇，房鹏展，王旻毅，
申请(专利权)人：百卓网络科技有限公司，
类型：发明
国别省市：江苏,32