一种基于多层视觉表达和深度网络的手绘图像检索方法技术

本发明专利技术属于计算机视觉与深度学习领域，具体公开了一种基于多层视觉表达和深度学习神经网络的手绘图像检索方法，该检索方法包括如下步骤：s1、手绘图像和自然图片多层视觉表达的分解；s2、设计多层深度学习卷积网络的框架，对图像的多层语义进行学习；s3、对于手绘和自然图片的不同层次进行特征提取；s4、多层视觉的深度特征融合；s5、进行相似度计算，获得最佳的检索结果。本发明专利技术方法的有益效果是：1、本文方法通过对手绘和自然图片的分层操作，极大地扩充了手绘和自然图片的语义信息、空间信息和细节特征；2、本文方法能够自动地对现有的手绘图像数据库和自然图像数据库进行扩充，在大数据的背景下，手绘图像的检索精度能实现20‑30％的提升。

A hand-painted image retrieval method based on multi-layer visual expression and depth network

The invention belongs to the field of computer vision and deep learning, and particularly discloses a method of image retrieval multi visual expression and deep learning based on neural network, the retrieval method comprises the following steps: S1, hand drawn images and natural images of multi visual expression frame decomposition; convolutional network S2, multilayer design of multilayer semantic deep learning. The image of learning; S3, for drawing and pictures of nature at different levels of feature extraction; fusion depth characteristics of S4, multi visual; S5, similarity calculation, obtain the best retrieval results. The beneficial effect of the method is: 1, this method by stratified operation of hand-painted and natural images, greatly expanded the hand-painted and natural image semantic information, spatial information and details; 2, this method can expand the image database and the database of existing natural images automatically, in big data under the background, the image retrieval precision can achieve 20 30% increase.

【技术实现步骤摘要】
一种基于多层视觉表达和深度网络的手绘图像检索方法
本专利技术属于计算机视觉与深度学习领域，涉及基于多层视觉表达和深度网络的手绘图像检索方法。
技术介绍
手绘涂鸦对于人类是非常直观且通用的工具，从远古时期就被用来刻画人类所存在的现实的视觉世界。研究表明，手绘图片拥有与真实图片相同的机制来激活人类大脑皮层的视觉区域。近年来，随着可触屏设备的数量日益庞大，比如像触屏手机、触屏平板电脑等，基于手绘图像检索技术研究变得日益繁盛和重要起来。与传统的使用文本和基于图像内容的检索(比如谷歌图像搜索引擎)相比，手绘图像检索所拥有的灵活、新鲜的购物体验、方便易操作等优势正不断在吸引着用户。目前，大多数的手绘图像检索技术大体上延续了传统的图像检索的模式：首先，将彩色自然图片转换成类似于手绘图像的边缘图(sketch-likededgemap)，以期达到跨域检索的目的；其次，分别从手绘图像和边缘图上提取手工特征(HOG,ShapeContext,HELO)；紧接着，将这些特征分别输入到相似度排序器中，作为最后的特征描述子进项相似度的计算。因此，一张手绘图像与自然图片之间的相似度，就可以转化通过计算数据库中手绘图像与他们的边缘图的特征距离获得。然而，手绘草图与自然图片之间的巨大的差异性：因为与自然图片相比，手绘草图展现出高度抽象的视觉表达，用现有的方法对手绘草图进行特征提取，其产生的特征描述子对手绘草图的内容无法进行有效地拟合；对于相同的物体，不同的人群用手绘草图描述方式和表达也有着巨大的差距，这就使得手绘草图—自然图片的匹配更加困难；同时，将手绘草图与自然图片映射到相同视觉域的工作也是一项具有困难的任务。所以，手绘草图检索技术是大家公认的比较有挑战性的任务。因此，有必要设计一个基于手绘图像和自然图片的多层视觉表达和深度学习卷积神经网络的手绘图像检索方法，来解决以上问题。
技术实现思路
本专利技术的目的在于提出一种基于多层视觉表达和深度网络的手绘图像检索方法，其采用如下方案：基于多层视觉表达和深度网络的手绘图像检索方法，包括如下步骤：s1、获取手绘检索图像和数据库中的自然图片；s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达；s3、训练深度学习卷积神经网络，学习手绘图像、自然图片的多层视觉表达的深度特征；s4、对学习到的多层深度特征进行融合，获得最终的特征向量；s5、对手绘图像和自然图片的融合特征进行相似度计算，得到最佳的检索结果。2、根据权利要求1所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s1中，采用的手绘图像和自然图片来自于公开数据集Flickr15k，该数据集包含33类共330张由非专业的手绘人员所绘制的手绘图片，以及14490张彩色自然图片。3、根据权利要求2所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s2进一步包括：s21、对于手绘图像中的笔画strokeoringinal，使用分解规则将一张手绘图像分解成3层视觉表达。x1,x2,x3分别代表第1层到第3层视觉表达，strokeoriginal代表的是一幅手绘图像中的笔画的总数，desiredlayer代表的是想要的层次，默认设置为3。s22、对于自然图片，使用的分解方法：提取出自然图片的边缘图，对于边缘图的中的像素使用K-means聚类方法，聚类成3类，这3类像素各自组成3个视觉表达，获得自然图片的3种视觉表达。4、根据权利要求的3所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，得到手绘图像和自然图片的多层视觉表达，它们特征的学习是基于深度学习卷积神经网络的方法。所述步骤s3进一步包括：s31、针对手绘图像和自然图片的3层视觉表达，分别设计3层融合深度学习神经网络来训练数据，每一层的深度学习网络采用imagenet-very-deep-19网络框架，其深度是43层。s32、训练网络直至迭代收敛，提取每一层训练好的深度学习神经网络的第41层，即fc7层的特征作为手绘图像或自然图片每一层视觉表达的特征，每一层视觉表达的特征维度为512维。5、根据权利要求4所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s4中，得到手绘图像或自然图片的3层视觉表达的深度特征，对于3层深度特征进行特征融合，得到最终的特征向量。具体步骤进一步包括：s41、分别提取手绘图像的3层视觉表达的特征和自然图片的3层视觉表达的特征。s42、按照串联融合的原则进行特征融合，即从第1层是视觉表达的特征直到第3层视觉表达的特征首尾串联成一个特征向量作为手绘图像或自然图片的特征向量。6、根据权利要求3、4或5所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s4中，对于多层视觉特征的学习，使用的方法是把手绘图像和自然图片分别分解成3层视觉表达，并输入到设计好的基于层次的深度学习卷积神经网络中进行训练，每一层视觉表达都对应一个单独的深度网络对其进行特征学习，紧接着，将学习到的特征再进行融合操作，把多层深度特征整合为一个特征向量。7、根据权利要求5所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s5中，对于手绘图像与自然图片相似度的计算方法是计算手绘图像的特征向量和自然图片的特征向量之间的欧氏距离。欧式距离最小的，即为最佳的检索结果。本专利技术具有如下优点：本专利技术从计算机视觉的方法出发，直接对手绘图像和自然图片进行分层视觉处理，来消除传统边缘提取方法对自然图片提取的边缘图中存在的背景噪音，并且通过分层的方法来消除手绘图像和自然图片之间的高层视觉差和底层图像特征之间的代沟，有效地解决了手绘图像到自然图片的跨域检索效果。另外，本专利技术设计了多层深度学习卷积神经网络来学习手绘图像和自然图片两者的多层视觉表达的深度特征，并对多层深度特征进行融合，提高了最终特征向量的表达能力和拟合能力，大大提高了手绘图像的检索精度。本专利技术对于目前的生活实际运用价值很大，并且对目前手机或者平板电脑等移动端的网上购物和图像搜索应用的价值很大，对于大数据时代的图像检索具有十分重要的意义。附图说明图1为本专利技术中基于多层视觉表达和深度学习卷积神经网络的手绘图像检索的流程图；图2为本专利技术设计的多层融合卷积神经网络；图3为本专利技术中深度神经网络的训练模式；具体实施方式下面结合附图以及具体实施方式对本专利技术作进一步详细说明：结合图1、图2和图3所示，基于多层视觉表达和深度网络的手绘图像检索方法，包括如下步骤：s1、获取手绘检索图像和数据库中的自然图片本专利技术的方法适用于所有的自然图片库和手绘图像数据集，其中，本专利技术中的训练数据来源于公开数据集Flickr15k图像数据集，因为此数据集是目前该领域被大家工人同认可的，并且该数据集同时包含了大量手绘图像和自然图片数据。s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达结合图2，本专利技术按照不同的分层规则对手绘图像和自然图片进行视觉表达的分层，本专利技术中，默认分解的层次是3层。s21、手绘图像的分层规则：将一张手绘图像分解成3层视觉表达。x1,x2,x3分别代表第1层到第3层视觉表达，strokeoriginal代表的是一幅手绘图像中的笔画的总数，desiredlay本文档来自技高网...

【技术保护点】
一种基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，包括以下步骤：s1、获取手绘检索图像和数据库中的自然图片；s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达；s3、训练深度学习卷积神经网络，学习手绘图像和自然图片的多层视觉表达的深度特征；s4、对学习到的多层深度特征进行融合，获得最终的特征向量；s5、对手绘图像和自然图片的融合特征进行相似度计算，得到最佳的检索结果。

【技术特征摘要】
1.一种基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，包括以下步骤：s1、获取手绘检索图像和数据库中的自然图片；s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达；s3、训练深度学习卷积神经网络，学习手绘图像和自然图片的多层视觉表达的深度特征；s4、对学习到的多层深度特征进行融合，获得最终的特征向量；s5、对手绘图像和自然图片的融合特征进行相似度计算，得到最佳的检索结果。2.根据权利要求1所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s1中，采用的手绘图像和自然图片来自于公开数据集Flickr15k，该数据集包含33类共330张由非专业的手绘人员所绘制的手绘图片，以及14490张彩色自然图片。3.根据权利要求2所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s2进一步包括：s21、对于手绘图像中的笔画strokeoringinal，使用分解规则将一张手绘图像分解成3层视觉表达。x1,x2,x3分别代表第1层到第3层视觉表达，strokeoriginal代表的是一幅手绘图像中的笔画的总数，desiredlayer代表的是用户需要的层次，默认设置为3。s22、对于自然图片，使用的分解方法：提取出自然图片的边缘图，对于边缘图的中的像素使用K-means聚类方法，聚类成3类，这3类像素各自组成3个视觉表达，获得自然图片的3种视觉表达。4.根据权利要求的3所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，得到手绘图像和自然图片的多层视觉表达，它们特征的学习是基于深度学习卷积神经网络的方法。所述步骤s3进一步...

【专利技术属性】
技术研发人员：于邓，刘玉杰，王文超，庞芸萍，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37