一种基于多层视觉表达和深度网络的手绘图像检索方法技术

本发明专利技术属于计算机视觉与深度学习领域，具体公开了一种基于多层视觉表达和深度学习神经网络的手绘图像检索方法，该检索方法包括如下步骤：s1、手绘图像和自然图片多层视觉表达的分解；s2、设计多层深度学习卷积网络的框架，对图像的多层语义进行学习；s3、对于手绘和自然图片的不同层次进行特征提取；s4、多层视觉的深度特征融合；s5、进行相似度计算，获得最佳的检索结果。本发明专利技术方法的有益效果是：1、本文方法通过对手绘和自然图片的分层操作，极大地扩充了手绘和自然图片的语义信息、空间信息和细节特征；2、本文方法能够自动地对现有的手绘图像数据库和自然图像数据库进行扩充，在大数据的背景下，手绘图像的检索精度能实现20‑30％的提升。

A hand-painted image retrieval method based on multi-layer visual expression and depth network

The invention belongs to the field of computer vision and deep learning, and particularly discloses a method of image retrieval multi visual expression and deep learning based on neural network, the retrieval method comprises the following steps: S1, hand drawn images and natural images of multi visual expression frame decomposition; convolutional network S2, multilayer design of multilayer semantic deep learning. The image of learning; S3, for drawing and pictures of nature at different levels of feature extraction; fusion depth characteristics of S4, multi visual; S5, similarity calculation, obtain the best retrieval results. The beneficial effect of the method is: 1, this method by stratified operation of hand-painted and natural images, greatly expanded the hand-painted and natural image semantic information, spatial information and details; 2, this method can expand the image database and the database of existing natural images automatically, in big data under the background, the image retrieval precision can achieve 20 30% increase.

【技术实现步骤摘要】
一种基于多层视觉表达和深度网络的手绘图像检索方法
本专利技术属于计算机视觉与深度学习领域，涉及基于多层视觉表达和深度网络的手绘图像检索方法。
技术介绍
手绘涂鸦对于人类是非常直观且通用的工具，从远古时期就被用来刻画人类所存在的现实的视觉世界。研究表明，手绘图片拥有与真实图片相同的机制来激活人类大脑皮层的视觉区域。近年来，随着可触屏设备的数量日益庞大，比如像触屏手机、触屏平板电脑等，基于手绘图像检索技术研究变得日益繁盛和重要起来。与传统的使用文本和基于图像内容的检索(比如谷歌图像搜索引擎)相比，手绘图像检索所拥有的灵活、新鲜的购物体验、方便易操作等优势正不断在吸引着用户。目前，大多数的手绘图像检索技术大体上延续了传统的图像检索的模式：首先，将彩色自然图片转换成类似于手绘图像的边缘图(sketch-likededgemap)，以期达到跨域检索的目的；其次，分别从手绘图像和边缘图上提取手工特征(HOG,ShapeContext,HELO)；紧接着，将这些特征分别输入到相似度排序器中，作为最后的特征描述子进项相似度的计算。因此，一张手绘图像与自然图片之间的相似度，就可以转化通过计算数据库中手本文档来自技高网...

【技术保护点】
一种基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，包括以下步骤：s1、获取手绘检索图像和数据库中的自然图片；s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达；s3、训练深度学习卷积神经网络，学习手绘图像和自然图片的多层视觉表达的深度特征；s4、对学习到的多层深度特征进行融合，获得最终的特征向量；s5、对手绘图像和自然图片的融合特征进行相似度计算，得到最佳的检索结果。

【技术特征摘要】
1.一种基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，包括以下步骤：s1、获取手绘检索图像和数据库中的自然图片；s2、对手绘图像和自然图片进行分层处理，得到多层视觉表达；s3、训练深度学习卷积神经网络，学习手绘图像和自然图片的多层视觉表达的深度特征；s4、对学习到的多层深度特征进行融合，获得最终的特征向量；s5、对手绘图像和自然图片的融合特征进行相似度计算，得到最佳的检索结果。2.根据权利要求1所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s1中，采用的手绘图像和自然图片来自于公开数据集Flickr15k，该数据集包含33类共330张由非专业的手绘人员所绘制的手绘图片，以及14490张彩色自然图片。3.根据权利要求2所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，所述步骤s2进一步包括：s21、对于手绘图像中的笔画strokeoringinal，使用分解规则将一张手绘图像分解成3层视觉表达。x1,x2,x3分别代表第1层到第3层视觉表达，strokeoriginal代表的是一幅手绘图像中的笔画的总数，desiredlayer代表的是用户需要的层次，默认设置为3。s22、对于自然图片，使用的分解方法：提取出自然图片的边缘图，对于边缘图的中的像素使用K-means聚类方法，聚类成3类，这3类像素各自组成3个视觉表达，获得自然图片的3种视觉表达。4.根据权利要求的3所述的基于多层视觉表达和深度网络的手绘图像检索方法，其特征在于，得到手绘图像和自然图片的多层视觉表达，它们特征的学习是基于深度学习卷积神经网络的方法。所述步骤s3进一步...

【专利技术属性】
技术研发人员：于邓，刘玉杰，王文超，庞芸萍，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37