结合带孔卷积与多尺度感知网络的手绘草图检索方法技术

本发明专利技术属于计算机视觉与深度学习领域，具体公开了一种结合带孔卷积与多尺度感知网络的手绘草图检索方法，该方法包括如下步骤：S1、获取手绘草图与自然彩图数据库S2、将自然彩图转换成边缘图S3、训练基于带孔卷积的多尺度感知网络S4、使用训练后的网络提取手绘图与边缘图的深度特征S5、对提取到的特征进行特征融合S6、计算特征之间的相似度得到初步检索结果S7、通过聚类算法进一步优化检索结果。本发明专利技术方法的有益效果是：1.在传统神经网络中融入带孔卷积，在增大网络感受野的同时提高了网络对手绘图像提取特征的鲁棒性2.网络采用多尺度感知结构，能有效应对手绘草图尺度变化的情况。本发明专利技术提出的方法能够大大提高手绘草图的检索精度。

【技术实现步骤摘要】
结合带孔卷积与多尺度感知网络的手绘草图检索方法
本专利技术属于计算机视觉与深度学习领域，涉及结合带孔卷积与多尺度感知网络的手绘草图检索方法。
技术介绍
手绘草图检索是基于内容的图像检索技术的一种，研究表明，手绘图片拥有与真实图片相同的机制来激活人类大脑皮层的视觉区域。与基于文本的图像检索以及传统的基于自然彩图的图像检索相比，手绘图具有易于获取、抽象概括性强、不受语言文化限制等优点，而且随着触屏手机、触屏平板电脑等可触屏设备的数量日益庞大，手绘图像的获取愈加容易，基于手绘草图的图像检索目前正得到越来越多的关注并具有广阔的应用前景。比如商业上在线商城使用手绘图检索商品，安防上使用画像追凶等等。由于手绘草图与自然彩图在视觉上具有很大的鸿沟，可以认为他们来自不同的域，因此基于手绘草图的图像检索是一项具有挑战性的任务。目前手绘草图检索主流的思路是先通过边缘检测等算法将自然彩图转化成类手绘图，然后设计手工特征(HOG,ShapeContext,HELO等)或者使用神经网络提取深度特征来进行相似性度量，按相似性排序返回检索结果。与传统方法相比，基于深度学习的方法在手绘草图检索任务上的优势愈加明显，本文档来自技高网...

【技术保护点】
1.结合带孔卷积与多尺度感知网络的手绘草图检索方法，其特征在于，包括以下步骤：s1、获取待检索的手绘草图和数据库中的自然图像；s2、通过边缘检测算法对自然图像进行边缘检测得到类手绘图，即边缘图；s3、训练基于带孔卷积的多尺度感知网络；s4、用训练完成的多尺度感知网络分别提取手绘图像和边缘图特征；s5、对多尺度感知网络提取的特征进行特征融合；s6、对手绘图特征和边缘图特征进行相似度计算并得到初步检索结果；s7、通过聚类方法对检索结果重新排序得到最终检索结果。

【技术特征摘要】
1.结合带孔卷积与多尺度感知网络的手绘草图检索方法，其特征在于，包括以下步骤：s1、获取待检索的手绘草图和数据库中的自然图像；s2、通过边缘检测算法对自然图像进行边缘检测得到类手绘图，即边缘图；s3、训练基于带孔卷积的多尺度感知网络；s4、用训练完成的多尺度感知网络分别提取手绘图像和边缘图特征；s5、对多尺度感知网络提取的特征进行特征融合；s6、对手绘图特征和边缘图特征进行相似度计算并得到初步检索结果；s7、通过聚类方法对检索结果重新排序得到最终检索结果。2.根据权利要求1所述的结合带孔卷积与多尺度感知网络的手绘草图检索方法，其特征在于，所述步骤s1中，采用的手绘图像和自然图片来自于公开数据集Sketchy，该数据集是用于手绘草图检索的权威数据集。3.根据权利要求1所述的结合带孔卷积与多尺度感知网络的手绘草图检索方法，其特征在于，所述步骤s2中，通过边缘检测算法，例如Berkeley边缘检测算法将自然彩图转换为边缘图，即类手绘图。4.根据权利要求的1所述的结合带孔卷积与多尺度感知网络的手绘草图检索方法，其特征在于，所述步骤s3中，设计并训练基于带孔卷积的多尺度感知网络，进一步包括：s31、采用在ImageNet数据集上训练好的VGG19网络为基本网络结构，将conv1_1、conv2_1、conv3_1、conv4_1卷积层修改为多尺度感知层，即采用3个感受野不同的并行卷积核，3个卷积核均为带孔卷积，采取不同的扩张率，分别感知输入的不同尺度，并添加一层汇聚层将3个卷积核得到特征图聚合，聚合方式为取相应位置激活值的最大值；s32、使用在ImageNet上训练得到的权...

【专利技术属性】
技术研发人员：刘玉杰，王文超，付红姣，刘秀秀，于邓，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37