一种基于生成式对抗网络的草图补全与识别方法和装置制造方法及图纸

本发明专利技术公开一种基于生成式对抗网络的草图补全与识别方法和装置。本发明专利技术包括：(1)基于条件生成式对抗神经网络，针对草图相对于彩色图片语义信息稀疏的特点，利用级联策略对生成式对抗神经网络进行改进；(2)扩展草图补全网络的类别通用性，设置草图识别任务作为辅助任务，同时在网络结构中增加草图识别辅助网络；(3)将草图补全方法应用于残缺草图的识别任务、基于残缺草图的图像检索任务和草图场景编辑任务中；(6)集成草图补全方法形成草图补全应用平台，支持包括交互式草图补全、草图补全与识别、草图场景分割与补全、交互式草图补全辅助等应用功能，能够在PC、手机、平板电脑、电子白板等多种设备和终端上进行应用。

A Sketch Completion and Recognition Method and Device Based on Generative Countermeasure Network

【技术实现步骤摘要】
一种基于生成式对抗网络的草图补全与识别方法和装置
本专利技术属于计算机视觉领域，具体涉及一种基于生成式对抗网络(GenerativeAdversialNetwork，GAN)的草图补全与识别方法和装置。
技术介绍
草图是一种能直观地表达抽象概念与用户意图的自然符号(参考文献：LiuYJ,MaC,ZhaoG,etal.AnInteractiveSpiralTapeVideoSummarization[J].IEEETransactionsonMultimedia,2016,18(7):1269-1282.)，在多媒体组织与人机交互领域具有广泛的应用。近年来，草图识别(sketchrecognition)、基于草图的图像识别(sketch-basedimageretrieval,SBIR)、基于草图的图像生成(sketch-basedimagegeneration，SBIG)、草图解析(sketchparsing)、草图视频摘要(sketch-basedvideosummerization)等草图相关技术的研究都取得了巨大的进展。特别的，随着深度学习技术的引进，几个重要的草图数据库得以建立(如TU-Berlin、TheSketchyDatabase、TheSketchyScene、Fine-GrainedSBIRDatasets等草图数据库)，基于大数据的草图基础技术研究得到了进一步发展。目前的草图相关基础技术和应用技术都建立在输入草图具有完整性的前提下，完整的草图包含了视觉感知上闭合的轮廓，用一系列稀疏的线条来描述物体的关键形状特征。近十年来草图识别算法(参考文献：J.Y.He,X.Wu,Y.G.Jiang,B.Zhao,andQ.Peng,“Sketchrecognitionwithdeepvisual-sequentialfusionmodel,”inACMonMultimediaConference,2017,pp.448–456.)与草图分类技术(参考文献：H.Zhang,S.Liu,C.Zhang,W.Ren,R.Wang,andX.Cao,“Sketchnet:Sketchclassificationwithwebimages,”inIEEEConferenceonComputerVisionandPatternRecognition,2016,pp.1105–1113.)取得了巨大的进展，但对于残缺草图的识别问题一直未得到关注与解决。在手绘草图的实际应用场景中通常存在不完整草图(或称残缺草图)，例如同一草图场景中多个草图目标互相重叠、手绘草图编辑过程的中间结果、经目标检测和目标分割(objectdetection、objectsegmentation)后产生的结果草图，通常都是不完整的。残缺草图的存在给草图相关的应用带来了很大的局限性，目前的草图相关算法都是为完整的草图设计，将残缺草图直接应用于草图相关应用，特别是草图识别算法，会大大降低现有草图识别算法的准确率。如何对残缺草图进行预处理，使其适用于当前的各种草图相关应用，特别地，如何有效地提高残缺草图存在的情况下，草图识别算法的精度，已经成为扩大草图应用场景、进一步深入草图相关研究的迫切需求。草图补全(sketchcompletion)的目的是生成合理的草图线条来填充残缺草图缺失区域的信息。近年来彩色图像的补全问题(inpainting)得到了广泛的研究(参考文献：K.HeandJ.Sun,“Statisticsofpatchoffsetsforimagecompletion,”inEuropeanConferenceonComputerVision,2012,pp.16–29.)，而草图相比于彩色图像缺少了颜色和纹理信息，因此为彩色图像设计的补全方法不能直接运用于草图上。进一步的，草图具有多样性，同一个物体的草图可能有多种风格的画法，不同人对同一物体的草图绘制也不尽相同，这给草图补全问题带来了巨大的挑战。另外一个与草图补全相关的问题是轮廓补全(contourcompletion)，二者的相同点在于都是生成黑白像素点来补充轮廓的残缺区域。轮廓补全的目标是从彩色图像中提取感知显著的轮廓，或者在场景图像中找到物体的表面边界，近年来轮廓补全问题的研究取得了巨大的进展(参考文献：Y.Ming,H.Li,andX.He,“Connectedcontours:Anewcontourcompletionmodelthatrespectstheclosureeffect,”inComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012,pp.829–836.)。轮廓补全必须与其真实对应的彩色图像边缘保持高度一致，而草图具有多样性与抽象性(参考文献：M.Eitz,J.Hays,andM.Alexa,“Howdohumanssketchobjects？”ACMTransactionsonGraphics,vol.31,no.4,pp.1–10,2012.)，并不要求与原始图像的边界精确对齐，与原始图像之间没有明确的映射关系，因此不能直接将现有的轮廓补全方法应用于草图补全问题。
技术实现思路
本专利技术的目的在于提出一种基于生成式对抗网络的草图补全与识别方法(简称SketchGAN)，对残缺草图数据进行有效的生成式补全与修复，同时利用补全后的草图数据进行草图识别，提高目前主流草图识别算法对残缺草图的识别准确率。本专利技术所提出的主要方法包括首先提出草图补全这一新问题、建立同时处理草图补全与草图识别的多任务生成式对抗网络、建立针对草图补全的级联(cascaded)生成式对抗网络模型、建立衡量草图补全效果的量化评价标准。本专利技术的目标是设计一种以草图补全为主、以草图识别为辅，同时解决草图补全与草图识别两个问题的深度神经网络：一方面，利用草图识别辅助任务提供草图补全主任务的算法性能；另一方面，利用草图补全的结果，反过来提高大多数现有主流草图识别算法对残缺草图的识别准确率。SketchGAN：基于生成式对抗神经网络的草图补全与识别方法的优势在于：草图识别这一辅助任务能提高草图补全主任务的补全效果，并且草图补全的结果能提高草图识别算法的识别精度，两个任务相互促进，相互改善。本专利技术主要包括以下内容：1)基于条件生成式对抗神经网络(ConditionalGenerativeAdversarialNetworks)，针对草图相对于彩色图片语义信息稀疏的特点，利用级联策略对生成式对抗神经网络进行改进。级联式的草图补全方法，通过将前一个级联阶段的输出特征与原始输入的残缺草图融合，作为后一个级联阶段的输入。如此，重复利用原始输入残缺草图和各中间级联层输出的草图特征信息，逐步增强草图补全的效果。2)扩展草图补全网络的类别通用性，设置草图识别任务作为辅助任务，同时在网络结构中增加草图识别辅助网络。在本专利技术提出模型的训练过程中，原始输入的残缺草图首先进行补全，然后将补全后的草图输入识别网络。利用草图识别结果作为草图类别的先验知识，反过来辅助草图补全主任务，改善草图补全网络对多类别残缺草图的补全效果。3)将本本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的草图补全方法，其步骤包括：1)建立级联生成式对抗神经网络模型，其包括生成器、判别器和分类器，所述生成器包括至少两个级联阶段，其中前一个级联阶段的输出特征与原始输入的残缺草图融合，作为后一个级联阶段的输入；2)对所述级联生成式对抗神经网络模型进行训练，训练过程中将所述分类器得到的草图识别结果作为草图类别的先验知识，辅助所述生成器和所述判别器进行草图补全；3)将残缺草图输入训练完成的所述级联生成式对抗神经网络模型，输出补全的草图。

【技术特征摘要】
1.一种基于生成式对抗网络的草图补全方法，其步骤包括：1)建立级联生成式对抗神经网络模型，其包括生成器、判别器和分类器，所述生成器包括至少两个级联阶段，其中前一个级联阶段的输出特征与原始输入的残缺草图融合，作为后一个级联阶段的输入；2)对所述级联生成式对抗神经网络模型进行训练，训练过程中将所述分类器得到的草图识别结果作为草图类别的先验知识，辅助所述生成器和所述判别器进行草图补全；3)将残缺草图输入训练完成的所述级联生成式对抗神经网络模型，输出补全的草图。2.如权利要求1所述的方法，其特征在于，所述生成器包含三个级联阶段，在提高模型草图补全效果的同时减少模型的时间开销；在生成器的第一个级联阶段，把原始输入的残缺草图x作为输入，输出中间补全结果y1；在生成器的第二个级联阶段，把x和第一阶段的输出y1进行特征融合后作为输入，输出中间补全结果y2；在生成器的第二个级联阶段，把x、第一阶段的输出y1、第二阶段的输出y2进行特征融合后作为输入，输出最终补全结果y3。3.如权利要求2所述的方法，其特征在于，步骤2)对所述级联生成式对抗神经网络模型进行训练的过程包括：2.1)将生成器最后一个级联阶段的输出y3输入分类器，对y3进行类别识别，输出一个分类损失Lossc；2.2)将生成器最后一个级联阶段的输出y3输入判别器，判别此图像是否是真实图像或者生成图像，输出一个判别损失LossD；2.3)将分类损失Lossc与判别损失LossD融合后对所述级联生成式对抗神经网络模型进行更新。4.如权利要求1所述的方法，其特征在于，所述生成器采用U-Net网络结构，在编码器和解码器堆栈中的镜像层加入跳跃链接；所述判别器采用双判别器模型，由一个局部判别器和一个全局判别器组成；所述分类器采用Sketch-a-Net中提出的草图识别模型，采用的损失函数为交叉熵损失。5.如权利要求1所述的方法，其特征在于，对所述级联生成式对抗神经网络模型进行训...

【专利技术属性】
技术研发人员：马翠霞，刘舫，邓小明，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11