基于感知损失的深度卷积神经网络的草图简化方法技术

本发明专利技术公开了基于感知损失的深度卷积神经网络的草图简化方法，包括步骤：1)数据获取；使用草稿图和对应的标签数据；2)数据处理；将图像数据集的草稿图和对应线稿图通过预处理转化为训练深度卷积神经网络所需要的格式；3)模型构建；根据训练目标，构造出一个适用于草图简化问题的深度卷积神经网络；4)定义损失函数；5)模型训练；根据损失函数计算网络的损失值，再通过反向传播算出各网络层参数的梯度，通过随机梯度下降法更新网络各层的参数；6)模型验证；使用验证数据集验证训练得到的模型，测试其泛化性能。本发明专利技术提出的方法，使得草图简化网络能处理杂线更为粗糙，主结构线不明确的草图，对于光照的影响具有较强的鲁棒性。

Sketch based simplification method for deep convolution neural network based on perceptual loss

The invention discloses a sketch simplification method of depth convolution neural network based on perceptual loss, which comprises the following steps: 1) data acquisition; using the sketch and corresponding label data; 2) data processing; converting the sketch and corresponding line sketch of the image data set into the format needed for training the depth convolution neural network by pretreatment. 3) model construction; a deep convolution neural network suitable for sketch simplification is constructed according to training objectives; 4) loss function is defined; 5) model training; loss value of network is calculated according to loss function, and the gradient of network layer parameters is calculated by back propagation, and the network is updated by stochastic gradient descent method. Layer parameters; 6) model validation; use the validation data set to validate the trained model and test its generalization performance. The method of the invention can make the sketch simplified network deal with the sketch with coarse clutter lines and unclear main structure lines, and has strong robustness to the influence of illumination.

【技术实现步骤摘要】
基于感知损失的深度卷积神经网络的草图简化方法
本专利技术涉及计算机图像处理的
，尤其是指一种基于感知损失的深度卷积神经网络的草图简化方法。
技术介绍
绘制草图是艺术创作的第一步。在这一步中，创作者通常只想表达概念和构图，而不是着重于细节的刻画。在创造完草图后，创作者需要在草图基础上描绘干净的线稿，这是一个繁冗并且耗费人工的工作。近些年，随着深度学习的快速发展，利用深度卷积神经网络，可以学习到干净线稿图的特征，从而将杂线多的草图转变为拥有线稿图特征的简化线稿图。但是其存在的问题是，目前的深度学习方法直接通过计算生成图和人工标注线稿的欧氏距离来衡量损失，而实际上草图和线稿并不是像素上一一匹配的，而是在视觉感知上一致，这就使得现有的深度学习方法只能处理比较简单没那么杂乱的线稿，而对于一些难度较大的，主结构线不明确的，需要语义上理解的线稿便会出现线条丢失、模糊、变形扭曲，简化能力不足等问题。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于感知损失的深度卷积神经网络的草图简化方法，该方法可以很好地对任意大小的草图进行简化，突破了之前草图简化方法中丢失、模糊、线条变形扭曲，简化能力不足等问题。为了达到上述目的，本专利技术采用以下技术方案：本专利技术基于感知损失的深度卷积神经网络的草图简化方法，包括下述步骤：1)数据获取；使用草稿图和对应的标签数据，训练深度卷积神经网络需要训练数据，所述标签数据就是人工在草稿图基础上画出的对应线稿图，然后划分为训练数据集以及验证数据集；2)数据处理；将图像数据集的草稿图和对应线稿图通过预处理转化为训练深度卷积神经网络所需要的格式；3)模型构建；根据训练目标以及模型的输入输出形式，构造出一个适用于草图简化问题的深度卷积神经网络；4)定义损失函数；根据训练目标以及模型的架构，定义出所需的损失函数；5)模型训练；初始化各层网络的参数，不断迭代输入训练样本，根据损失函数计算得到网络的损失值，再通过反向传播计算出各网络层参数的梯度，通过随机梯度下降法对各层网络的参数进行更新；6)模型验证；使用验证数据集对训练得到的模型进行验证，测试其泛化性能。作为优选的技术方案，所述步骤2)中，数据处理具体为：2.1)将图像转成灰度图；2.2)对数据集中的图像进行水平、垂直、对角翻转，对应的线稿图也做同样的翻转操作；2.3)给翻转后的图片加上色调变换、噪声以及阴影；2.4)将处理后的图片裁剪为设定大小，对应的线稿图也裁剪到相应大小；2.5)对数据集中的图像从[0,255]转换到[-1,1]的范围内。作为优选的技术方案，所述步骤2.4)中，处理后的图片裁剪为384×384像素大小。作为优选的技术方案，所述步骤3)中，模型构建具体为：3.1)构造草图简化网络模型；所述草图简化网络模型负责把输入的草图简化成线稿，其输入是一张任意大小的草图，输出是一张同样尺寸大小简化后的线稿图；草图简化网络模型由两个串联的编码器模型和解码器模型构成；所述编码器模型是用于从输入的草图中提取出高层的语义信息并保存到一个低维的编码中；所述解码器模型是用于从低维的编码中拆解并还原出被简化后的结果图；3.2)构造特征提取网络模型；所述特征提取网络模型用于从输入的图像中提取出高层的语义信息并在这个高层语义信息下进行比较，特征提取网络的输入为经过步骤3.1)处理的简化后的结果图以及对应的人工标注线稿图，在输入预训练VGG16网络前，需要将输入图像扩展为3×384×384，在一个高层语义信息下，取结果图和对应人工标注线稿图各自的特征图进行比较。作为优选的技术方案，所述步骤3.1)中，所述编码器模型包括多个级联的下采样层，所述下采样层由串联的卷积层、批量正则化层、以及非线性激活层组成，在增大感受野的同时逐渐减小了图像的尺寸，使用带步长的卷积层使网络自主学习下采样，批量正则化层通过归一化同一个批次的输入样本的均值和标准差，起到了稳定和加速模型训练的作用，非线性激活层的加入防止了模型退化为简单的线性模型，提高了模型的描述能力；所述解码器模型包括多个级联的上采样层，所述上采样层由串联的反卷积层、批量正则化层、以及非线性激活层组成，起到了从低维编码放大图像尺寸的作用，带步长的反卷积层使网络自主学习上采样，批量正则化层和非线性激活层的作用与编码器中同样，同时我们还引入残差块以加快训练速度。作为优选的技术方案，所述步骤3.2)中，所述特征提取网络模型包含多个级联的下采样层，所述下采样层由串联的卷积层、以及非线性激活函数层、池化层组成，其中卷积层步长为1，卷积核大小为3×3，提取出相应的特征图，非线性激活层的加入防止模型退化为简单的线性模型，提高模型的描述能力，池化层的作用是缩小特征图的大小，从而增加卷积核的感受野。作为优选的技术方案，所述步骤4)中，定义损失函数具体为：所述函数的计算方法是将经过草图简化网络简化后的结果图及其对应的事先已经人工标记好的线稿图一起输入特征提取网络，在一个高层的语义信息下，取结果图和线稿图各自对应的特征图进行比对，定义损失函数使结果图的特征图和线稿图的特征图尽可能地接近；因此，简化草图的损失函数能够定义为感知损失，公式如下所示：其中，Lpec为感知损失函数，和Iy分别表示简化网络生成的结果图和其对应的线稿图，Wi,j，Hi,j和Ci,j分别表示特征图的宽度，高度，通道数量，φi,j(I)表示特征图函数，i和j表示特征图的标号。作为优选的技术方案，所述步骤5)中，模型训练的具体方法为：5.1)初始化模型各层参数各层参数的初始化采用的是深度卷积神经网络中常用到的方法，对特征提取网络的卷积层参数利用在ImageNet预训练好的VGG16网络模型的卷积层参数值作为初始值，草图简化网络中的卷积层，采用均值为0，标准差用计算得出的高斯分布进行初始化，其中，scale是结果图相对原图放大的倍数，fanin是输入的图片数量；5.2)训练网络模型随机输入经过步骤2)处理的原始图像，经过步骤3.1)的草图简化网络生成简化后的结果图，输入经过步骤3.1)的结果图和对应人工标注线稿图，经过步骤3.2)的特征提取网络得到相应的特征图，在并通过步骤4.1)计算相应的感知损失值，然后将这个感知损失值通过反向传播能够得到步骤3.1)草图简化网络模型中的各层参数的梯度，再通过随机梯度下降算法使得到的梯度对各层参数进行优化，即可实现一轮网络模型的训练；5.3)重复步骤5.2)直到网络关于草图简化的能力达到预期的目标为止。作为优选的技术方案，所述步骤6)中，模型验证的具体方法为：随机从验证数据集中取出一些原始图像，经过步骤2)处理后，输入到步骤5)训练好的网络模型，让该网络模型去简化输入的草图，通过输出的结果与对应的人工标注线稿图进行比对，从而判断该训练好的网络模型的草图简化能力。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术提出了一个简单的深度卷积神经网络以及感知损失函数(PerceptualLoss，用一个预训练好的VGG特征提取网络实现)，解决了复杂草图简化问题，达到视觉效果更好、适用性更广的目的，2、本专利技术提出了一个扩增数据集的方法，使得草图简化网络对于光照和阴影的影响具有较强的鲁棒性，适用于扫描和随意拍摄的草图。附图说明图1本文档来自技高网...

【技术保护点】
1.基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，包括下述步骤：1)数据获取；使用草稿图和对应的标签数据，训练深度卷积神经网络需要训练数据，所述标签数据就是人工在草稿图基础上画出的对应线稿图，然后划分为训练数据集以及验证数据集；2)数据处理；将图像数据集的草稿图和对应线稿图通过预处理转化为训练深度卷积神经网络所需要的格式；3)模型构建；根据训练目标以及模型的输入输出形式，构造出一个适用于草图简化问题的深度卷积神经网络；4)定义损失函数；根据训练目标以及模型的架构，定义出所需的损失函数；5)模型训练；初始化各层网络的参数，不断迭代输入训练样本，根据损失函数计算得到网络的损失值，再通过反向传播计算出各网络层参数的梯度，通过随机梯度下降法对各层网络的参数进行更新；6)模型验证；使用验证数据集对训练得到的模型进行验证，测试其泛化性能。

【技术特征摘要】
1.基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，包括下述步骤：1)数据获取；使用草稿图和对应的标签数据，训练深度卷积神经网络需要训练数据，所述标签数据就是人工在草稿图基础上画出的对应线稿图，然后划分为训练数据集以及验证数据集；2)数据处理；将图像数据集的草稿图和对应线稿图通过预处理转化为训练深度卷积神经网络所需要的格式；3)模型构建；根据训练目标以及模型的输入输出形式，构造出一个适用于草图简化问题的深度卷积神经网络；4)定义损失函数；根据训练目标以及模型的架构，定义出所需的损失函数；5)模型训练；初始化各层网络的参数，不断迭代输入训练样本，根据损失函数计算得到网络的损失值，再通过反向传播计算出各网络层参数的梯度，通过随机梯度下降法对各层网络的参数进行更新；6)模型验证；使用验证数据集对训练得到的模型进行验证，测试其泛化性能。2.根据权利要求1所述基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，所述步骤2)中，数据处理具体为：2.1)将图像转成灰度图；2.2)对数据集中的图像进行水平、垂直、对角翻转，对应的线稿图也做同样的翻转操作；2.3)给翻转后的图片加上色调变换、噪声以及阴影；2.4)将处理后的图片裁剪为设定大小，对应的线稿图也裁剪到相应大小；2.5)对数据集中的图像从[0,255]转换到[-1,1]的范围内。3.根据权利要求1所述基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，所述步骤2.4)中，处理后的图片裁剪为384×384像素大小。4.根据权利要求1所述基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，所述步骤3)中，模型构建具体为：3.1)构造草图简化网络模型；所述草图简化网络模型负责把输入的草图简化成线稿，其输入是一张任意大小的草图，输出是一张同样尺寸大小简化后的线稿图；草图简化网络模型由两个串联的编码器模型和解码器模型构成；所述编码器模型是用于从输入的草图中提取出高层的语义信息并保存到一个低维的编码中；所述解码器模型是用于从低维的编码中拆解并还原出被简化后的结果图；3.2)构造特征提取网络模型；所述特征提取网络模型用于从输入的图像中提取出高层的语义信息并在这个高层语义信息下进行比较，特征提取网络的输入为经过步骤3.1)处理的简化后的结果图以及对应的人工标注线稿图，在输入预训练VGG16网络前，需要将输入图像扩展为3×384×384，在一个高层语义信息下，取结果图和对应人工标注线稿图各自的特征图进行比较。5.根据权利要求4所述基于感知损失的深度卷积神经网络的草图简化方法，其特征在于，所述步骤3.1)中，所述编码器模型包括多个级联的下采样层，所述下采样层由串联的卷积层、批量正则化层、以及非线性激活层组成，在增大感受野的同时逐渐减小了图像的尺寸，使用带步长的卷积层使网络自主学习下采样，批量正则化层通过归一化同一个批次的输入样本的均值和标准差，起到了稳定和加速模型训练的作用，非线性激活层的加入防止了模型退化为简单的线性模型，提高了模型的...

【专利技术属性】
技术研发人员：徐雪妙，谢敏珊，缪佩琦，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44