一种可控制的人物线稿图生成方法技术

本发明专利技术涉及线稿处理技术领域，尤其涉及一种可控制的人物线稿图生成方法。方法包括：通过图像到流网络生成人物图像的边缘切向流；通过双流生成器生成人物线稿图像。本发明专利技术设计了一个从图像高效生成边缘流域的图像到流的网络模型，来保留图像中边缘线条的方向信息；设计了一个双流生成器模型，该模型以人物图像以及所对应的学习到的边缘流为输入生成人物线稿图像；本发明专利技术通过在双流生成器模型中嵌入一个线条控制矩阵以及提出一个线条控制回归网络来实现对线条细节层次的控制，从而得到具有不同线条风格的人物线稿图。不同线条风格的人物线稿图。不同线条风格的人物线稿图。

【技术实现步骤摘要】
一种可控制的人物线稿图生成方法


[0001]本专利技术涉及线稿处理
，尤其涉及一种可控制的人物线稿图生成方法。

技术介绍

[0002]人物线稿生成指的是使用多种类型的线条，如直线或者曲线，为照片、漫画中人物的视觉特征创造一个抽象的艺术的展现形式。它可以被看作是非真实感渲染领域中向用户传递几何特征和语义信息的一种简洁且高效的艺术形式。人物线稿生成应用领域比较广泛，如上色，动画以及图像编辑等。
[0003]然而，手绘线稿通常需要专业的技能、昂贵的人力成本以及较高的时间代价。因此十分有必要设计一个从给定照片自动生成人物线稿的技术。早期传统的由图像生成人物线稿的翻译方法主要依赖于底层的基于边缘的技术，这类方法主要是用梯度来捕获准确的边缘信息但忽略了艺术样式。而真正想要的是一幅感知上有意义的图像。基于深度学习的方法，特别是对抗生成网络的出现为图像翻译任务带来了革命性的变化，但目前的主要工作集中在人物肖像以及目标的生成方面。
[0004]对于现有的技术而言，存在以下技术问题：
[0005](1)线稿图是一种高度抽象的表示形式，通常采用稀疏的线条来描述人物特征，特别是身体部分线条，更加稀疏。对于人物线稿生成，为了获得高质量的线稿图，不仅仅是人物轮廓，而且人物衣服的材质等隐含的属性也应该被考虑进去，目前很少有方法达到这样效果。
[0006](2)现有的方法缺少笔触方向的引导，导致从图像或者照片中生成的线稿图像通常不完整、不自然并且充满噪声。
[0007](3)目前的方法只能生成特定风格或者样式的线稿图像，不能实现用户对线条的自由且精细的控制。
[0008]为此，我们提出了本专利技术的一种可控制的人物线稿图生成方法。

技术实现思路

[0009]本专利技术的目的是提供一种可控制的人物线稿图生成方法，用于解决上述
技术介绍
中的技术问题。
[0010]为了实现上述目的，本专利技术采用了如下技术方案：
[0011]本专利技术提供一种可控制的人物线稿图生成方法，包括以下步骤：
[0012]S1.通过图像到流网络生成人物图像的边缘切向流；
[0013]S2.通过双流生成器生成人物线稿图像。
[0014]进一步地，所述图像到流网络采用U
‑
Net网络结构作为生成器；
[0015]通过图像到流网络生成人物图像的边缘切向流步骤包括：
[0016]通过变换模块将输入的人物图像或者照片p∈P转换成灰度图像；
[0017]通过CL层和CIL层执行层次特征学习以及四次降采样操作；
[0018]采用DR和DIR以及UCT层作为解码模块产生边缘切向流向量域；
[0019]辨别器应用PatchGAN方法来确定每一个94
×
94图像块是真实或虚假。
[0020]进一步地，所述双流生成网络采用U
‑
Net框架，包括边缘切向流编码器和图像编码器；
[0021]所述边缘切向流编码器和图像编码器均包括六个编码层，分别从输入的边缘切向流和图像中提取边缘切向特征流和图像特征；
[0022]所述U
‑
Net框架还包括解码器，用于输入边缘切向流特征和图像特征图连接在一起，所述解码器包括多个解码器层，对于每一个解码器层，用跨越连接的方式将两个边缘切向流编码器和图像编码器每层的输出融合到对应的解码器层，然后通过层次融合的边缘切向流特征和图像特征上采样得到人物线稿图像。
[0023]进一步地，还包括以下步骤：
[0024]S3.通过线稿辨别器，区分合成的人物线稿和真实人物线稿。
[0025]进一步地，所述线稿辨别器采用PatchGAN结构作为辨别器，分类每一个94
×
94的图像块是真实或虚假。
[0026]进一步地，还包括以下步骤：
[0027]通过线条控制回归器实现对线条因素的控制。
[0028]进一步地，所述线条控制回归器的生成策略包括：
[0029]在双流生成器中，给定一个图像人物线稿图以及对应的边缘切向流域，获得对应的线条控制参数，使用该参数构建一个线条控制矩阵，该矩阵将被附加到每一个解码层来约束生成具有期望风格的人物线稿图像；
[0030]基于全卷积回归网络设计一个线条控制回归器R，在训练过程中该回归器以边缘切向流、真实人物线稿和控制参数作为输入；
[0031]训练模型的输出将参与到控制损失函数的计算过程当中来监督人物线稿生成。
[0032]进一步地，所述损失函数包括：对抗损失、逐像素损失、控制损失和快速傅立叶变换损失；
[0033]所述对抗损失定义如下：
[0034][0035]其中，E[
·
]表示期望，P表示人物图像域，p表示一张人物图像。C表示人物线稿图像域，c表示一张人物线稿图像。D
CL
(
·
)表示人物线稿辨别器。G
ETF
(
·
)表示边缘切向流生成器，G
CL
(
·
)表示人物线稿生成器。
[0036]所述逐像素损失定义如下：
[0037][0038]其中，e表示边缘切向流向量。
[0039]所述控制损失定义如下：
[0040][0041]其中，R(
·
)表示线条控制回归器。a表示线条控制矩阵。
[0042]所述快速傅立叶变换损失定义如下：
[0043][0044]其中，FFT(
·
)表示快速傅立叶变换操作。
[0045]整体损失为：
[0046][0047]其中，λ
adv
、λ
pixel
、λ
lc
、λ
fft
分别表示损失函数分别表示损失函数的权重。
[0048]本专利技术还提供一种可控制的人物线稿图生成系统，所述系统包括：图像到流网络、双流生成器、线稿辨别器。
[0049]进一步地，所述系统还包括线条控制回归器。
[0050]本专利技术至少具备以下有益效果：
[0051]本专利技术设计了一个从图像高效生成边缘流域的图像到流的网络模型，来保留图像中边缘线条的方向信息；设计了一个双流生成器模型，该模型以人物图像以及所对应的学习到的边缘流为输入生成人物线稿图像；本专利技术通过在双流生成器模型中嵌入一个线条控制矩阵以及提出一个线条控制回归网络来实现对线条细节层次的控制，从而得到具有不同线条风格的人物线稿图；
[0052]本专利技术构建了一个基于对抗生成网络的向量流感知图像到图像的翻译框架从给定的人物图像中自动生成人物线稿图。同时，提出了一个快速傅立叶变换损失函数从频率域的角度来监督人图线稿图的生成。
附图说明
[0053]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可控制的人物线稿图生成方法，其特征在于，包括以下步骤：S1.通过图像到流网络生成人物图像的边缘切向流；S2.通过双流生成器生成人物线稿图像。2.根据权利要求1所述的一种可控制的人物线稿图生成方法，其特征在于，所述图像到流网络采用U
‑
Net网络结构作为生成器；通过图像到流网络生成人物图像的边缘切向流步骤包括：通过变换模块将输入的人物图像或者照片p∈P转换成灰度图像；通过CL层和CIL层执行层次特征学习以及四次降采样操作；采用DR和DIR以及UCT层作为解码模块产生边缘切向流向量域；辨别器应用PatchGAN方法来确定每一个94
×
94图像块是真实或虚假。3.根据权利要求1所述的一种可控制的人物线稿图生成方法，其特征在于，所述双流生成网络采用U
‑
Net框架，包括边缘切向流编码器和图像编码器；所述边缘切向流编码器和图像编码器均包括六个编码层，分别从输入的边缘切向流和图像中提取边缘切向流特征和图像特征；所述U
‑
Net框架还包括解码器，用于将边缘切向流特征和图像特征图连接在一起，所述解码器包括多个解码器层，对于每一个解码器层，用跨越连接的方式将两个边缘切向流编码器和图像编码器每层的输出融合到对应的解码器层，然后通过层次融合的边缘切向流特征和图像特征上采样得到人物线稿图像。4.根据权利要求1所述的一种可控制的人物线稿图生成方法，其特征在于，还包括以下步骤：S3.通过线稿辨别器，区分合成的人物线稿和真实人物线稿。5.根据权利要求4所述的一种可控制的人物线稿图生成方法，其特征在于，所述线稿辨别器采用PatchGAN结构作为辨别器，分类每一个94
×
94的图像块是真实或虚假。6.根据权利要求1所述的一种可控制的人物线稿图生成方法，其特征在于，还包括以下步骤：通...

【专利技术属性】
技术研发人员：韩先锋，方承煜，
申请(专利权)人：西南大学，
类型：发明
国别省市：