一种基于GAN的人像素描图像生成方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种基于GAN的人像素描图像生成方法、装置、设备及介质，包括：获取待绘制的原图；将所述原图输入至基于GAN生成的人脸转素描生成器组；其中，所述人脸转素描生成器组包括N个图像转素描生成器，将所述原图作为第一个图像转素描生成器的输入参数，其输出的过程图像和所述原图作为下一个图像转素描生成器的输入参数，依次到最后一个图像转素描生成器输出所述原图对应的目标素描图像。旨在解决现有的人脸素描合成技术方案存在人脸识别的信息丢失、草图的质量很差以及缺少绘制素描过程的问题。过程的问题。过程的问题。

【技术实现步骤摘要】
一种基于GAN的人像素描图像生成方法、装置、设备及介质


[0001]本专利技术涉及人像素描
，具体涉及一种基于GAN的人像素描图像生成方法、装置、设备及介质。

技术介绍

[0002]在日常娱乐中，人脸素描是最流行的肖像风格之一。例如，旅客往往将画家的素描作品保存在旅游景点或景点作为纪念品。然而，要让专业画家创作出逼真的面部素描，需要花费大量的时间和精力，且人脸素描图的绘制是一种需要长期训练的技能，新手是没有办法绘制出像艺术家一样逼真的素描图像。同时，在执法和刑事司法案件中，潜在罪犯的面部照片可能是不可用的，因为只有低质量的图像在部分遮挡下被捕获，此时，通过构建面部照片和素描之间的映射，面部素描可以作为寻找嫌疑人的替代方法。其中，人脸素描合成技术(FPSS,Face photo
‑
sketch synthesis)近年来受到了人们的广泛关注，其在非常多的领域中发挥着重要的作用，它是计算机视觉中一个十分具有挑战性的任务；目前为止，已经提出了许多方法来促进面部草图的合成，这些方法可以大致分为三类:基于范例的方法，基于线性回归的方法和基于模型的方法。
[0003]基于范例的方法主要用于在照片
‑
素描配对数据集中寻找样本照片补丁和测试照片补丁之间的相关性，通过混合与测试照片补丁对应的样本补丁，直接重构出最终的输出草图，虽然这些方法在照片
‑
素描配对数据集中取得了良好的性能，但生成的素描存在明显的缺陷，合成的草图过于平滑，无法保持相应人脸照片的保真度和可识别性，这有可能会导致人脸识别的信息丢失。基于线性回归的方法主要是假设人脸照片和草图之间存在线性映射，然后通过从照片建模该映射生成草图；这些方法主要是受到局部线性嵌入(LLE)的启发，由于其较低的计算复杂度，提高了早期草图生成任务，然而，映射函数可能没有精确地制定，导致生成的草图的质量很差。且近年来，随着深度学习的快速发展，图像间的翻译取得了很大的进展，大量研究人员开始在照片生成草图任务中使用GAN；例如，Pix2Pix使用条件GAN以监督的方式完成图像样式转换任务，但是成对的训练数据在实际情况中可能获取困难；CycleGAN通过循环一致性损失保持输入和翻译图像之间的关键属性，解决了配对训练数据不存在的问题，然而，画家对于素描图像的绘制是一个循序渐进的过程，目前的方法都只是关注如何能更好的学习不同域之间的直接映射，没有考虑绘制素描的过程。
[0004]有鉴于此，提出本申请。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于GAN的人像素描图像生成方法、装置、设备及介质，能够有效解决现有技术中的人脸素描合成技术方案存在生成的素描存在明显的缺陷，合成的草图过于平滑，无法保持相应人脸照片的保真度和可识别性，这有可能会导致人脸识别的信息丢失、生成的草图的质量很差以及缺少绘制素描过程的问题。
[0006]本专利技术公开了一种基于GAN的人像素描图像生成方法，包括：
[0007]获取待绘制的原图；
[0008]将所述原图输入至基于GAN生成的人脸转素描生成器组；其中，所述人脸转素描生成器组包括N个图像转素描生成器，将所述原图作为第一个图像转素描生成器的输入参数，其输出的过程图像和所述原图作为下一个图像转素描生成器的输入参数，依次到最后一个图像转素描生成器输出所述原图对应的目标素描图像。
[0009]优选地，将所述原图输入至基于GAN生成的人脸转素描生成器组之前，还包括：
[0010]获取多张训练图像和与每张训练图像对应的一组手工绘制的素描图像组，其中，所述素描图像组包括处于不同绘制阶段的N张素描图像；
[0011]对每张训练图像和每张素描图像，建立与其对应的人脸转素描生成器、素描转人脸生成器以及判别器；
[0012]将所述素描图像输入所述素描转人脸生成器，生成对应的假图像；
[0013]将所述训练图像以及中间图像进行拼接后输入所述人脸转素描生成器，生成对应的假素描图，其中，所述中间图像为空白图像或者上一绘制阶段生成的假图像；
[0014]调用所述判别器组对所述假图像和所述训练图像，以及对所述假素描图和所述素描图像进行比较处理，生成对应比较分数；
[0015]将所述比较分数与预设分数值进行比较，当所述比较分数达到预设分数值时，生成基于GAN生成的人脸转素描生成器组。
[0016]优选地，所述判别器根据公式L
ad1
(G
A
,G
B
)＝E
b
[logD
B
(b)]+E
a
[log(1
‑
D
B
(G
A
(a)))]对所述假素描图和所述素描图像进行对抗性损失的计算；根据公式L
ad2
(G
A
,G
B
)＝E
a
[logD
A
(a)]+E
b
[log(1
‑
D
A
(G
B
(b)))]对所述假图像和所述训练图像进行对抗性损失的计算，其中，G
A
为人脸转素描生成器，G
A
(a)为所述假素描图，G
B
为素描转人脸生成器，G
B
(b)为所述假图像,D
A
为A域人脸判别器，D
B
为B域素描判别器，L
ad
为对抗性损失。
[0017]优选地，所述判别器根据公式L
cyc
(G
A
,G
B
)＝E
a
[G
B
(G
A
(a))
‑
a||1]+E
B
[G
A
(G
B
(b))
‑
b||1]对所述假素描图和所述素描图像，以及所述假图像和所述训练图像进行循环一致性损失的计算，其中，所述L
cyc
为循环一致性损失。
[0018]优选地，所述判别器根据公式L
im
(G
A
,G
B
)＝E
a
[(G
A
(a))
‑
a||1]+E
B
[(G
B
(b))
‑
b||1]对所述假素描图和所述素描图像，以及所述假图像和所述训练图像进行身份映射损失的计算，其中，所述L
im
为身份映射损失。
[0019]优选地，所述判别器根据公式L
A_id
(G
A1
,G
A2
,G
A3
)＝E
a
[(G
A1
(a))
‑
a||1]+E...

【技术保护点】

【技术特征摘要】
1.一种基于GAN的人像素描图像生成方法,其特征在于，包括：获取待绘制的原图；将所述原图输入至基于GAN生成的人脸转素描生成器组；其中，所述人脸转素描生成器组包括N个图像转素描生成器，将所述原图作为第一个图像转素描生成器的输入参数，其输出的过程图像和所述原图作为下一个图像转素描生成器的输入参数，依次到最后一个图像转素描生成器输出所述原图对应的目标素描图像。2.根据权利要求1所述的基于GAN的人像素描图像生成方法，其特征在于，将所述原图输入至基于GAN生成的人脸转素描生成器组之前，还包括：获取多张训练图像和与每张训练图像对应的一组手工绘制的素描图像组，其中，所述素描图像组包括处于不同绘制阶段的N张素描图像；对每张训练图像和每张素描图像，建立与其对应的人脸转素描生成器、素描转人脸生成器以及判别器；将所述素描图像输入所述素描转人脸生成器，生成对应的假图像；将所述训练图像以及中间图像进行拼接后输入所述人脸转素描生成器，生成对应的假素描图，其中，所述中间图像为空白图像或者上一绘制阶段生成的假图像；调用所述判别器组对所述假图像和所述训练图像，以及对所述假素描图和所述素描图像进行比较处理，生成对应比较分数；将所述比较分数与预设分数值进行比较，当所述比较分数达到预设分数值时，生成基于GAN生成的人脸转素描生成器组。3.根据权利要求2所述的基于GAN的人像素描图像生成方法，其特征在于，所述判别器根据公式L
ad1
(G
A
,G
B
)＝E
b
[logD
B
(b)]+E
a
[log(1
‑
D
B
(G
A
(a)))]对所述假素描图和所述素描图像进行对抗性损失的计算；根据公式L
ad2
(G
A
,G
B
)＝E
a
[logD
A
(a)]+E
b
[log(1
‑
D
A
(G
B
(b)))]对所述假图像和所述训练图像进行对抗性损失的计算，其中，G
A
为人脸转素描生成器，G
A
(a)为所述假素描图，G
B
为素描转人脸生成器，G
B
(b)为所述假图像,D
A
为A域人脸判别器，D
B
为B域素描判别器，L
ad
为对抗性损失。4.根据权利要求3所述的基于GAN的人像素描图像生成方法，其特征在于，所述判别器根据公式L
cyc
(G
A
,G
B
)＝E
a
[G
B
(G
A
(a))
‑
a||1]+E
B
[G
A
(G
B
(b))
‑
b||1]对所述假素描图和所述素描图像，以及所述假图像和所述训练图像进行循环一致性损失的计算，其中，所述L
cyc
为循环一致性损失。5.根据权利要求4所述的基于GAN的人像素描图像生成方法，其特征在于，所述判别器根据公式L
im
(G
A
,G
B
...

【专利技术属性】
技术研发人员：翁丽芬，李晨阳，许华荣，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：