一种基于双色彩空间引导的动漫线稿自动上色方法技术

本发明专利技术属于动漫线稿自动上色技术领域，提供一种基于双色彩空间引导的动漫线稿自动上色方法。该方法受到插画师创作过程的启发，搭建了一个色彩空间转换网络学习RGB到HSV色彩空间的转换，从而在方法中构建起双色彩空间；并以此为基础提出像素级绘画先验DP损失函数隐式挖掘插画师融入到HSV空间的绘画先验，同时提出全局的双色彩空间对抗DCSA损失函数充分监督本方法以得到更加平滑的生成结果。本发明专利技术的有益效果为：采用本发明专利技术能得到高质量的动漫线稿自动上色结果，具体表现为：上色结果包含丰富的色彩，合适的饱和度及明度对比；同时，本发明专利技术极大的缓解了生成结果颜色溢出和人工生成物的问题。

【技术实现步骤摘要】
一种基于双色彩空间引导的动漫线稿自动上色方法
本专利技术属于动漫线稿自动上色
，涉及一种给定动漫线稿和可选人工提示，得到自动上色结果的技术，具体涉及一种基于双色彩空间引导的动漫线稿自动上色方法。
技术介绍
动漫线稿自动上色在计算机图形学和计算机视觉领域都是一项具有挑战性的任务，因为所有颜色，纹理和阴影的生成仅仅基于信息高度抽象且稀疏的线稿。此外，真实的动漫彩图绘制还是一个主观的任务，需要插画师理解诸如色相变化，饱和度对比和明暗对比等绘画先验，并在更接近人类视觉认知系统的HSV色彩空间中利用它们。因此，隐含在HSV色彩空间中的信息对线稿上色任务将有很大的帮助。然而，现存的方法都仅仅在RGB色彩空间中对方法改进来提升上色效果，而没有考虑到HSV色彩空间。动漫线稿上色领域的最新进展主要是由深度学习方法驱动的，且主要利用的是Goodfellow等人提出生成对抗网络(GoodfellowIJ,Pouget-AbadieJ,MirzaM,etal.GenerativeAdversarialNetworks.AdvancesinNeuralIn本文档来自技高网...

【技术保护点】
1.一种基于双色彩空间引导的动漫线稿自动上色方法，结合RGB和HSV色彩空间构建双色彩空间；以此为基础提出像素级及全局监督，利用生成对抗网络的方式进行训练；具体包括网络架构设计部分和算法训练部分；其特征在于，/n(1)网络架构设计部分/n算法共包含三个网络：色彩空间转换网络T、生成器G和判别器D；/n色彩空间转换网络T来实现RGB到HSV色彩空间的转换，将HSV色彩空间引入到算法中以构建双色彩空间，考虑到RGB到HSV的变换是像素级的三个非线性函数，不需关注任何全局或局部信息，因此仅使用卷积核大小为1，步长为1的卷积层进行网络构建；色彩空间转换网络T的开始部分包含3个卷积层，中间部分含5个Re...

【技术特征摘要】
1.一种基于双色彩空间引导的动漫线稿自动上色方法，结合RGB和HSV色彩空间构建双色彩空间；以此为基础提出像素级及全局监督，利用生成对抗网络的方式进行训练；具体包括网络架构设计部分和算法训练部分；其特征在于，
(1)网络架构设计部分
算法共包含三个网络：色彩空间转换网络T、生成器G和判别器D；
色彩空间转换网络T来实现RGB到HSV色彩空间的转换，将HSV色彩空间引入到算法中以构建双色彩空间，考虑到RGB到HSV的变换是像素级的三个非线性函数，不需关注任何全局或局部信息，因此仅使用卷积核大小为1，步长为1的卷积层进行网络构建；色彩空间转换网络T的开始部分包含3个卷积层，中间部分含5个ResNeXt残差块来提升网络拟合性能，在末尾采用3个卷积层得到输出；为确保色彩空间转换网络T能正确地学习RGB到HSV色彩空间的转换函数，使用真实的RGB彩色动漫图像和其对应的HSV图像采用L1损失函数对网络T进行预训练；
生成器G采用UGDALAC算法进行构建，采用其提出的局部特征抽取方法来缓解训练过程中出现的过拟合问题，提升生成结果的泛化效果；
判别器D的设计，在UGDALAC的判别器输入层进行了改进；采用生成器G的输出，以及色彩空间转换网络T的输出串联得到的结果作为判别器D的输入，以此使判别器D从双色彩空间对算法进行监督，产生更加出众的上色结果；
(2)算法训练部分
第一步，使用生成线稿X，随机颜色提示Ht，局部特征F(X)作为生成器G的输入，输出上色结果Yg；
其中生成线稿X由真实彩色图像Y经过XDoG滤波算法得到，随机颜色提示Ht由真实彩色图像Y的4倍下采样结果进行随机采点得到；局部特征F(X)为局部特征提取器，方法中采用的是预训练好的Illustration2Vec网络的第6层卷积后的结果；
第二步，采用WGAN-GP框架的训练方式，结合提出的双色彩空间对抗DCSA损失函数对判别器D进行训练；
将真实彩色图像Y以及生成器G的输出的上色结果Yg输入到色彩空间转换网络T中得到对应的HSV色彩空间的结果T(Y)和T...

【专利技术属性】
技术研发人员：李豪杰，王智慧，窦智，王宁，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21