一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法技术

本发明专利技术公开了一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，属于图像处理领域，本发明专利技术通过采集数据、统一动漫插画图像的像素、构建训练数据集和测试数据集，最终采用U型周期一致的循环训练的方法提高生成器G、生成器F、判别网络DX和判别网络DY的能力，找到图像和彩色图像的函数映射关系，实现了黑白草图和全彩图像的双向转换。本发明专利技术无需手工提取特征，无需对训练集进行标记，显著减少了动漫创作者的工作量，提高了图像彩色化与黑白化处理的效率，对动漫创作者有很大的帮助。

A Two-way Colorization Method for Animation Images Based on U-shaped Periodic Uniform Countermeasure Network

The invention discloses a bidirectional colorization method of animation image based on U-type periodic consistent confrontation network, which belongs to the field of image processing. The method improves generator G, generator F, discriminant network DX and discriminant network D by collecting data, unifying the pixels of animation illustration image, constructing training data set and test data set, and finally using U-type periodic consistent cyclic training method. Y's ability to find the function mapping relationship between image and color image, and realize the two-way conversion of black-and-white sketch and full-color image. The invention does not need to extract features manually and mark the training set, significantly reduces the workload of animation creators, improves the efficiency of image color and black-and-white processing, and is of great help to animation creators.

【技术实现步骤摘要】
一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法
本专利技术涉及一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，属于图像处理领域。
技术介绍
目前利用人工智能进行艺术创作仍处于测试阶段，研究邻域存在以下两种模型：(1)神经样式转换是一种图像到图像的转换方法，它使内容图像在匹配预训练特征的Gram矩阵统计的基础上具有样式图像的样式。重点是在卷积神经网络(CNN)中内容和风格的表达是可以分开的，这两种特征可以独立操作以产生新的可感知的图像。但是，神经类型的转移不能胜任这种任务。(2)生成对抗性网络(GANs)是一种新型的生成模型，并在图像生成方面取得了一定成果。它们都使用成对的图像数据集。但是，对于动画素描着色问题，获取成对的图像数据十分困难。循环一致对抗性网络(CycleGAN)是一种使用非成对图像到图像数据集的新模型，但仍然存在图像质量损失和构成失调的问题。
技术实现思路
本专利技术所要解决的技术问题是提供了一种无需手工提取特征、无需对训练集进行标注即可找到黑白线稿图像和彩色图像的函数映射关系，从而实现黑白线稿和全彩图像双向转换的基于U型周期一致对抗网络的动漫图像的双向色彩本文档来自技高网...

【技术保护点】
1.一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：其包括如下步骤：步骤1、采集数据：利用爬虫获取高清全彩色的动漫插画图像和黑白线稿图像；步骤2、将所述动漫插画图像的像素设置为统一大小，并将其放入数据库，构建训练数据集和测试数据集；步骤3、构建U型周期一致深度学习对抗网络，利用步骤2得到的训练数据集循环训练U型周期一致深度学习对抗网络，使用测试数据集验证所述U型周期一致深度学习对抗网络的性能；所述U型周期一致深度学习对抗网络包括生成器G、生成器F、判别网络DX和判别网络DY；所述生成器G和生成器F构成的U型且权值共享的卷积网络，生成器G与生成器F结果互逆；步骤4、将测试图像...

【技术特征摘要】
1.一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：其包括如下步骤：步骤1、采集数据：利用爬虫获取高清全彩色的动漫插画图像和黑白线稿图像；步骤2、将所述动漫插画图像的像素设置为统一大小，并将其放入数据库，构建训练数据集和测试数据集；步骤3、构建U型周期一致深度学习对抗网络，利用步骤2得到的训练数据集循环训练U型周期一致深度学习对抗网络，使用测试数据集验证所述U型周期一致深度学习对抗网络的性能；所述U型周期一致深度学习对抗网络包括生成器G、生成器F、判别网络DX和判别网络DY；所述生成器G和生成器F构成的U型且权值共享的卷积网络，生成器G与生成器F结果互逆；步骤4、将测试图像输入训练好的生成器G，生成器G将测试图像进行彩色化处理，得到一个彩色化图像；或者将测试图像输入训练好的生成器F，生成器F将测试图像进行逆向彩色化处理，得到一个黑白线稿图像。2.根据权利要求1所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3中循环训练U型周期一致深度学习对抗网络的方法如下：通过构造生成器G、生成器F和判别网络DY的子循环网络，训练生成器G和判别网络DY的能力；通过构造生成器F、生成器G和判别网络DX的子循环网络，训练生成器F和判别网络DX的能力。3.根据权利要求1所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3中循环训练U型周期一致深度学习对抗网络的方法如下：步骤3.1：将图像X输入生成器G，生成一张对应的彩色化图像G(x)；步骤3.2：通过判别器DY，得到最小二乘函数DY(G(x))的结果；步骤3.3：优化器Adam循环迭代，进行效果优化；步骤3.4：直至迭代结束，训练结束。4.根据权利要求3所述的一种基于U型周期一致对抗网络的动漫图像的双向色彩化方法，其特征在于：所述步骤3.2中的计算公式，即生成网络的损失函数和判别网络的损失函数的公式如下，计算出来的损失值在步骤3.3用于优化：公式(1)中，LD(G,D,X,Y)表示判别器D的损失函数；G(x)表示图像X输入生成器G后生成的一张对应的彩色化图像；D(y)表示符合y分布的数据经过判别器D产生映射关系；表示f(x)关于y服从Pdata(y)分布的期望；表示f(x)关于x服从Pdata(x)分布的期望；公式(2)中，LG(G,D...

【专利技术属性】
技术研发人员：张光华，屈梦楠，靳宇浩，宋庆鹏，吕月颖，高永献，栗彤，张红斌，
申请(专利权)人：河北科技大学，
类型：发明
国别省市：河北,13