一种漫画手绘图无监督上色方法及装置制造方法及图纸

本发明专利技术公开了一种漫画手绘图无监督上色方法及装置，通过获取多张动漫图像，作为漫画原图像；提取漫画原图像的轮廓，生成漫画手绘图；将漫画原图像以及漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；根据训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；采用训练好的无监督上色模型对输入的手绘图像进行上色处理。本申请所提供的方法及装置可以在无监督的情况下，对手绘图像的上色模式进行学习，使用学习获得的模型即可对输入的手绘图像进行自动上色处理，不仅无需人工干预，还能够保持较好的视觉效果。

【技术实现步骤摘要】
一种漫画手绘图无监督上色方法及装置
本专利技术涉及图像处理
，特别是涉及一种漫画手绘图无监督上色方法及装置。
技术介绍
随着漫画和数字媒体产业的蓬勃发展，各种漫画产品出现的速度也在逐步加快，人们对于漫画产品的需求也不再只满足于黑白的线条画面上。但是由于一幅漫画生成是由画家从黑白手绘图开始制作，然后经过一系列繁杂处理之后最后才是上色。这个过程中，无论是手绘还是上色，步骤都是十分耗时耗力。正是因为这种工作的具有时间和人力密集的性质，所以直到现在市面上很多的漫画产品也只有封面或者前几页才是彩色画面，并借此来吸引买家的注意力。因此，如果可以将上色这一过程无监督化，将会在时间和效率上带来质的提高。目前，一种对黑白漫画手绘图像进行上色处理的方法为：美工人员通过在专业图像处理软件如Photoshop、Maya环境下对手绘图进行上色，这种处理虽然可以得到一种质量很高的上色效果，但这种方法需要美工人员在调色、描影等处理技术上有较高的要求，在时间和人力成本上的消耗较高，所以只能在工作量较小的情况下才较为合适。另外还可以通过一些计算机技术，如深度学习技术对黑白灰度图像进行上色。这种方法使用彩色图像对应的灰度图像作为训练数据，生成一种人工神经网络模型，然后利用这个生成的模型对灰度图像进行上色。然而这种上色方法需要依赖于训练数据图像的灰度连续性来拓展作用区域，从而将图像分割为彩色区域。然而，黑白的手绘图并不像灰度图像那样有着连续的灰度用于分割，因此这种方法并不能有效正常地对手绘图进行上色处理。
技术实现思路
本专利技术的目的是提供一种漫画手绘图无监督上色方法及装置，以解决现有技术不能有效正常地对漫画手绘图进行上色处理的问题。为解决上述技术问题，本专利技术提供一种漫画手绘图无监督上色方法，包括：获取多张动漫图像，作为漫画原图像；提取所述漫画原图像的轮廓，生成漫画手绘图；将所述漫画原图像以及所述漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，所述条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；采用训练好的所述无监督上色模型对输入的手绘图像进行上色处理。可选地，在所述提取所述漫画原图像的轮廓，生成漫画手绘图之前还包括：将所述漫画原图像统一缩放为相同尺寸大小的图像。可选地，所述根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型包括：所述生成器模型根据输入的条件信息黑白手绘图以及随机噪声向量，生成彩色图像；所述识别器模型采用所述生成器模型生成的图像以及所述漫画原图像进行训练，从生成图像中识别出真实图像；提取出训练好的网络模型参数，生成所述无监督上色模型。可选地，所述根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型包括：采用冲量和/或Dropout训练方式，加速所述条件生成式对抗网络的训练。可选地，在所述提取出训练好的网络模型参数，生成所述无监督上色模型之前还包括：采用训练好的条件生成式对抗网络，对预设测试集进行测试，在满足预设条件下结束训练。本专利技术还提供了一种漫画手绘图无监督上色装置，包括：漫画原图像获取模块，用于获取多张动漫图像，作为漫画原图像；漫画手绘图生成模块，用于提取所述漫画原图像的轮廓，生成漫画手绘图；拼接模块，用于将所述漫画原图像以及所述漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；模型生成模块，用于根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，所述条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；上色模块，用于采用训练好的所述无监督上色模型对输入的手绘图像进行上色处理。可选地，还包括：尺寸处理模块，用于在提取所述漫画原图像的轮廓，生成漫画手绘图之前，将所述漫画原图像统一缩放为相同尺寸大小的图像。可选地，所述模型生成模块包括：所述生成器模型，用于根据输入的条件信息黑白手绘图以及随机噪声向量，生成彩色图像；所述识别器模型，用于采用所述生成器模型生成的图像以及所述漫画原图像进行训练，从生成图像中识别出真实图像；上色模型生成单元，用于提取出训练好的网络模型参数，生成所述无监督上色模型。可选地，所述模型生成模块具体用于：采用冲量和/或Dropout训练方式，加速所述条件生成式对抗网络的训练。可选地，还包括：测试模块，用于在提取出训练好的网络模型参数，生成所述无监督上色模型之前，采用训练好的条件生成式对抗网络，对预设测试集进行测试，在满足预设条件下结束训练。本专利技术所提供的漫画手绘图无监督上色方法及装置，通过获取多张动漫图像，作为漫画原图像；提取漫画原图像的轮廓，生成漫画手绘图；将漫画原图像以及漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；根据训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；采用训练好的无监督上色模型对输入的手绘图像进行上色处理。本申请所提供的方法及装置可以在无监督的情况下，对手绘图像的上色模式进行学习，使用学习获得的模型即可对输入的手绘图像进行自动上色处理，不仅无需人工干预，还能够保持较好的视觉效果。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的漫画手绘图无监督上色方法的一种具体实施方式的流程图；图2为本专利技术实施例基于条件生成式对抗网络训练得到无监督上色模型的过程示意图；图3为本专利技术所提供的漫画手绘图无监督上色方法的另一种具体实施方式的流程图；图4为本申请所提供的漫画手绘图无监督上色方法的又一种具体实施方式；图5为训练过程示意图；图6为本专利技术实施例提供的漫画手绘图无监督上色装置的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的漫画手绘图无监督上色方法的一种具体实施方式的流程图如图1所示，该方法包括：步骤S101：获取多张动漫图像，作为漫画原图像；具体地，本步骤可以利用网络爬虫技术，从动漫素材网站safebooru爬取大约3万张动漫图像，作为漫画原图像。优选地，在获取图像后可以剔除其中的受损图像，并将剔除后的图像作为漫画原图像。步骤S102：提取所述漫画原图像的轮廓，生成漫画手绘图；具体地，可以使用Opencv提取动漫图像的轮廓，生成漫画手绘图。步骤S103：将所述漫画原图像以及所述漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；作为一种具体实施例，漫画原图像与对应的手绘图拼接为一张图像，选取前3000张图像作为测试数据集，其余的作为训练数据集。步骤S104：根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，所述条件生本文档来自技高网...

【技术保护点】
一种漫画手绘图无监督上色方法，其特征在于，包括：获取多张动漫图像，作为漫画原图像；提取所述漫画原图像的轮廓，生成漫画手绘图；将所述漫画原图像以及所述漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，所述条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；采用训练好的所述无监督上色模型对输入的手绘图像进行上色处理。

【技术特征摘要】
1.一种漫画手绘图无监督上色方法，其特征在于，包括：获取多张动漫图像，作为漫画原图像；提取所述漫画原图像的轮廓，生成漫画手绘图；将所述漫画原图像以及所述漫画手绘图拼接为一张图像，作为训练数据集中的训练样本；根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型，所述条件生成式对抗网络由包含的生成器模型以及判别器模型以对抗的方式进行优化训练得到；采用训练好的所述无监督上色模型对输入的手绘图像进行上色处理。2.如权利要求1所述的漫画手绘图无监督上色方法，其特征在于，在所述提取所述漫画原图像的轮廓，生成漫画手绘图之前还包括：将所述漫画原图像统一缩放为相同尺寸大小的图像。3.如权利要求1或2所述的漫画手绘图无监督上色方法，其特征在于，所述根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型包括：所述生成器模型根据输入的条件信息黑白手绘图以及随机噪声向量，生成彩色图像；所述识别器模型采用所述生成器模型生成的图像以及所述漫画原图像进行训练，从生成图像中识别出真实图像；提取出训练好的网络模型参数，生成所述无监督上色模型。4.如权利要求3所述的漫画手绘图无监督上色方法，其特征在于，所述根据所述训练数据集，基于条件生成式对抗网络训练得到无监督上色模型包括：采用冲量和/或Dropout训练方式，加速所述条件生成式对抗网络的训练。5.如权利要求4所述的漫画手绘图无监督上色方法，其特征在于，在所述提取出训练好的网络模型参数，生成所述无监督上色模型之前还包括：采用训练好的条件生成式对抗网络，对预设测试集进行测试，在满足预设条件下结束训练。6.一种漫画手绘图无监督上色...

【专利技术属性】
技术研发人员：刘怡俊，梁培俊，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44