一种对黑白动漫视频的着色方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种对黑白动漫视频的着色方法、装置、存储介质及终端，方法包括：将原始黑白动漫视频拆分为黑白动漫图片集；构建第一彩色动漫样例图；将黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；对于黑白动漫图片集中的每一张黑白动漫图片，重复上述过程，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；合并彩色动漫图片集，生成彩色动漫视频；其中，预先训练的动漫图片着色模型包括编码器网络、颜色传递网络、颜色编码网络以及解码器网络。采用本申请，可以提升黑白动漫视频上色效率。

【技术实现步骤摘要】
一种对黑白动漫视频的着色方法、装置、存储介质及终端
本专利技术涉及深度学习
，特别涉及一种对黑白动漫视频的着色方法、装置、存储介质及终端。
技术介绍
如今，动画片已经成为我们日常娱乐的一部分，成千上万的动画片在全球电视和网络视频平台的收视率中占据了很大的比例。然而，动画制作是一个复杂而耗时的过程，需要大量的工作者在不同的阶段进行协作。定义主要人物动作的关键帧草图由主要艺术家描绘，而中间的动作草图则由缺乏经验的艺术家完成。然后，工人们在艺术家先前设计的人物颜色表的基础上，对所有线条艺术进行重复着色。这种着色过程被认为是一项繁琐的劳动密集型工作，具有以下两点缺陷：非常依赖专业人员的专业技能，技术难度比较大；一部时长约为1.5小时的动画需要对数十万帧进行手工着色，效率低下，成本非常高。随着深度学习的兴起，出现了一系列基于卷积神经网络、生成式对抗网络的图像对动画图像进行着色的方法。这类方法主要原理是通过收集大量彩色图像，把这些彩色图像灰度化后作为训练数据，再通过人工对这些黑白线框图像标记颜色线，通过训练神经网络建立从黑白到彩色的映射，以达到对黑白线框图像着色的目的。这种方式存在的缺点如下：制作数据集比较困难，现阶段公开数据集较少；在对动画视频着色时，对视频抽帧后，对单帧进行着色，帧与帧之间的差异很大，视觉上感到闪烁、不连贯。比如同一件衣服，上一帧恢复为深蓝色，下一帧可能恢复成深灰色，视觉体验难以让人满意。综上，如何提升黑白动漫视频着色效率以及着色准确度是亟需解决的一个问题。
技术实现思路
<br>本申请实施例提供了一种对黑白动漫视频的着色方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种对黑白动漫视频的着色方法，该方法包括：将原始黑白动漫视频拆分为黑白动漫图片集；构建第一彩色动漫样例图；将黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；对于黑白动漫图片集中的每一张黑白动漫图片，重复转换为Lab模式并与所述转换后的第一彩色动漫样例图输入预先训练的动漫图片着色模型中，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；合并彩色动漫图片集，生成彩色动漫视频。可选的，构建第一彩色动漫样例图，包括：从黑白动漫图片集中获取第一张黑白动漫图片；接收针对第一张黑白动漫图片的着色指令，基于着色指令将第一张黑白动漫图片着色为彩色图片；将彩色图片确定为第一彩色动漫样例图；或者，获取与黑白动漫图片集中任一黑白动漫图片的内容相似度大于预设值的彩色图片；将彩色图片确定为第一彩色动漫样例图。可选的，将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片，包括：将第一张黑白动漫图片的L通道与第一彩色动漫样例图的L通道输入颜色传递网络中，输出颜色传递矩阵；将第一张黑白动漫图片输入编码器网络中进行卷积运算，输出编码特征图片；将所述颜色传递矩阵输入所述颜色编码网络中，输出颜色编码特征；将所述编码特征图片与所述颜色编码特征输入所述解码器网络中进行特征堆叠，输出第一彩色动漫图片。可选的，将第一张黑白动漫图片的L通道与第一彩色动漫样例图的L通道输入颜色传递网络中，输出颜色传递矩阵，包括：颜色传递网络针对第一张黑白动漫图片与第一彩色动漫样例图进行卷积运算，生成第一张黑白动漫图片与第一彩色动漫样例图的特征编码；颜色传递网络计算第一张黑白动漫图片与第一彩色动漫样例图的特征编码的余弦相似度，生成相似度矩阵；颜色传递网络将第一彩色动漫样例图的ab通道与相似度矩阵作积后生成颜色传递矩阵。可选的，第一彩色动漫图片是通过计算第一张黑白动漫图片与第一彩色动漫样例图之间的颜色传递矩阵进行着色。可选的，按照以下步骤生成预先训练的动漫图片着色模型，包括：采用卷积神经网络创建编码器网络、颜色编码网络、解码器网络以及颜色传递网络；将所述编码器网络、解码器网络、颜色编码网络以及颜色传递网络进行连接，生成第一动漫图片着色模型；采集多个彩色动漫图片；将多个彩色动漫图片中每个彩色图片转换为黑白动漫图片，生成多个黑白动漫图片；将多个黑白动漫图片与多个彩色动漫图片输入第一动漫图片着色模型中进行训练；当训练的迭代次数到达预设次数时，生成第二动漫图片着色模型；从多个黑白动漫图片中选取任一黑白动漫图片，并将选取的任一黑白动漫图片输入第二动漫图片着色模型，输出目标彩色图片；计算选取的任一黑白动漫图片对应的彩色图片与目标彩色图片之间的光流信息的差异百分比；根据光流信息的差异百分比生成预先训练的动漫图片着色模型。可选的，根据光流信息的差异百分比生成预先训练的动漫图片着色模型，包括：当光流信息的差异百分比大于预设值时，调整第一动漫图片着色模型的参数；继续执行将多个黑白动漫图片与多个彩色动漫图片输入第一动漫图片着色模型进行训练的步骤，直到光流信息的差异百分比小于预设值时，停止训练；生成预先训练的动漫图片着色模型。第二方面，本申请实施例提供了一种对黑白动漫视频的着色装置，该装置包括：视频拆分模块，用于将原始黑白动漫视频拆分为黑白动漫图片集；样例图构建模块，用于构建第一彩色动漫样例图；模式转换模块，用于将黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；图片输出模块，用于将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；彩色动漫图片集构建模块，用于对于黑白动漫图片集中的每一张黑白动漫图片，重复转换为Lab模式并与所述转换后的第一彩色动漫样例图输入预先训练的动漫图片着色模型中，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；彩色动漫视频生成模块，用于合并彩色动漫图片集，生成彩色动漫视频。第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，对黑白动漫视频的着色装置首先将原始黑白动漫视频拆分为黑白动漫图片集，然后构建第一彩色动漫样例图，再将黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图本文档来自技高网...

【技术保护点】
1.一种对黑白动漫视频的着色方法，其特征在于，所述方法包括：/n将原始黑白动漫视频拆分为黑白动漫图片集；/n构建第一彩色动漫样例图；/n将所述黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；/n将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；其中，所述预先训练的动漫图片着色模型包括编码器网络、颜色传递网络、颜色编码网络以及解码器网络；/n对于所述黑白动漫图片集中的每一张黑白动漫图片，重复转换为Lab模式并与所述转换后的第一彩色动漫样例图输入预先训练的动漫图片着色模型中，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；/n合并所述彩色动漫图片集，生成彩色动漫视频。/n

【技术特征摘要】
1.一种对黑白动漫视频的着色方法，其特征在于，所述方法包括：
将原始黑白动漫视频拆分为黑白动漫图片集；
构建第一彩色动漫样例图；
将所述黑白动漫图片集中的第一张黑白动漫图片和第一彩色动漫样例图转换为Lab模式；
将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片；其中，所述预先训练的动漫图片着色模型包括编码器网络、颜色传递网络、颜色编码网络以及解码器网络；
对于所述黑白动漫图片集中的每一张黑白动漫图片，重复转换为Lab模式并与所述转换后的第一彩色动漫样例图输入预先训练的动漫图片着色模型中，得到每一张黑白动漫图片对应的彩色图片，构成彩色动漫图片集；
合并所述彩色动漫图片集，生成彩色动漫视频。


2.根据权利要求1所述的方法，其特征在于，所述构建第一彩色动漫样例图，包括：
从所述黑白动漫图片集中获取第一张黑白动漫图片；
接收针对所述第一张黑白动漫图片的着色指令，基于所述着色指令将所述第一张黑白动漫图片着色为彩色图片；
将所述彩色图片确定为第一彩色动漫样例图；
或者，
获取与所述黑白动漫图片集中任一黑白动漫图片的内容相似度大于预设值的彩色图片；
将所述彩色图片确定为第一彩色动漫样例图。


3.根据权利要求2所述的方法，其特征在于，所述将转换后的第一张黑白动漫图片和第一彩色动漫样例图输入预先训练的动漫图片着色模型中，输出第一彩色动漫图片，包括：
将所述第一张黑白动漫图片的L通道与所述第一彩色动漫样例图的L通道输入所述颜色传递网络中，输出颜色传递矩阵；
将所述第一张黑白动漫图片输入所述编码器网络中进行卷积运算，输出编码特征图片；
将所述颜色传递矩阵输入所述颜色编码网络中，输出颜色编码特征；
将所述编码特征图片与所述颜色编码特征输入所述解码器网络中进行特征堆叠，输出第一彩色动漫图片。


4.根据权利要求3所述的方法，其特征在于，所述将所述第一张黑白动漫图片的L通道与所述第一彩色动漫样例图的L通道输入所述颜色传递网络中，输出颜色传递矩阵，包括：
颜色传递网络针对所述第一张黑白动漫图片与所述第一彩色动漫样例图进行卷积运算，生成第一张黑白动漫图片与第一彩色动漫样例图的特征编码；
颜色传递网络计算所述第一张黑白动漫图片与第一彩色动漫样例图的特征编码的余弦相似度，生成相似度矩阵；
颜色传递网络将所述第一彩色动漫样例图的ab通道与所述相似度矩阵作积后生成颜色传递矩阵。


5.根据权利要求1所述的方法，其特征在于，所述第一彩色动漫图片是通过计算所述第一张黑白动漫图片与所述第一彩色动漫样例图之间的颜色传递矩阵进行着色。

【专利技术属性】
技术研发人员：傅慧源，马华东，王宇航，张宇，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11