基于生成对抗网络的图像上色方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于生成对抗网络的图像上色方法及装置，所述方法包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。本发明专利技术实施例提供的基于生成对抗网络的图像上色方法及装置，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。

Image Coloring Method and Device Based on Generating Countermeasure Network

The embodiment of the present invention provides an image coloring method and device based on the generated countermeasure network, which includes: input the image to be colored into the image coloring model based on the generated countermeasure network to obtain the color image output from the image coloring model based on the generated countermeasure network; and the image coloring model based on the generated countermeasure network is based on the image to be colored. The image samples and corresponding color image samples are obtained after training. The method and device of image coloring based on generating confrontation network provided by the embodiment of the present invention can quickly obtain a repair and coloring model suitable for all types of images by utilizing training data with strong generality and end-to-end learning method, which is more general and has a wider application range.

【技术实现步骤摘要】
基于生成对抗网络的图像上色方法及装置
本专利技术实施例涉及图像处理
，更具体地，涉及一种基于生成对抗网络的图像上色方法及装置。
技术介绍
现如今的图像上色方法几乎都是传统的数字图像处理方法，即获取图片的数字图像数据，将所述数字图像数据中具有相同特征的数字序列提取出来，将这些数字序列及其各自对应的全部图像元素组成映射集合，提取当前待上色的图像元素的数字序列，找到对应的色彩，然后上色。传统的上色方法都是需要提取构建映射集合的特征，在不同域的图像上迁移能力较差，适应性较差。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的基于生成对抗网络的图像上色方法及装置。第一方面，本专利技术实施例提供一种基于生成对抗网络的图像上色方法，包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。第二方面，本专利技术实施例提供一种基于生成对抗网络的图像上色装置，包括：图像上色模块，用于将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于生成对抗网络的图像上色方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于生成对抗网络的图像上色方法的步骤。本专利技术实施例提供的基于生成对抗网络的图像上色方法及装置，通过利用一般性足够强的训练数据，能够用端到端的学习方法，快速得到能适用于所有类型的图像的修复上色模型，更加通用，适用范围更广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例提供训练得到基于生成对抗网络的图像上色模型的流程示意图；图2为本专利技术实施例提供的带注意力机制的生成对抗网络模型的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种基于生成对抗网络的图像上色方法，包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。具体地，本专利技术实施例的目的是利用深度学习技术，实现对黑白图像、旧照片以及线稿进行合理的上色并将其修复。生成对抗网络(GAN，GenerativeAdversarialNetworks)通过观测数据样本，学习样本的潜在分布，从而可以生成与训练样本相似的数据。生成对抗网络由生成器和判别器构成，其核心思想是博弈论的二人零和博弈。对于参与博弈的双方：生成器和判别器，生成器的目的是尽量学习训练图像的数据分布，生成相似的图像；而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器生成的数据，为了达到二者的最终目标，博弈双方需要不断优化，各自提高自己的生成能力和判别能力，最终使得生成网络学习到样本数据的分布，可以生成相类似的图像。训练过程中，固定一方，更新另一个网络的参数，如此交替迭代，使得对方的错误最大化，最终，生成对抗网络能学习到原始数据集的分布。在本专利技术实施例中，利用预先训练好的基于生成对抗网络的图像上色模型对待上色的图像进行处理，最终可以获得所述基于生成对抗网络的图像上色模型输出的彩色图像。在本专利技术实施例中，使用ImageNet数据集来构建训练样本集，所述训练样本集包括待上色图像样本和对应的彩色图像样本，可以通过对ImageNet数据集中的彩色图像进行灰度处理，获得待上色图像样本。如图1所示，采用如下方法训练得到所述基于生成对抗网络的图像上色模型：步骤100、构建带注意力机制的生成对抗网络模型；本专利技术实施例构建的带注意力机制的生成对抗网络模型的结构如图2所示，包括一个生成器和一个判别器，其中，生成器包括：用于提取输入图像特征的卷积神经网络层，注意力特征层，若干个卷积层，加法器和乘法器等。判别器接收生成器输出的结果，并将生成器输出的结果与真实的彩色图片进行判别。在一个实施例中，判别器采用卷积神经网络模型。训练生成器的过程如下：步骤101、将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像，并将高斯白噪声输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的虚拟图像；步骤102、计算所述待上色图像样本的虚拟图像与所述待上色图像样本对应的彩色图像样本之间的损失，获得生成器的损失结果，基于所述生成器的损失结果利用反向传播算法更新所述生成器的参数；具体地，所述待上色图像样本对应的彩色图像样本是真实的彩色图片，将高斯白噪声输入生成器中，获得一个虚拟图像，计算该虚拟图像与真实的彩色图像之间的损失，方向传播该损失从而更新生成器的参数。训练完一次生成器后，利用生成器输出的所述待上色图像样本的彩色图像训练一次判别器：步骤103、将所述待上色图像样本的彩色图像和所述待上色图像样本对应的彩色图像样本输入至所述带注意力机制的生成对抗网络模型的判别器进行判别，得到所述判别器的判别损失，并基于所述判别损失利用反向传播算法更新所述判别器的参数；具体地，所述待上色图像样本对应的彩色图像样本是真实的彩色图片，所述带注意力机制的生成对抗网络模型的判别器接收生成器输出的所述待上色图像样本的彩色图像，将该彩色图像与所述待上色图像样本对应的彩色图像样本进行判别，获得所述待上色图像样本的彩色图像对应的判别损失，对所述判别损失进行反向传播更新所述判别器的参数，通过上述步骤即实现了对判别器的训练。在本专利技术实施例中，交替训练生成器和判别器，即可训练一次生成器然后训练一次判别器。本专利技术实施例根据两个时间尺度上的更新规则，不断地交替训练生成器和判别器，最后得到被训练好的基于生成对抗网络的图像上色模型。在一个实施例中，使判别器的学习率比生成器的学习率大2至5倍。这样交替训练能够使得整个方法的鲁棒性更高，网络收敛速度更快，训练起来也更简单稳定。步骤104、当所述生成器的损失结果和所述判别损失均维持在预设阈值范围内并保持一段时间时，获得训练完成的基于生成对抗网络的图像上色模型，所述基于生成对抗网络本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的图像上色方法，其特征在于，包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。

【技术特征摘要】
1.一种基于生成对抗网络的图像上色方法，其特征在于，包括：将待上色图像输入至基于生成对抗网络的图像上色模型中，获取所述基于生成对抗网络的图像上色模型输出的彩色图像；其中，所述基于生成对抗网络的图像上色模型是基于待上色图像样本和对应的彩色图像样本进行训练后获得的。2.根据权利要求1所述的方法，其特征在于，采用如下方法训练得到所述基于生成对抗网络的图像上色模型：构建带注意力机制的生成对抗网络模型；将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像，并将高斯白噪声输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的虚拟图像；计算所述待上色图像样本的虚拟图像与所述待上色图像样本对应的彩色图像样本之间的损失，获得生成器的损失结果，基于所述生成器的损失结果利用反向传播算法更新所述生成器的参数；将所述待上色图像样本的彩色图像和所述待上色图像样本对应的彩色图像样本输入至所述带注意力机制的生成对抗网络模型的判别器进行判别，得到所述判别器的判别损失，并基于所述判别损失利用反向传播算法更新所述判别器的参数；当所述生成器的损失结果和所述判别损失均维持在预设阈值范围内并保持一段时间时，获得训练完成的基于生成对抗网络的图像上色模型，所述基于生成对抗网络的图像上色模型包括训练完成的生成器和判别器。3.根据权利要求2所述的方法，其特征在于，所述将待上色图像样本输入至所述带注意力机制的生成对抗网络模型的生成器进行训练，得到所述待上色图像样本的彩色图像的步骤，具体为：将待上色图像样本输入至所述生成器的卷积神经网络层进行训练，获得所述待上色图像样本的特征图；将所述特征图输入至所述生成器的注意力特征层进行线性变换和通道压缩，获得两个张量，然后重新将所述两个张量整理成矩阵形式并进行转置相乘，获得所述待上色图像样本的注意力图；将所述特征图输入所述生成器的1*1的卷积核进行卷积，将卷积得到的输出结果与所述注意力图相乘，获得所述待上色图像样本的自注意力特征图；将所述待上色图像样本的自注意...

【专利技术属性】
技术研发人员：张明，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11