基于卷积神经与条件生成对抗性网络的灰度图像上色方法技术

本发明专利技术提成一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其采用基于残差网络的迁移学习方法对图像进行分类后，将原始灰色图像与该图像的标签一起输入到图像自动上色网络中，图像自动上色网络根据图像的标签为该图像匹配相对应的上色模型进行图像自动上色。该方法与以往传统的上色方法相比，此方法能够全面地对提取到的特征进行分类，再根据图像的分类，有目的地对目标对象进行自动上色，从而使图片上色效果更接近人们心中预设的视觉效果，且在相同的训练次数和学习率的条件下，该方法能够实现更好的上色效果。

【技术实现步骤摘要】
基于卷积神经与条件生成对抗性网络的灰度图像上色方法
本专利技术涉及图像处理
，特别涉及一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法。
技术介绍
目前，对于图片上色主要还是运用Photoshop等软件手工完成。对于设计师来说，一张图片的上色，往往不仅需要花费很长的时间去完成，还要经过不断地研究、不断地调整和修改，才能得到满意的效果。因此，如果能够输入一张图片，就能够生成已经上色好的图片，仅仅需要几秒钟就可以自动完成手工可能需要一个月时间才能完成的工作，这样的方法会显得十分的重要且有意义。图像着色技术在图像处理领域是非常重要的研究话题，其发展也越来越快，目前我们所公知的图片自动上色的技术中，大多数用的是条件生成对抗性网络，通过设计生成器和判别器。其中生成器的作用是生成图片并设法骗过判别器，而判别器则要区分图片的真假，通过对抗学习使得两者越来越强，使生成器生成的图片能够达到以假乱真的效果，最终经过生成器对图片进行上色。由于没有经过系统的图像分类，这样往往需要庞大且广泛的样本数和足够多的训练次数，要耗费比较长的时间去训练生成器和判别器，才能有比较好的上色效果，如果样本数和训练次数不够，因为受到图片类型或者图片色调的限制，上色后生成图片可能出现颜色比较单一或者颜色与图片不匹配的问题，和人们预设的上色效果差距过大。因此，如果能够加入图像分类模块，对图片的类型进行分类(如按照动物、植物、动漫、食物等等分类)，将获得标签的图片输入到对抗网络中，根据标签的值选取对应的生成器进行上色，这样的上色效果会更好。另外，图像分类采用的是迁移学习的方法，传统的图像分类方法需要消耗大量的时间,且分类效果相对较差，而迁移学习的方法只需在一个特定的数据集上，重新利用已经训练过的卷积神经网络(CNN)，并将其改造或迁移到一个不同的数据集中，重复使用训练过的卷积神经网络，这样能够有效的解决耗时较长的问题。综上所述，基于卷积神经网络与条件生成对抗网络的灰度图片自动上色的方法研究中，如果按照现有的方法去实现，就需要去收集较多类型广泛的样本数据，并且需要耗费大量时间去训练条件生成网络的生成器和判别器，最终才能生成上色效果较好的图片，这样的方法耗时长、效果欠佳，不是一种理想的方法。
技术实现思路
鉴于以上内容，有必要提供一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其利用深度学习与生成对抗网络(GANs)、迁移学习等技术，提供一个能够准确快速以及精确上色的全自动灰度图像彩色化的方法，从而给输入的灰度图片自动上色，省去手工上色所需花费的大量时间，同时耗时短、效果好。为达到上述目的，本专利技术所采用的技术方案是：一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其采用基于残差网络的迁移学习方法对图像进行分类后，将原始灰色图像与该图像的标签一起输入到图像自动上色网络中，图像自动上色网络根据图像的标签为该图像匹配相对应的上色模型进行图像自动上色，该上色方法具体包括如下步骤：(一)模型建立1)收集数据1.1)收集大量的彩色图片，并对收集到的数据做数据增操作处理，数据增操作包括图像旋转、图像亮度调整等；然后，将数据的尺寸通过图像裁剪，处理成相同的大小；1.2)给数据集中的图像添加标签，同一类的图像标签相同，不同类的图像标签不同，图像类别数设为N；1.3)划分收集的数据，其中90％作为训练集，10％作为测试集；2)建立图像分类网络模型图像分类网络模型由残差网络结构组成，该残差结构包含五个卷积层组、一个全局平均池化层、一个全连接层和一个Softmax层，其中，将Softmax层的神经元数目设为N；3)建立图像自动上色网络模型图像自动上色网络选用带有条件生成对抗性网络的Pix2Pix模型，该Pix2Pix模型由生成器网络与判别器网络两部分组成；其中，生成器网络选用U-Net结构，该U-Net结构由压缩路径和扩展路径组成，在压缩路径，其重复采用两个卷积层和一个最大池化层的结构，在扩展路径，其重复采用一个反卷积层和两个卷积层的结构；判别器网络使用PatchGAN，其将图像分割成每个大小为MxM的图像块(patch)，判别器对每一个patch做真假判别，将一张图片所有patch的结果取平均作为最终的判别器输出；(二)图像上色1)加载训练好的图像分类网络模型与图像自动上色网络模型；2)输入待上色的灰色图像，该灰色图像经过图像分类网络获得标签后再连同所获得的标签输入到图像自动上色网络中；3)在图像自动上色网络中，根据输入的图像标签，加载对应的图像上色模型，将待上色的灰色图像送入该图像上色模型中进行上色，得到一张彩色图像。进一步地，图像分类网络模型的训练过程包括以下步骤：2.1)获得做了标签的数据集；2.2)向残差网络结构中输入数据集中的训练集图像；2.3)图像经过残差网络结构输出该图像是某个类别的概率，所输出的所有类别的概率之和为1；2.4)通过比较所有类别的概率，输出概率最大的标签值，该标签值所对应的类别即为图像分类网络针对该图像判别出来其所属于的类别，将该标签值与图像真实的标签值比较，并根据比较结果优化网络的参数；2.5)重复步骤2.2)-2.4)，直到训练图像完全输入或者图像分类网络的正确率符合预先的期望值为止，保存图像分类网络模型。进一步地，图像自动上色网络模型的训练过程包括以下步骤：3.1)获得做了标签的数据集；3.2)将数据集所有类别中没有训练过的某一类别图像的训练集输入到图像自动上色网络中；3.3)对输入到图像自动上色网络中的彩色图像x进行灰度化处理，灰度化图像y作为生成器网络G的输入，生成器网络G使用U-Net结构通过对灰度化图像y进行特征提取与上采样后，输出图像特征张量，该图像特征张量是生成器网络G对输出图像的a*，b*颜色通道的预测值；最后，生成器网络G将得到的图像特征张量与灰度化图像中包含的L*通道结合到一起，获得基于CIE色彩空间并与原输入图像底层结构大致相同的上色图像G(y)，生成器网络G在不断的训练中学习从灰度图像到彩色图像的非线性映射；3.4)上色图像G(y)与原始彩色图像x构成图像对(x，G(y))，彩色图像x与彩色图像x构成图像对(x，x)，将(x，G(y))、(x，x)作为判别器网络D的输入，判别器网络D通过PatchGAN对图像的每一个patch做真假判断，进而得出图像对之间是否真的是对应的，即G(y)是否就是x，x是否就是x；3.5)判别器网络D与生成器网络G通过损失函数交替优化自己的参数，生成器网络G的优化目标是使(G(y)，x)之间的损失越小越好，判别器网络D的目标则是(G(y)，x)之间的损失尽可能的大，(x，x)之间的损失尽可能的小；3.6)训练完输入的图像，根据标签保存模型到该类别对应的模型保存路径中；3.7)重复步骤3.2)-3.6)，直到所有类别都训练完成。进一步地，在将训练本文档来自技高网...

【技术保护点】
1.一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其特征在于，其采用基于残差网络的迁移学习方法对图像进行分类后，将原始灰色图像与该图像的标签一起输入到图像自动上色网络中，图像自动上色网络根据图像的标签为该图像匹配相对应的上色模型进行图像自动上色，该上色方法具体包括如下步骤：/n(一)模型建立/n1)收集数据/n1.1)收集大量的彩色图片，并对收集到的数据做数据增操作处理，数据增操作包括图像旋转、图像亮度调整等；然后，将数据的尺寸通过图像裁剪，处理成相同的大小；/n1.2)给数据集中的图像添加标签，同一类的图像标签相同，不同类的图像标签不同，图像类别数设为N；/n1.3)划分收集的数据，其中90％作为训练集，10％作为测试集；/n2)建立图像分类网络模型/n图像分类网络模型由残差网络结构组成，该残差结构包含五个卷积层组、一个全局平均池化层、一个全连接层和一个Softmax层，其中，将Softmax层的神经元数目设为N；/n3)建立图像自动上色网络模型/n图像自动上色网络选用带有条件生成对抗性网络的Pix2Pix模型，该Pix2Pix模型由生成器网络与判别器网络两部分组成；其中，生成器网络选用U-Net结构，该U-Net结构由压缩路径和扩展路径组成，在压缩路径，其重复采用两个卷积层和一个最大池化层的结构，在扩展路径，其重复采用一个反卷积层和两个卷积层的结构；判别器网络使用PatchGAN，其将图像分割成每个大小为M x M的图像块(patch)，判别器对每一个patch做真假判别，将一张图片所有patch的结果取平均作为最终的判别器输出；/n(二)图像上色/n1)加载训练好的图像分类网络模型与图像自动上色网络模型；/n2)输入待上色的灰色图像，该灰色图像经过图像分类网络获得标签后再连同所获得的标签输入到图像自动上色网络中；/n3)在图像自动上色网络中，根据输入的图像标签，加载对应的图像上色模型，将待上色的灰色图像送入该图像上色模型中进行上色，得到一张彩色图像。/n...

【技术特征摘要】
1.一种基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其特征在于，其采用基于残差网络的迁移学习方法对图像进行分类后，将原始灰色图像与该图像的标签一起输入到图像自动上色网络中，图像自动上色网络根据图像的标签为该图像匹配相对应的上色模型进行图像自动上色，该上色方法具体包括如下步骤：
(一)模型建立
1)收集数据
1.1)收集大量的彩色图片，并对收集到的数据做数据增操作处理，数据增操作包括图像旋转、图像亮度调整等；然后，将数据的尺寸通过图像裁剪，处理成相同的大小；
1.2)给数据集中的图像添加标签，同一类的图像标签相同，不同类的图像标签不同，图像类别数设为N；
1.3)划分收集的数据，其中90％作为训练集，10％作为测试集；
2)建立图像分类网络模型
图像分类网络模型由残差网络结构组成，该残差结构包含五个卷积层组、一个全局平均池化层、一个全连接层和一个Softmax层，其中，将Softmax层的神经元数目设为N；
3)建立图像自动上色网络模型
图像自动上色网络选用带有条件生成对抗性网络的Pix2Pix模型，该Pix2Pix模型由生成器网络与判别器网络两部分组成；其中，生成器网络选用U-Net结构，该U-Net结构由压缩路径和扩展路径组成，在压缩路径，其重复采用两个卷积层和一个最大池化层的结构，在扩展路径，其重复采用一个反卷积层和两个卷积层的结构；判别器网络使用PatchGAN，其将图像分割成每个大小为MxM的图像块(patch)，判别器对每一个patch做真假判别，将一张图片所有patch的结果取平均作为最终的判别器输出；
(二)图像上色
1)加载训练好的图像分类网络模型与图像自动上色网络模型；
2)输入待上色的灰色图像，该灰色图像经过图像分类网络获得标签后再连同所获得的标签输入到图像自动上色网络中；
3)在图像自动上色网络中，根据输入的图像标签，加载对应的图像上色模型，将待上色的灰色图像送入该图像上色模型中进行上色，得到一张彩色图像。


2.如权利要求1所述的基于卷积神经与条件生成对抗性网络的灰度图像上色方法，其特征在于，图像分类网络模型的训练过程包括以下步骤：
2.1)获得做了标签的数据集；
2.2)向残差网络结构中输入数据集中的训练集图像；
2.3)图像经过残差网络结构输出该图像是某个...

【专利技术属性】
技术研发人员：黎海生，廖明霞，鲁健恒，黄飞燕，罗丹仪，全永桦，陈玉萍，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：广西;45