一种基于生成对抗网络的灰度图像彩色化方法技术

本发明专利技术公开了一种基于生成对抗网络的灰度图像彩色化方法，该方法首先选取COCO图像数据集中的定量彩色图片组，去色处理后制作成训练集，其次构建生成对抗网络架构，使得生成器模型在其中完成预训练，然后对判别模型和经过预训练的生成模型进行交替训练，调整参数，得到训练好的模型，再将测试数据输入模型后可实现灰度图像彩色化。本发明专利技术通过对生成器的预训练方法和过程，使得训练方法和数据集优化上拥有极大的提升，能够保证训练质量和最终生成图像的泛化质量的基础上，极大缩短训练时长，具灵活性；且利用U

【技术实现步骤摘要】
一种基于生成对抗网络的灰度图像彩色化方法


[0001]本专利技术涉及深度学习和图像生成
，具体涉及一种基于生成对抗网络的灰度图像彩色化方法。

技术介绍

[0002]灰度图像彩色化算法是当前数字图像处理和计算机视觉领域的研究热点，在黑白影视资料、动漫素描、古画修复以及医学和航空领域有着广阔的应用前景。传统的彩色化方法主要分为局部颜色扩散法和基于参考图像的颜色转移法两大类，其中局部颜色扩散法需依靠人为给出一些标定的彩色像素点，通过扩散或变分等方法给全局图像染色，然而该方法要求人为提供初始彩色扩散像素，为彩色化过程带来不便；所述颜色转移法是基于一副或多副场景相近、颜色分布相近的参考图像，使之颜色转移到候选图像上，但此类方法所需人为给定的参考图像在复杂场景下往往难以寻找。作为用于图像着色领域的方法，过去的传统方法难以取得很好的效果，并且需要人工干预，且即便如此也难以进行大尺寸图像像素级别的精细上色工作。
[0003]近来由于深度学习的快速发展和广泛应用，许多研究选择将深度学习和图像着色结合起来。基于深度学习的灰度图像彩色化过程分为两个阶段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，具体按照如下步骤实施：A、选取COCO图像数据集中的定量彩色图片组，进行去色处理，制作成训练集；B、构建生成对抗网络架构，包括生成模型和判别模型，所述生成模型是 Resnet18骨干网络经过预训练后形成的；C、将步骤A得到的训练集依次输入生成对抗网络架构中进行模型训练，调整参数，达到收敛；D、将待处理的图像进行预处理，输入步骤C得到的对抗模型可使灰度图像自动彩色化。2.根据权利要求1所述的一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，所述步骤A中选用的是COCO数据集的子集，在其中精选8000张图片作为优化训练集，2000张图片作为验证集，2000张图片作为测试集。3.根据权利要求2所述的一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，步骤A中所述训练集的去色处理方法是将图像的颜色模式由RGB模式转换为Lab模式，进而提取L通道作为训练的灰度图像；所述训练集的图像大小为256
×
256像素。4.根据权利要求1
‑
3任一项所述的一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，所述步骤B中生成模型使用U
‑
net网络架构，由编码器和解码器组成，所述编码器和解码器各自有8个模块；其中，编码器进行下采样操作，其每个模块包含一个卷积层Conv2D和批标准化层BatchNorm2d，激活函数使用Leaky
‑
ReLU函数进行激活；所述解码器每个模块自定义了一个反卷积层ConvTranspose2d，卷积层的卷积核大小为（2，4），反卷积层包含一个上采样层和步长为2的卷积层Conv2D，所述卷积层Conv2D使用ReLU激活函数。5.根据权利要求4所述的一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，步骤B中所述预训练过程如下：（1）用ResNet骨干构建U
‑
net，加载ResNet18架构的预训练权重，并切割模型以移除最后两层；（2）DynamicUnet通过使用Resnet骨架建立一个输出通道为2个L和ab、输入大小为256像素的U
‑
net，作为初始生成器；（3）将灰度图像的L通道的数据输入所述初始生成器，计算生成器的损失L1（G），将梯度归零；（4）反向传播计算得到每个参数的梯度值，通过梯度下降执行一步参数更新；在每一次训练中，不断更新损失函数，重复训练20次，将训练过后的网络作为生成器。6.根据权利要求1所述的一种基于生成对抗网络的灰度图像彩色化方法，其特征在于，所述步骤C的具体过程为：C1、固定生成器，训练优化判别器：分别向判别器输入真实图像和生成器生成的虚假图像，通过实际输出与目标输出计算出判别损失，更新判别器参数；C2、固定判别器，训练优化生成器：将训练集训练图像的L通道输入生...

【专利技术属性】
技术研发人员：于同同，霍智勇，许晶晶，訾润，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：