一种深度特征对抗式学习的交互式灰度图像着色方法技术

本发明专利技术提出了一种深度特征对抗式学习的交互式灰度图像着色方法，基于生成式对抗网络理论，构建以U型网络结构为基础的全卷积神经网络作为生成器，可处理任意尺寸的图像。通过随机模拟交互笔画的方式自动生成灰度图像着色训练数据，同时对判别器和生成器两个神经网络进行对抗式训练。最终训练出灰度图像着色神经网络模型，实现交互式的灰度图像着色。本发明专利技术可以对带有用户笔画交互的灰度图像进行上色，在高效自动化处理的同时，也支持用户的个性化上色需求，实现艺术化的创作。

【技术实现步骤摘要】
一种深度特征对抗式学习的交互式灰度图像着色方法
本专利技术涉及图像处理、深度学习和增强现实
，具体地说是一种深度特征对抗式学习的交互式灰度图像着色方法。
技术介绍
灰度图像着色是一个经典的图像编辑问题，即输入一张单通道的灰度图像，将其转化为RGB三通道的彩色图像，且与图像表达的语义内容相符。人们在早期拍摄的大量老照片、老电影等很多都是黑白色的，将这些图像视频重新上色，可以使其产生新的活力。另外，画家、艺术家等在创作绘画时，动画制作者在创作新的漫画、动画作品时，常常首先创作出黑白底色的初品，然后再对其进行上色处理。因此，对灰度图像进行自动化、智能化着色，不管对于经典老照片、老视频修复处理，还是现代的艺术创作，都有着非常重要的需求，一直是图像编辑领域的一个研究热点。早期的基于用户交互的图像着色是通过用户笔画对颜色选取及着色区域进行控制，通过编辑传播等方法将用户的笔画传播到其他特征相似的区域。2004年，以色列耶路撒冷希伯来大学的Levin等人提出了基于编辑传播的灰度图像着色方法，通过笔画交互，将颜色传播到相似的像素上面。2008年，美国达特茅斯学院的An等人提出了一种基于像素相似性的图像视频编辑传播方法。2010年，以色列耶路撒冷希伯来大学的Farbman等人提出了基于扩散映射的图像编辑传播方法，利用扩散距离衡量像素之间的相似度。2012年，北京航空航天大学的Chen等人提出了一种特征流形结构保持的图像视频编辑传播方法，该方法利用局部线性嵌入实现编辑传播，保持了特征空间的流形结构。除了通过画笔交互对图像局部进行控制外，还出现了利用颜色模板等对全局进行控制的着色方法。例如，2010年，浙江大学的Wang等人提出了基于颜色模板的图像增强方法。2015年，美国普林斯顿大学的Chang等人提出了基于调色板的图像重着色方法，通过对颜色模板的编辑，实现整幅图像色调的改变。另外一种半自动化的图像着色是将参考图像的色调迁移到目标图像上。2001年，犹他大学的Reinhard等人通过统计参考图像颜色的均值和方差，将其色调迁移到目标灰度图像上，实现灰度图像着色。2008年，香港中文大学的Liu等人提出了基于多幅参考图像的灰度图像着色方法，并考虑了光照、反射等因素。2012年，南洋理工大学的Gupta等人提取超像素的特征进行匹配，实现基于参考图像的灰度图像着色方法。然而，这些方法的灰度图像着色结果很大程度上取决于参考图像是否合适，例如参考图像与待着色的灰度图像是否是相似场景。而寻找合适的参考图像本身就是费时费力的。最近，随着深度学习的快速发展，基于神经网络的灰度图像着色取得了出色的成果。这得益于卷积神经网络可以从大量的图像训练集中学习到灰度图像着色的知识，使灰度图像着色实现完全的自动化处理。2015年，上海交通大学的Cheng等人首次利用深度神经网络解决灰度图像着色问题，利用语义特征描述符，实现了高质量的全自动着色方法。2016年，日本早稻田大学的Iizuka等人提出了一种基于深度学习的端到端灰度图像自动着色方法，该方法在神经网络中加入融合层，将图像局部信息与全局信息融合到一起，并利用类别标签进行着色优化。同年，美国加利福尼亚大学的Zhang等人提出了一种基于卷积神经网络的灰度图像着色方法，提出了一个新的损失函数，解决了颜色多样性问题。同年，美国芝加哥大学的Larsson等人提出了表达学习的灰度图像自动着色方法，该方法利用深度网络学习图像底层特征和语义表达，可以预测像素的颜色直方图。但是这些全自动方法对于一张输入的灰度图像只能输出唯一的着色结果，这个结果是神经网络对训练数据集综合考量后得到的。例如，如果训练集中的自然场景都为夏天的绿色场景，那么对于灰度自然场景的着色结果就一定是绿色的，不可能出现秋天的金黄色场景。因此，这些基于神经网络的灰度图像着色结果无法根据不同需求对同一副灰度图像产生不同的着色结果。由以上分析可以得出，交互式灰度图像着色方法可以根据用户要求生成着色结果，但需要大量的人工交互作为保障，智能化程度低；基于深度学习的自动化灰度图像着色方法解放了人力，但是着色结果唯一，当编辑结果有误，或用户有其他需求时，无法通过人工干预进行调整。
技术实现思路
为了克服上述现有技术的不足，本专利技术提出了一种深度特征对抗式学习的交互式灰度图像着色方法，将深度学习与人工交互相结合，将人工交互作为训练集的一部分输入神经网络进行训练，使神经网络可以处理带有交互信息的灰度图像，达到灰度图像着色自动化、智能化、个性化的统一。为完成专利技术目的，本专利技术采用的技术方案是：本专利技术一种深度特征对抗式学习的交互式灰度图像着色方法，其具体步骤如下：步骤一：通过模拟人工笔画交互的方式生成灰度图像着色训练集。步骤二：设计生成式对抗网络，包括生成器神经网络和判别器神经网络，并进行训练。步骤三：网络训练结束后，输入带有人工交互的灰度图像，神经网络会输出着色后的彩色图像。其中，在步骤一中所述的“模拟人工笔画交互”，是指将彩色图像转化到Lab颜色空间，其中L为亮度通道，即为此彩色图像对应的灰度图像。其他两个通道a、b为颜色通道，利用颜色通道的颜色值作为笔画的颜色来模拟交互。对于每一幅图像，随机采取1至32个像素点，对于每一个像素点，保证其颜色饱和度的值大于30％，否则重新选择像素点。对于每一个像素点，以此点为中心，随机取1×1、3×3、5×5的图像块，赋予中心像素点的颜色，其他所有像素颜色值均为0。其中，在步骤二中所述的“生成器神经网络”，是一种全卷积神经网络。网络的输入为一张灰度图像以及用户的交互其中表示实数空间，H表示图像像素高度，W表示图像像素宽度。在Lab颜色空间下，灰度图像对应L亮度通道，用户交互G对应ab颜色通道。网络的输出为预测出的所有像素在ab通道的颜色值，即全卷积神经网络通过最小化如下公式得到：其中，表示深度网络模型，θ为此网络模型需要求解的参数；表示损失函数，即的输出与训练集中标准值Y的差值。通过最小化损失函数来求解网络模型参数θ，以此进行训练。其中，在步骤二中所述的“判别器神经网络”，是一种混合神经网络，输入为一张图像，输出为0或1的标量，代表输入为“真”或“假”。判别器神经网络由若干个卷积层以及一个全连接层构成。判别器网络包含4组卷积层，每组特征层的空间分辨率依次减半，特征维度依次加倍。最后为全连接层，输入维度为最后特征层的特征个数，输出维度为一，即判断结果为真或假。步骤(2)中，所述生成器神经网络为一种全卷积神经网络，其具体结构为：由9组卷积网络层构成，第1组网络将输入信息映射为初始化的特征层，特征层分辨率与图像相同。第2-5组网络特征层的空间分辨率依次减半，特征维度则加倍；第6-9组网络特征层的空间分辨率依次加倍，直到恢复到原图大小，而特征维度则减半；每组网络由1至2个卷积层构成，且每个卷积层之后都有批量归一化层以及激活函数；在神经网络前后对称、空间分辨率相同的每对卷积层之间，通过快捷通道进行连接，直接利用卷积层进行下采样，即设卷积核大小为4、步长为2时，特征层空间分辨率将会减半；在神经网络后半段，采用反卷积实现空间分辨率尺度的加倍；在9组卷积层的最后，再加入最后的一个颜色卷积层，将特征层映射为ab双通道的颜色特征层，得到最终的着色本文档来自技高网...

【技术保护点】
1.一种深度特征对抗式学习的交互式灰度图像着色方法，其特征在于，包含以下步骤：(1)通过模拟笔画交互的方式生成灰度图像着色训练集；所述的模拟笔画交互是指对于每一幅彩色图像，将其转化为灰度图像，然后在Lab颜色空间的ab通道进行随机采样，将采样像素的颜色值赋予灰度图像相应位置的像素，生成带有笔画交互的训练数据；(2)设计生成式对抗网络，并利用步骤(1)生成的训练数据集对网络进行训练，所述生成式对抗网络包括生成器神经网络和判别器神经网络；(3)生成式对抗网络训练结束后，向生成器神经网络中输入带有笔画交互的灰度图像，生成器神经网络会输出着色后的彩色图像。

【技术特征摘要】
1.一种深度特征对抗式学习的交互式灰度图像着色方法，其特征在于，包含以下步骤：(1)通过模拟笔画交互的方式生成灰度图像着色训练集；所述的模拟笔画交互是指对于每一幅彩色图像，将其转化为灰度图像，然后在Lab颜色空间的ab通道进行随机采样，将采样像素的颜色值赋予灰度图像相应位置的像素，生成带有笔画交互的训练数据；(2)设计生成式对抗网络，并利用步骤(1)生成的训练数据集对网络进行训练，所述生成式对抗网络包括生成器神经网络和判别器神经网络；(3)生成式对抗网络训练结束后，向生成器神经网络中输入带有笔画交互的灰度图像，生成器神经网络会输出着色后的彩色图像。2.根据权利要求1所述的一种深度特征对抗式学习的交互式灰度图像着色方法，其特征在于：步骤(2)中，所述生成器神经网络为一种全卷积神经网络，网络的输入为一张灰度图像以及用户的交互其中表示实数空间，H表示图像像素高度，W表示图像像素宽度；在Lab颜色空间下，灰度图像对应L亮度通道，用户交互G对应ab颜色通道；网络的输出为预测出的所有像素在ab通道的颜色值，即全卷积神经网络通过最小化如下公式得到：其中，表示深度网络模型，θ为此网络模型需要求解的参数；表示损失函数，即的输出与训练集中标准值Y的差值。通过最小化损失函数来求解网络模型参数θ，以此进行训练。3.根据权利要求1或2所述的一种深度特...

【专利技术属性】
技术研发人员：李健伟，周彬，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11