基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法及系统技术方案

本发明专利技术提出了一种基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，通过QTP三个维度的损失项来分别使得无监督黑夜增强任务面临的问题得到改善。这种混合损失包括在循环对抗网络的损失项以外，另外加上三个部分:质量损失、任务损失和感知损失。质量部分通过加强参考图像和增强结果质量分数之间的相似性来解决模糊图像或伪色问题。任务部分从约束增强结果具有更高的白天概率的角度来解决增强效果不足的问题，也就是白天概率最大化。感知部分通过保持黑夜增强前后图像傅里叶相位谱一致的方法来限制域转换后缺失的语义信息，保证黑夜图像和增强图像的内容一致性。通过融合新的损失函数，最终得到可学习且更理想的黑夜图像增强模型。的黑夜图像增强模型。的黑夜图像增强模型。

【技术实现步骤摘要】
基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法及系统


[0001]本专利技术涉及计算机视觉，深度学习以及生成对抗神经网络
，具体地说是一种基于循环生成对抗残差网络及QTP损失项的无监督真实场景领域的黑夜图像增强方法及其在图像处理中的应用。

技术介绍

[0002]在科技日新月异的当下，计算机视觉技术正走进人们生活的方方面面。比如说自动驾驶，场景摄像头的检测识别，辅助倒车影像等等。但是前述所举的任务例子中，往往在光线充足的环境下，计算机视觉技术的性能较好，一旦应用于光线欠佳甚至黑夜环境下，这些视觉任务的准确率和性能会大幅下降。其原因在于黑夜场景的能见度低，光线不充足，设备采集的图像会发生模糊，噪声点等影响，导致诸如检测识别任务等视觉任务不能很好的应对这些问题。解决这些问题的一个途径是对黑夜场景图像进行增强，使得这些图像获得近似白天图像的特性，从而可以大大提升计算机视觉任务的处理效果。正因如此，解决实际黑夜场景增强是迫切而有必要的。
[0003]由于实际场景往往没有严格成对的数据集，因此真实黑夜场景的图像增强归于无监督任务。现在的无监督黑夜增强任务面临3个主要问题：
[0004]1.伪色，图像模糊质量差；2.黑夜的增强效果不够；3.增强前后图像的失真导致语义信息丢失。

技术实现思路

[0005]本专利技术针对上述的三种问题提出了一种全新的处理思路，基于循环生成对抗残差网络的混合质量
‑
任务
‑
感知损失方法QTP(Quality，Task，Perception)。技术方案通过QTP三个维度的损失项来分别使得无监督黑夜增强任务面临的问题得到改善。
[0006]首先是Q(Quality)维度，代表的是图像质量，意思在于从单张图像本身的某种特性来约束模型，具体地，采用基于语义的图像质量评价的方式，将图像质量的得分作为衡量生成图像是否优秀来约束网络的训练。
[0007]其次是T(Task)维度，代表的是具体任务需求角度，本专利技术旨在解决的是黑夜增强任务，因此本专利技术设计了一种方法能做到对图像是否属于白天图像域的概率进行量化预测，获得的预测值衡量生成图像属于白天域的概率大小来约束网络的训练。
[0008]第三是P(Perception)维度，代表的是感知内容角度。由于黑夜域转白天域属于域转换任务，避免不了域转换后图像内容发生偏移，与被增强域不保持严格一致。为了解决这个问题，本专利技术采用了相位保持的方法，通过实验观察到图像经过傅里叶变换得到的频谱中，相位谱与图像本身的语义内容息息相关，而幅度谱则与风格纹理等特征相关。在训练的时候加上源域和目标域相位保持一致的约束，使得域转换后内容背景改变的现象得以改善。
[0009]实现本专利技术方法的具体技术方案是：
[0010]一种基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，整体框架图如图1所示，网络模型的输入为不严格配对的黑夜与白天图像，输出为预测的白天图像(对黑夜图像进行黑夜增强后的图像)和预测的黑夜图像。在循环生成对抗残差网络基础上附加三个模块，图像质量保持器模块部分(Q),白天概率预测模块部分(T)，相位保持器模块部分(P)。所述方法具体包括以下步骤：
[0011]步骤1：用摄像头或照相机获得黑夜场景图像和对应白天场景图像(二者数量一致，语义内容可不一致)，对数据集进行划分，将数据集按测试集数量比训练集数量为1：30划分出测试集和训练集。随后进行数据预操作：剪裁图像、缩放图像尺寸大小、图像旋转与翻转，最后将图像像素矩阵以均值方差皆为0.5归一化至[0,1]，作为循环生成对抗残差网络的输入内容。
[0012]步骤2：搭建循环生成对抗残差网络：循环生成对抗残差网络的网络结构由一对生成网络G
A
与判别网络以及另一对生成网络G
B
与判别网络组成。生成网络采用编码网络+残差块+解码网络结构，生成网络学习白天图像和黑夜图像之间的残差，用于进行黑夜白天域之间的转换。具体地，生成网络结构由三块内容组成如图2所示，网络输入和输出维度一致。判别网络结构如图3所示，由五层卷积层组成，输出为一维单节点，用于判断生成域是否真实。
[0013]步骤3：训练循环生成对抗残差网络的第一对生成网络G
A
与判别网络，该生成网络完成黑夜域到白天域的转换，判别网络完成对生成网络的预测白天场景图像同真实白天场景图像进行比较，二者对抗协同进行训练，此消彼长，直至判别网络无法区分生成网络G
A
的生成结果是预测白天场景图像还是真实白天场景图像。具体地，在上步骤中对于循环生成对抗残差网络的训练，有两组损失项。首先是循环对抗网络的损失项L
gan
、L
cycle
、L
identity
，其次是本专利技术的创新的QTP损失项L
quality
、L
task
、L
phase
。而后，是训练第二对生成网络G
B
与判别网络，完成真实白天场景图像到预测黑夜场景图像的转换。训练过程和第一对类似，在第一对网络训练完成后训练第二对，二者交替训练。
[0014]其中，L
quality
为质量损失。在实际场景的黑夜增强任务中，往往存在各式各样的问题，其中很重要的一点在于生成的白天域图像存在着大量伪色，模糊，畸变等情况，图像质量较为不理想。因此，需要解决关于生成图像的质量提升问题。那么如何量化图像质量这个命题，是首先要解决的任务。本专利技术引入了基于语义特征的图像质量评价指标，使用一个质量预测目标网络来进行对图像的打分。具体做法是首先用基本模型ResNet50[1]提取图像语义特征，然后将其输入到超网络(HyperNetwork详见参考文献[3])中，该超网络将为质量预测目标网络生成权重。质量预测目标网络会对输入图像进行打分，该打分输出值的范围是[0，100]，数值越大则表示图像质量越优异，该数值结果评估出图像优劣(图像失真程度)，该超网络和质量预测目标网络的构成，训练和具体打分推理过程见参考文献[3]。量化了图像质量这一模糊的概念之后，来看一下在真实数据集的得分结果。如图4所示，可以看到真实黑夜图像的质量得分很低，CycleGAN[2]算法生成的预测白天场景图像的质量得分也不理想，真实白天场景图像的得分较高。那么如果可以使得生成图像的质量得分上升，则可以一定程度上解决图像伪色，模糊，畸变等问题。因此，把图像质量得分作为损失项，约束生成对抗网络使得网络生成高质量图像的能力得到提升。
[0015]L
task
为任务损失,除了上部分说明的生成图像的图像质量较差外，另一个问题就
是黑夜增强的效果不理想，生成的图片光线不够充足，还是较暗，与真实白天域图像差别明显。因此，针对这个问题本专利技术创新地提出一种解决办法。神经网络可以优化某个具体的损失项，在训练的过程中使得这损失项越来越小，那么如果找到一种衡量方法来衡量图像的增强效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，其特征在于，包括以下步骤：步骤1：收集黑夜场景图像和对应白天场景图像形成数据集；将数据集划分为测试集和训练集，并进行数据预操作；步骤2：搭建循环生成对抗残差网络，其网络结构由一对生成网络G
A
与判别网络以及另一对生成网络G
B
与判别网络组成；所述生成网络采用编码网络+残差块+解码网络结构，所述生成网络学习白天图像和黑夜图像之间的残差，用于进行黑夜白天域之间的转换；判别网络结构由五层卷积层组成，输出为一维单节点，用于判断生成域是否真实；步骤3：训练循环生成对抗残差网络的第一对生成网络G
A
与判别网络，该生成网络G
A
完成黑夜域到白天域的转换，判别网络完成对生成网络G
A
的预测白天场景图像同真实白天场景图像进行比较，二者对抗协同进行训练，直至判别网络无法区分生成网络G
A
的生成结果是预测白天场景图像还是真实白天场景图像；而后训练第二对生成网络G
B
与判别网络，完成真实白天场景图像到预测黑夜场景图像的转换，训练过程和第一对类似，在第一对生成网络G
A
训练完成后训练第二对生成网络G
B
，二者交替训练；在所述循环生成对抗残差网络的训练中，将训练集数据和预操作后的数据作为输入以达到增加训练数据量的目的，将其随机切割成256*256像素尺寸以加快网络训练速度，随后将256*256像素尺寸的图像输入到循环生成对抗残差网络的生成网络，生成预测白天图像；将此生成图像经过总体损失函数的计算后更新反传，再输入对应的判别网络进行判别；循环生成对抗残差网络的生成网络和判别网络在训练过程中交替更新，目标是使得总体损失函数最小，使得网络尽量收敛，得到接近收敛的黑夜增强网络；步骤4：将实际需要处理的黑夜场景图像输入训练好的黑夜增强网络，得到增强后的生成白天图像。2.如权利要求1所述的基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，其特征在于，步骤1中包括数据预操作：剪裁图像、缩放图像尺寸大小、图像旋转与翻转，最后将图像像素矩阵以均值方差皆为0.5归一化至[0，1]，作为循环生成对抗残差网络的输入内容。3.如权利要求1所述的基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，其特征在于，步骤3中对于循环生成对抗残差网络的训练，包括两组损失项；循环对抗网络损失项和QTP损失项；循环对抗网络损失项包括L
gan
、L
cycle
、L
identity
；所述QTP损失项包括L
quality
、L
task
、L
phase
；其中，L
quality
为质量损失：首先用基本模型ResNet50提取语义特征，然后将语义特征输入到超网络中，质量预测目标网络进行质量预测的结果输出，该输出值的范围是[0，100]，数值越大则表示图像质量越优异，该数值结果评估出图像优劣；L
task
为任务损失：建立可以评估预测图像白天概率的白天概率预测器，训练白天概率预测器的生成网络，使得该生成网络能输出一张像素值非黑即白的标签图，计算该标签图的像素平均值从而得到一幅图像的白天概率预测值；获得了图像的白天概率预测值，将该概率预测值归一化到[0，1]之间后，加入循环生成对抗残差网络中，作为一损失项约束循环生成对抗残差网络的训练；L
phase
为感知损失：在循环生成对抗残差网络训练的时候，保持生成图像和原始黑夜的
相位一致来达到保持生成图像内容与原始黑夜图像一致的目的，在语义内容维度上约束了生成对抗网络。4.如权利要求3所述的基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，其特征在于，白天概率预测器的网络结构由三层卷积层，九个残差模块，三层反卷积层构成。5.如权利要求3所述的基于循环生成对抗残差网络及QTP损失项的黑夜图像增强方法，其特征在于，白天概率预测器的数据准备过程为：首先分别将黑夜数据集和白天数据集进行随机切块拼接，使得拼接之后的图像由黑夜域的小块和白天域的小块组成，再给合成的拼接图打上标签；如果小块是属于黑夜的，则标签为0，如果是属于白天的则置255，那么拼接图对应的生成一张标签图；对于经过上述过程标定的标签图，统计属于白天标签的像素个数占整体图像尺寸的比率代表这张图属于白天的概率；由于全黑像素值为0，全白像素值为255，如果将[0，255]归一化到[0，1]之后，那么白天概率就是对应计算整张图像素的平均值；在数据准备过程中，准备10000
‑
15000张拼接的图像和经过标定的标签图提供给白天概率预测器进行训练。6.如权利要求3所述的基于循环生成对抗残差网...

【专利技术属性】
技术研发人员：邱崧，郭皓明，徐伟，陈昕苑，孙力，李庆利，丰颖，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：