一种基于生成对抗网络的非监督低照度图像增强方法技术

本发明专利技术公开了一种基于生成对抗网络的非监督低照度图像增强方法，属于图像处理领域，本发明专利技术通过构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强得到增强图像。本发明专利技术能够利用非监督图像数据训练模型，从而解决监督数据数量少且获取困难的问题；同时该方法能通过基于图像梯度和亮度设计的注意力图解决图像增强后的过曝问题。

【技术实现步骤摘要】
一种基于生成对抗网络的非监督低照度图像增强方法
本专利技术涉及一种基于生成对抗网络的非监督低照度图像增强方法，能够广泛适用于各种低照度环境下，需要通过增强图像或视频的亮度以提高能见度的场景。
技术介绍
低照度图像增强是计算机视觉领域的一个经典问题，其目的在于增强在低光照环境下拍摄的图片或视频，以提高其能见度。该技术不仅在视频监控、视频拍摄等依靠人眼感知的领域具有大量的应用，同样能为依赖于图像或视频的智能化算法(如自动驾驶)提供高质量的输入。现有的低照度图像增强方法主要分为三类：直方图均衡化(HE)，Retinex理论，基于学习的方法。直方图均衡化这类方法利用预先设计的先验知识或约束实现对图像的全局或局部的直方图均衡化。这类方法的优点是快速且稳定，缺点是仅考虑对比度，未考虑亮度，容易造成增强后的图像过曝或欠曝的问题。同时，该类方法并未考虑图像的语义信息，对不同属性但具有相同亮度直方图的区域仅能采用相同的增强方案，容易得到次优结果。Retinex理论将图像分解为反射图和照度图，并通过不同的假设估计照度图来求解反射图，其中反射图即为增本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的非监督低照度图像增强方法，其特征在于，包括如下步骤：/n构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强，得到增强图像；/n其中，所述生成器具有收缩路径和扩展路径；/n所述收缩路径由多个阶段组成，在一个阶段结束时，特征图被下采样，并且卷积滤波器的数量增加；所述扩展路径由多个阶段组成，在一个阶段结束时，特征图被上采样，并且卷积滤波器的数量减少；/n所述收缩路径每一个阶段输出的特征图除了进入下一阶段外，还通过跳层连接与注意力图做点积，经过通道注意力模块与扩展路径中对应阶段输出的特征图相...

【技术特征摘要】
1.一种基于生成对抗网络的非监督低照度图像增强方法，其特征在于，包括如下步骤：
构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强，得到增强图像；
其中，所述生成器具有收缩路径和扩展路径；
所述收缩路径由多个阶段组成，在一个阶段结束时，特征图被下采样，并且卷积滤波器的数量增加；所述扩展路径由多个阶段组成，在一个阶段结束时，特征图被上采样，并且卷积滤波器的数量减少；
所述收缩路径每一个阶段输出的特征图除了进入下一阶段外，还通过跳层连接与注意力图做点积，经过通道注意力模块与扩展路径中对应阶段输出的特征图相连接，以作为扩展路径下一阶段的输入；
扩展路径的最终输出经过卷积层将通道数降低后与注意力图作点积并通过跳层连接与输入图片相加，得到生成器的最终输出。


2.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，所述的注意力图为考虑梯度及亮度的自正则注意力图，利用双线性插值缩放到目标尺寸，用于和生成器收缩路径指定隐藏层输出的特征图相乘。


3.根据权利要求1或2所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，选取输入RGB图像三通道中最大值的通道为光照通道V，将其归一化为[0,1]，然后使用逐元素差1-V作为初始注意力图M0，在M0的基础上，将图像每个像素的梯度大小考虑进注意力图M的生成，图像梯度G的计算公式如下所示，



其中⊙代表卷积；于是最终注意力图M的计算公式为，





4.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，所述判别器包括全局判别器Dg和局部判别器Dl，其网络结构均为前向卷积网络，且输出层通道数为1。


5.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，生成器的损失函数如下式所示，



其中，和分别是生成器全局对抗损失和局部对抗损失，Lc代表内容损失，Lspa代表空间一致性损失。

<...

【专利技术属性】
技术研发人员：张泊宇，罗喜伶，王雪檬，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：浙江;33