【技术实现步骤摘要】
一种用于低光照图像增强的非监督学习方法和系统
本专利技术属于低光照图像增强领域,涉及一种用于低光照图像增强的非监督学习方法和系统,能够广泛适用于各种需要提高图像或视频的亮度以提高能见度的低光照场景。
技术介绍
随着摄影技术的发展,图像质量在分辨率和清晰度方面都有很大提高。然而,由于不可避免的环境或技术限制,在非均匀照明环境下拍摄的图像依然会受到低光照条件的影响,造成低可见度。而低光照环境下的图像是很多场景中重要的分析数据,因此夜间监控视频/图像的增强处理是充分实现视频监控系统效力最大化的关键,也是在夜间应用基于计算机视觉算法的智能系统的前提。目前,低光照图像增强方法主要分为三类:直方图均衡化方法、基于retinex理论方法,基于学习的方法。直方图均衡化方法是通过对图像进行非线性拉伸,重新分布图像的像素值来实现亮度增强。该方法运算快速且稳定。但是该方法及后续的以专利《基于改进的直方图均衡化低照度图像增强算法》(CN2016109766744)为代表的改进方法中存在色彩恢复不佳、曝光过度等问题。基于Retinex理论的方法是假设低光照图像可以分解为照度图像和反射图像两部分,通过估计照度图像以达到提高亮度的目的。现有的单尺度(SSR)和多尺度(MSR)retinex算法以及改进方法虽然能够有效提升亮度,但照度图像估计模型往往是根据经验建立的,需要复杂的参数调整,增强结果往往存在颜色偏差问题。基于学习的方法是从大量图像中学习低光照图像到正常光图像的映射以实现图像增强。目前,大部分基于学习的算法是有监督的,然而监督数据 ...
【技术保护点】
1.一种用于低光照图像增强的非监督学习方法,其特征在于包括如下步骤:/n1)构建非配对样本的训练集,训练集包括低光照图像和正常光照图像两部分;/n2)考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器;/n所述生成器包括下采样环节和上采样环节,下采样环节包括N个下采样阶段,上采样环节包括与各上采样阶段对应的N个上采样阶段;第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段;/n在每个下采样阶段,采用两个卷积层对特征进行提取,提取的特征图一路经空间特征转换模块进行空间特征转换,然后采用最大池化层对空间特征转换后的特征图进行下采样,并输出至后续阶段;提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘,然后将其与上采样环节前一阶段的高层特征连接,作为对应的上采样阶段的输入;/n在每个上采样阶段,首先通过两个卷积层对输入特征进行提取,然后经空间特征转换模块进行空间特征转换,再对转换后的特征图进行上采样,并输出至下一阶段;/n上采样环节之后,经过全卷积模块输出残差图像,将残差图像与注意力图逐像素点乘,并通过跳层连接与输入图像相加,得到最终的增强结果;/n3)将训练集中 ...
【技术特征摘要】
1.一种用于低光照图像增强的非监督学习方法,其特征在于包括如下步骤:
1)构建非配对样本的训练集,训练集包括低光照图像和正常光照图像两部分;
2)考虑图像的亮度和语义信息构建生成对抗网络的生成器和判别器;
所述生成器包括下采样环节和上采样环节,下采样环节包括N个下采样阶段,上采样环节包括与各上采样阶段对应的N个上采样阶段;第N个下采样阶段的特征图通过中间连接模块传递到第1个上采样阶段;
在每个下采样阶段,采用两个卷积层对特征进行提取,提取的特征图一路经空间特征转换模块进行空间特征转换,然后采用最大池化层对空间特征转换后的特征图进行下采样,并输出至后续阶段;提取的特征图另一路与对应尺寸的可学习的亮度自正则注意力图相乘,然后将其与上采样环节前一阶段的高层特征连接,作为对应的上采样阶段的输入;
在每个上采样阶段,首先通过两个卷积层对输入特征进行提取,然后经空间特征转换模块进行空间特征转换,再对转换后的特征图进行上采样,并输出至下一阶段;
上采样环节之后,经过全卷积模块输出残差图像,将残差图像与注意力图逐像素点乘,并通过跳层连接与输入图像相加,得到最终的增强结果;
3)将训练集中的低光照图像输入生成器中,得到增强后的图像,将增强后的图像与训练集中正常光照图像输入辨别器中,对输入图像的真伪进行辨别;然后通过最小化损失函数更新优化生成对抗网络参数,得到训练完成的生成对抗网络;
4)使用训练后的生成对抗网络对待处理的低光照图像进行增强,得到增强图像。
2.根据权利要求1所述的用于低光照图像增强的非监督学习方法,其特征在于,所述空间特征转换模利用提前获取的低光照图像的语义分割概率图,经过条件转换模块生成条件特征图,将条件特征图经过两个独立的调制模块,生成一对适应输入特征图尺寸的调制参数a和b;
在空间特征转换时,空间特征转换模块以调制参数a和b作为空间特征转换条件,将参数a与空间特征转换模块的输入特征相乘后与b相加,得到最终的空间特征调制模块的输出。
3.根据权利要求2所述的用于低光照图像增强的非监督学习方法,其特征在于,所述的条件转换模块是一个包含5个卷积层的全卷积网络,条件转换模块生成32通道的条件特征图;
所述的两个独立的调制模块的结构相同,都包含一个后接LeakyReLU的卷积层和一个全卷积层。
4.根据权利要求1所述的用于低光照图像增强的非监督学习方法,其特征在于,所述的可学习的亮度自正则注意力图如下式所示;
其中V代表输入图像的灰度图,通过将输入的RGB三通道图像转化为一通道的灰度图,然后将其标准化为[0,1]获得,α代表控制注意力图曲率的参数;参数α是可学习参数,在训练开始阶段将参数α初始化为1,并将其requires_grad属性设置为True,连同生成对抗网络模型一起训练并保存参数值,以实现自动学习网络最优亮度注意...
【专利技术属性】
技术研发人员:罗喜伶,王雪檬,潘洋洋,
申请(专利权)人:北京航空航天大学杭州创新研究院,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。