一种基于数据合成的低照度图像增强方法及装置制造方法及图纸

本发明专利技术公开了一种基于数据合成的低照度图像增强方法及装置，该方法包括：获取正常光照图像H，利用预设的低照度图像模拟方法将正常光照图像H转换为低照度图像L，得到图像对(L,H)；构建低照度图像增强模型，包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；利用生成器及判别器损失函数，对低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；获取待增强的低照度图像，利用训练好的低照度图像增强模型对待增强的低照度图像进行处理，得到增强的低照度图像。本发明专利技术解决了低照度图像训练数据对难以获取的约束，有效增加了监督训练模型的泛化能力，增强结果具有较高的视觉质量。的视觉质量。的视觉质量。

【技术实现步骤摘要】
一种基于数据合成的低照度图像增强方法及装置


[0001]本专利技术涉及人工智能和图像增强
，尤其涉及一种基于数据合成的低照度图像增强方法及装置。

技术介绍

[0002]在黄昏、夜晚、背光或非均匀光照条件下，图像采集设备所拍摄图像视觉质量一般较差，存在大量的暗区且亮度、对比度严重降低，信噪比较低，色彩和纹理信息丢失严重，图像辨识性较差。更严重的，会对后续高级任务如图像识别、目标检测、跟踪、语义分割带来严重影响，为视频监控、遥感图像、自动驾驶、军事侦察等应用领域带来极大困难。
[0003]由于低照度图像的上述特性，如何在增强低照度区域、提高整体感知质量的同时尽量抑制噪声并保留饱和区细节纹理和色彩信息是当前研究的难点和重点。目前传统的低照度增强方法主要是基于直方图均衡和Retinex模型理论，其在原本图像视觉质量较好且信噪比较高的情况下具有一定效果，但传统方法很难找到通用有效的先验假设与约束，且噪声信号会不可避免地被放大，在更丰富的场景下将得到不真实的增强效果，如丢失的细节及扭曲的颜色。
[0004]近年来，随着人工智能的快速发展，基于数据驱动的深度学习方法由于具有更佳的端到端图像映射质量、更好的鲁棒性和更快的推理速度，逐渐受到越多越多研究人员和工程人员的关注，同时也广泛应用到低照度图像增强这一领域，如利用堆叠去噪自编码同时完成低照度图像的去噪和增强(LLNet)；设计分解网络和重建网络，分别在反射分量中做去噪和光照分量中做增强。然而，多数的有监督训练网络受限于训练数据对的获取，网络泛化性有限，图像增强质量不佳。
[0005]针对这一情况，如何解决低照度图像增强训练中的数据问题，并且使得生成质量更加真实，将是本领域技术人员亟待解决的技术问题。

技术实现思路

[0006]本专利技术所要解决的技术问题在于，提供一种基于数据合成的低照度图像增强方法及装置，能够通过收集大量的正常光照下自然图像，通过低照度图像模拟算法将其转化为低照度图像，形成相应图像对(L，H)；接着设计两个结构相同但参数不同的Unet生成器和PatchGAN判别器；利用对抗损失、重构损失、感知损失、循环一致性损失和映射损失函数对前述网络进行对抗训练；最后提取出其中G
l
生成器，可对任意输入的真实低照度图像进行端到端增强。
[0007]为了解决上述技术问题，本专利技术实施例第一方面公开了一种基于数据合成的低照度图像增强方法，所述方法包括：
[0008]S1，获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
[0009]S2，构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数
不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
[0010]S3，利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
[0011]S4，获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
[0012]作为一种可选的实施方式，本专利技术实施例第一方面中，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
[0013]S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
[0014]S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
[0015]S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
[0016]S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
[0017]作为一种可选的实施方式，本专利技术实施例第一方面中，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
[0018]模块1的输入为正常光照图像H或低照度图像L；
[0019]模块1～模块9为串接关系；
[0020]模块1与模块8的输出特征图跳连接，模块2与模块7的输出特征图跳连接，模块3与模块6的输出特征图跳连接；
[0021]模块2～模块4中包含下采样操作；
[0022]模块6～模块8中包含上采样操作；
[0023]模块9的输出为增强的低照度图像；
[0024]模块1由初始卷积层+通道注意力构成；
[0025]模块2由下采样层+1层残差层+通道注意力构成；
[0026]模块3由下采样层+2层残差层+通道注意力构成；
[0027]模块4由下采样层+4层残差层+通道注意力构成；
[0028]模块5由自注意力构成；
[0029]模块6由4层残差层+上采样层+通道注意力构成；
[0030]模块7由2层残差层+上采样层+通道注意力构成；
[0031]模块8由1层残差层+上采样层+通道注意力构成；
[0032]模块9由输出卷积层构成。
[0033]作为一种可选的实施方式，本专利技术实施例第一方面中，所述初始卷积层由窗口大小为7
×
7的卷积+实例归一化+整流线性单元构成；
[0034]所述下采样层，由窗口大小为3
×
3，步长为2
×
2的卷积+实例归一化+整流线性单元构成；
[0035]所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；
[0036]所述上采样层，由窗口大小为3
×
3，步长为2
×
2的反卷积+实例归一化+整流线性单元构成；
[0037]所述输出卷积层，由窗口大小为7
×
7的卷积+双曲正切函数构成。
[0038]作为一种可选的实施方式，本专利技术实施例第一方面中，所述PatchGAN判别器由4个判别模块+窗口大小为4
×
4的卷积构成；
[0039]所述判别模块，由窗口大小为4
×
4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
[0040]所述PatchGAN判别器的输出为M
×
N矩阵，M和N为输入图像尺寸的十六分之一。
[0041]作为一种可选的实施方式，本专利技术实施例第一方面中，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
[0042]所述对抗损失用于迭代训练生成器和判别器；
[0043]所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；所述还原低维信息，原因在于重构损失是逐像素计算误差，所述还原高维信息，原因在于感知损失是在高维潜变量中计算误差。
[0044]所述循本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据合成的低照度图像增强方法，其特征在于，所述方法包括：S1，获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；S2，构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；S3，利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；S4，获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。2.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。3.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；模块1的输入为正常光照图像H或低照度图像L；模块1～模块9为串接关系；模块1与模块8的输出跳连接，模块2与模块7的输出跳连接，模块3与模块6的输出跳连接；模块2～模块4中包含下采样操作；模块6～模块8中包含上采样操作；模块9的输出为增强的低照度图像；模块1由初始卷积层+通道注意力构成；模块2由下采样层+1层残差层+通道注意力构成；模块3由下采样层+2层残差层+通道注意力构成；模块4由下采样层+4层残差层+通道注意力构成；模块5由自注意力构成；模块6由4层残差层+上采样层+通道注意力构成；模块7由2层残差层+上采样层+通道注意力构成；模块8由1层残差层+上采样层+通道注意力构成；模块9由输出卷积层构成。4.根据权利要求3所述的基于数据合成的低照度图像增强方法，其特征在于，所述初始卷积层由窗口大小为7
×
7的卷积+实例归一化+整流线性单元构成；
所述下采样层，由窗口大小为3
×
3，步长为2
×
2的卷积+实例归一化+整流线性单元构成；所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；所述上采样层，由窗口大小为3
×
3，步长为2
×
2的反卷...

【专利技术属性】
技术研发人员：龙知洲，马天，李伟萍，唐荣富，
申请(专利权)人：威海众合机电科技有限公司，
类型：发明
国别省市：