基于纯噪声训练的亮度可调的低照度图像增强方法技术

本发明专利技术涉及一种基于纯噪声训练的亮度可调的低照度图像增强方法，其技术特点是：训练阶段采样随机高斯噪声作为低照度输入图像；将低照度输入图像和亮度变化因子分别送入到图像处理模块和亮度处理模块中，得到特征图和特征向量；对特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数；将低照度输入图像增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像；作均值和对比度变换，得到伪参考图像；计算总损失，进行迭代优化网络。本发明专利技术采用纯噪声的训练策略，帮助模型绕过常用的色彩恒常和光照平滑损失，使难以设计的非线性曲线形式简化为线性曲线形式，实现了低照度增强领域降本增效的功能。本增效的功能。本增效的功能。

【技术实现步骤摘要】
基于纯噪声训练的亮度可调的低照度图像增强方法


[0001]本专利技术属于计算机视觉图像
，涉及图像增强方法，尤其是一种基于纯噪声训练的亮度可调的低照度图像增强方法。

技术介绍

[0002]随着数字化技术走进千家万户，图像已逐渐成为人们捕捉瞬间、传递想法的重要方式。然而，在低光照场景以及曝光时间不足的情况下，很容易拍出带有较多噪点、色彩失真、亮度不充分等问题的图像，不仅使图像在视觉观感上不尽人意，而且还可能降低下游目标识别、检测等系统的可靠性。由此，还需要采用具备修补光照能力的后处理方法来作图像增强。其中，现有的基于深度学习的低照度增强方法大多需要成对的低照度
‑
正常照度数据集用于训练。成对数据集的采集耗时，需要采用专业技术，稍有操作失误就会拍出不可用的图像对，同时，人工拍摄的数据集仅可涵盖真实世界的有限场景，会削弱方法应对复杂场景的泛化能力。现有的各种图像增强方法也未对复杂场景下图像不同的亮度等级作细致的增强处理。因此，如何在更少的图像采集成本的基础上，提供更灵活的低照度图像亮度调整方案，是计算机视觉领域的一个具有挑战性的研究课题。
[0003]低照度图像增强技术(Low
‑
Light Image Enhancement)是指将一张对比度低、光照不足、略有噪点和色彩偏差的图像增强至对应的正常照度、高质量图像的技术。该技术可以为人们观察和评判图像作辅助，也可以为计算机理解和处理图像提供支持，它在监控安防等领域发挥重要作用。
[0004]传统的低照度图像增强方法可大致分为三类：(1)基于直方图均衡的方法，均衡函数作用于图像后，全图的像素会依据概率重新排列，以达到近似均匀分布的效果。(2)基于伽马校正等非线性变换的方法，其有助于在保留细节的同时调整图像对比度。(3)基于Retinex理论的方法，该理论将图像解耦为反射率和照明图两部分，并依据各自的特征作进一步增强。
[0005]在深度神经网络模型大发展的背景下，许多先进方法被提出并用于低照度增强问题。其中，按训练时采用的数据，可分为以下几种学习策略：(1)有监督学习：RetinexNet和KinD增强方法均由分解和增强两部分网络组成，分解网络负责将输入图像解耦为无关光强的反射率图和具有结构感知能力的平滑照明图，增强网络负责进一步提亮照明图以实现低照度修复。(2)无监督学习：EnlightenGAN使用注意力引导的U
‑
Net型生成器，以及一个鉴别器来校准增强图像，使其贴近真实世界的感官效果。(3)零样本学习：RRDNet方法无需先验训练，只需针对单测试图不断迭代并最小化专门的由重建损失、纹理增强损失和照明引导的噪声预测损失组成的损失函数即可。RetinexDIP方法将Retinex分解思想和基于Deep Image Prior(DIP)的深度网络先验技术结合在一起，即把随机采样的白噪声送入模型，两个DIP网络分别生成原始图像的反射率和照明图。(4)无参考学习：RUAS是一种新提出的基于架构搜索的无参考学习方法；Zero
‑
DCE将亮度增强格式化为图像特定曲线的预测任务；SCI是自校准照明学习架构，它的训练采用级联模式，并在每个级联的照度预测块前补充自
校准模块，该模块有利于各阶段结果的收敛，测试阶段仅考虑网络中的第一个基本块，使计算成本得到降低。上述方法虽然在训练过程中逐步减少使用成对的有监督数据，但仍需要与低照度任务相关的非成对数据来辅助训练，这使得图像采集质量对训练成效产生很大影响。另外，Zero
‑
DCE等方法设计的曝光控制损失约定了一个固定的目标曝光级别，使得用户不能根据个人喜好微调输出图像的亮度等级。RRDNet等零样本方法效果突出，但需要耗费数分钟进行单张图像的测试，无法兼顾测试效果和实时性。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种设计合理且能够有效提高训练效率及测试效率的基于纯噪声训练的亮度可调的低照度图像增强方法。
[0007]本专利技术解决其技术问题是采取以下技术方案实现的：
[0008]一种基于纯噪声训练的亮度可调的低照度图像增强方法，包括以下步骤：
[0009]步骤1、在图像输入阶段，随机采样高斯分布，组成噪声图像集，并将图像像素值归一化至[0，1]，得到低照度输入图像I；
[0010]步骤2、将低照度输入图像I和亮度变化因子V分别送入到网络的图像处理模块和亮度处理模块中进行特征提取，得到对应低照度输入图像I的特征图和对应亮度变化因子的特征向量；
[0011]步骤3、步骤2得到的特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数，其中前3通道和后3通道分别代表曲线的2个不同参数项k和b；
[0012]步骤4、通过线性曲线公式：O(x)＝k(x)I(x)+b(x)，将低照度输入图像I增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像O；
[0013]步骤5、对步骤1中所得的低照度输入图像I作均值和对比度变换，得到伪参考图像I
″
；
[0014]步骤6、使用步骤1中得到的低照度输入图像I、步骤4中得到的输出图像O和步骤5中得到的伪参考图像I
″
计算总损失，进行迭代优化网络。
[0015]进一步，所述步骤1的具体实现方法包括：
[0016]步骤1.1、若处于测试阶段，则直接进入步骤2，否则进入步骤1.2；
[0017]步骤1.2、从均值为0、标准差为1的标准高斯分布中采样尺寸为128
×
128
×
3的输入噪声图像；
[0018]步骤1.3、分别计算输入噪声图像的最大像素值I
max
和最小像素值I
min
，通过公式，通过公式得到归一化后的低照度输入图像I。
[0019]进一步，所述图像处理模块由卷积层和激活函数构成；所述亮度处理模块由线性层、卷积层和激活函数构成。
[0020]进一步，所述步骤2的具体实现方法包括：
[0021]步骤2.1、将低照度输入图像I送入网络的图像处理模块中，通过图像处理模块的6个对称级联的卷积层以及每个卷积层后紧跟的ReLU激活函数进行非线性变换，每个卷积层所用卷积核的尺寸均为3
×
3，卷积操作均设置成步长为1和填充模式为复制一圈的形式，最
后输出低照度输入图像I对应的特征图；
[0022]步骤2.2、将亮度变化因子V送入网络的亮度处理模块中，经过亮度处理模块中的线性全连接层，使尺寸为1的序列扩展成尺寸为32的序列，输出亮度变化因子对应的特征向量。
[0023]进一步，所述步骤3的具体实现方法包括：
[0024]步骤3.1、将步骤2得到的特征图和特征向量形变成维度为4的特征图，得到1
×
32
×
128
×
128的图像特征图和1...

【技术保护点】

【技术特征摘要】
1.一种基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：包括以下步骤：步骤1、在图像输入阶段，随机采样高斯分布,组成噪声图像集，并将图像像素值归一化至[0,1]，得到低照度输入图像I；步骤2、将低照度输入图像I和亮度变化因子V分别送入到网络的图像处理模块和亮度处理模块中进行特征提取，得到对应低照度输入图像I的特征图和对应亮度变化因子的特征向量；步骤3、步骤2得到的特征图和特征向量通过卷积和非线性变换的操作，实现特征的融合和重构，输出通道数为6的曲线参数，其中前3通道和后3通道分别代表曲线的2个不同参数项k和b；步骤4、通过线性曲线公式：O(x)＝k(x)I(x)+b(x)，将低照度输入图像I增强为由亮度变化因子的幅值指导的具有特定亮度的输出图像O；步骤5、对步骤1中所得的低照度输入图像I作均值和对比度变换，得到伪参考图像I”；步骤6、使用步骤1中得到的低照度输入图像I、步骤4中得到的输出图像O和步骤5中得到的伪参考图像I”计算总损失，进行迭代优化网络。2.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤1的具体实现方法包括：步骤1.1、若处于测试阶段，则直接进入步骤2，否则进入步骤1.2；步骤1.2、从均值为0、标准差为1的标准高斯分布中采样尺寸为128
×
128
×
3的输入噪声图像；步骤1.3、分别计算输入噪声图像的最大像素值I
max
和最小像素值I
min
，通过公式，通过公式得到归一化后的低照度输入图像I。3.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述图像处理模块由卷积层和激活函数构成；所述亮度处理模块由线性层、卷积层和激活函数构成。4.根据权利要求3所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤2的具体实现方法包括：步骤2.1、将低照度输入图像I送入网络的图像处理模块中，通过图像处理模块的6个对称级联的卷积层以及每个卷积层后紧跟的ReLU激活函数进行非线性变换，每个卷积层所用卷积核的尺寸均为3
×
3，卷积操作均设置成步长为1和填充模式为复制一圈的形式，最后输出低照度输入图像I对应的特征图；步骤2.2、将亮度变化因子V送入网络的亮度处理模块中，经过亮度处理模块中的线性全连接层，使尺寸为1的序列扩展成尺寸为32的序列，输出亮度变化因子对应的特征向量。5.根据权利要求1所述的基于纯噪声训练的亮度可调的低照度图像增强方法，其特征在于：所述步骤3的具体实现方法包括：步骤3.1、将步骤...

【专利技术属性】
技术研发人员：姜竹青，徐雍宁，于佳，王海婴，门爱东，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：