暗光图像增强方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种暗光图像增强方法、装置、电子设备及存储介质，其中方法包括：在目标图像的光照强度低于目标阈值的情况下，基于目标图像的RGB三通道确定目标图像的光照引导图；将目标图像和光照引导图输入至卷积神经网络图像增强模型中，得到卷积神经网络图像增强模型输出的增强图像；卷积神经网络图像增强模型，是以不成对的暗光图像和正常光照图像为训练样本，并基于训练样本的细节感知特征和结构感知特征进行训练后得到的；卷积神经网络图像增强模型用于对目标图像进行图像增强；增强图像的光照强度高于或等于目标阈值。本发明专利技术利用细节感知特征和结构感知特征之间的互补信息共同提高目标图像的增强效果，从而避免出现过曝和色移的问题。曝和色移的问题。曝和色移的问题。

【技术实现步骤摘要】
暗光图像增强方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种暗光图像增强方法、装置、电子设备及存储介质。

技术介绍

[0002]用户在利用常见硬件设备如手机拍摄图像时，经常会碰到类似暗光等不利条件，导致手机捕获的图像亮度过低，物体和场景不清晰，细节损失以及模糊等问题，不仅缺乏感知美学，而且严重阻碍后续的视觉分析，如文本识别和物体检测等任务。因此，如何对暗光图像进行处理使其具有足够的亮度和令人满意的自然特性，一直是计算摄影、计算机图形学和计算机视觉界等领域的研究重点之一。
[0003]现有的深度学习方法包括监督学习方式和无监督学习方式。现有的监督学习方式利用一对图像(一张暗光图像I，一张对齐的正常光照图像N)来学习I和N之间的映射关系；但是，监督学习方式中利用配对数据训练的模型，仅能够对于和训练数据集同类型的测试图像产生较好的效果，导致无法泛化到更加广泛的场景当中，局限性较大。现有的无监督学习方式采用暗光图像和不配对的正常光照图像作为训练数据，通过生成式对抗网络(Generative Adversarial Networks，GAN)来约束增强的结果接近正常光照图像，通过感知损失来约束增强的结果保留暗光图像的纹理和内容；但是，现有的无监督学习方式存在导致很多原本就亮的地方出现过曝和色移的问题。

技术实现思路

[0004]针对现有技术存在的问题，本专利技术提供一种暗光图像增强方法、装置、电子设备及存储介质，实现利用目标图像的细节感知特征和结构感知特征之间的互补信息共同提高目标图像的增强效果，避免出现过曝和色移的问题。
[0005]本专利技术提供一种暗光图像增强方法，包括：
[0006]在目标图像的光照强度低于目标阈值的情况下，基于所述目标图像的红绿蓝RGB三通道确定所述目标图像的光照引导图；其中，所述光照引导图用于表示所述目标图像中不同位置需要增强的程度；
[0007]将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像；
[0008]其中，所述卷积神经网络图像增强模型，是以不成对的暗光图像和正常光照图像为训练样本，并基于所述训练样本的细节感知特征和结构感知特征进行训练后得到的；所述卷积神经网络图像增强模型用于对所述目标图像进行图像增强；所述增强图像的光照强度高于或等于所述目标阈值。
[0009]根据本专利技术提供的一种暗光图像增强方法，所述基于所述目标图像的RGB三通道确定所述目标图像的光照引导图，包括：
[0010]对所述目标图像进行图像增强，得到第一图像；
[0011]对所述第一图像进行归一化，得到第二图像；其中，所述第二图像的像素值范围包括[0，1]；
[0012]基于所述第二图像的RGB三通道确定所述第二图像的灰度图；
[0013]基于所述第二图像的灰度图确定所述第二图像的光照引导图，将所述第二图像的光照引导图确定为所述目标图像的光照引导图。
[0014]根据本专利技术提供的一种暗光图像增强方法，所述卷积神经网络图像增强模型包括：结构感知生成器SAG、细节感知生成器DAG、特征注意力融合模块FAM；
[0015]所述将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像，包括：
[0016]将所述目标图像和所述光照引导图输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征；
[0017]将所述目标图像和所述光照引导图输入至所述DAG中，得到所述DAG生成的所述目标图像的细节感知特征；
[0018]将所述结构感知特征和所述细节感知特征输入至所述FAM，得到所述结构感知特征和所述细节感知特征的融合特征；
[0019]将所述融合特征输入至所述DAG中，得到所述DAG输出的增强图像。
[0020]根据本专利技术提供的一种暗光图像增强方法，所述卷积神经网络图像增强模型还包括：像素强度调整模块IAM，用于对所述DAG输出的增强图像进行像素强度调整；所述IAM位于所述DAG的最后一个卷积层之后；
[0021]所述将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像之后，包括：
[0022]将所述增强图像输入所述IAM中，得到所述IAM输出的像素强度调整后的增强图像。
[0023]根据本专利技术提供的一种暗光图像增强方法，所述将所述目标图像和所述光照引导图输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征，包括：
[0024]将所述目标图像的RGB三通道归一化到[
‑
1,1]之间；
[0025]将所述目标图像的归一化的RGB三通道和所述光照引导图的单通道在通道维度进行连接后，将得到的四通道输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征；
[0026]其中，在所述SAG的跳级连接中，利用所述光照引导图自适应学习特征图的结构一致性；所述SAG采用的监督损失函数包括以下至少一项：第一全局感知损失函数、第一局部感知损失函数、第一全局对抗损失函数、第一局部对抗损失函数；所述第一局部感知损失函数用于表示将所述目标图像和所述SAG的输出图像分割成固定大小的第一图像块之后，将各所述第一图像块的全局感知损失函数求和得到的结果。
[0027]根据本专利技术提供的一种暗光图像增强方法，所述将所述目标图像和所述光照引导图输入至所述DAG中，得到所述DAG生成的所述目标图像的细节感知特征，包括：
[0028]将所述目标图像的RGB三通道归一化到[
‑
1,1]之间；
[0029]将所述目标图像的归一化的RGB三通道和所述光照引导图的单通道在通道维度进行连接后，将得到的四通道输入至所述DAG中，得到所述DAG生成的所述目标图像的细节感
知特征；
[0030]其中，所述DAG不改变图像分辨率；所述DAG采用的监督损失函数包括以下至少一项：第二全局感知损失函数、第二局部感知损失函数、第二全局对抗损失函数、第二局部对抗损失函数；所述第二局部感知损失函数用于表示将所述目标图像和所述DAG的输出图像分割成固定大小的第二图像块之后，将各所述第二图像块的全局感知损失函数求和得到的结果。
[0031]根据本专利技术提供的一种暗光图像增强方法，所述将所述结构感知特征和所述细节感知特征输入至所述FAM，得到所述结构感知特征和所述细节感知特征的融合特征，包括：
[0032]在所述结构感知特征包括所述SAG的倒数至少两层卷积结果，所述细节感知特征包括所述DAG的正数至少两层卷积结果的情况下，基于所述FAM，将所述SAG的倒数至少两层卷积结果和所述DAG的正数至少两层卷积结果在通道维度进行连接，利用单通道同分辨率的所述光照引导图对连接得到的图像进行引导，将引导得到的图像依次输入到至少一层卷积核和双曲正切激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种暗光图像增强方法，其特征在于，包括：在目标图像的光照强度低于目标阈值的情况下，基于所述目标图像的红绿蓝RGB三通道确定所述目标图像的光照引导图；其中，所述光照引导图用于表示所述目标图像中不同位置需要增强的程度；将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像；其中，所述卷积神经网络图像增强模型，是以不成对的暗光图像和正常光照图像为训练样本，并基于所述训练样本的细节感知特征和结构感知特征进行训练后得到的；所述卷积神经网络图像增强模型用于对所述目标图像进行图像增强；所述增强图像的光照强度高于或等于所述目标阈值。2.根据权利要求1所述的暗光图像增强方法，其特征在于，所述基于所述目标图像的RGB三通道确定所述目标图像的光照引导图，包括：对所述目标图像进行图像增强，得到第一图像；对所述第一图像进行归一化，得到第二图像；其中，所述第二图像的像素值范围包括[0，1]；基于所述第二图像的RGB三通道确定所述第二图像的灰度图；基于所述第二图像的灰度图确定所述第二图像的光照引导图，将所述第二图像的光照引导图确定为所述目标图像的光照引导图。3.根据权利要求1所述的暗光图像增强方法，其特征在于，所述卷积神经网络图像增强模型包括：结构感知生成器SAG、细节感知生成器DAG、特征注意力融合模块FAM；所述将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像，包括：将所述目标图像和所述光照引导图输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征；将所述目标图像和所述光照引导图输入至所述DAG中，得到所述DAG生成的所述目标图像的细节感知特征；将所述结构感知特征和所述细节感知特征输入至所述FAM，得到所述结构感知特征和所述细节感知特征的融合特征；将所述融合特征输入至所述DAG中，得到所述DAG输出的增强图像。4.根据权利要求3所述的暗光图像增强方法，其特征在于，所述卷积神经网络图像增强模型还包括：像素强度调整模块IAM，用于对所述DAG输出的增强图像进行像素强度调整；所述IAM位于所述DAG的最后一个卷积层之后；所述将所述目标图像和所述光照引导图输入至卷积神经网络图像增强模型中，得到所述卷积神经网络图像增强模型输出的增强图像之后，包括：将所述增强图像输入所述IAM中，得到所述IAM输出的像素强度调整后的增强图像。5.根据权利要求3所述的暗光图像增强方法，其特征在于，所述将所述目标图像和所述光照引导图输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征，包括：将所述目标图像的RGB三通道归一化到[
‑
1,1]之间；将所述目标图像的归一化的RGB三通道和所述光照引导图的单通道在通道维度进行连
接后，将得到的四通道输入至所述SAG中，得到所述SAG生成的所述目标图像的结构感知特征；其中，在所述SAG的跳级连接中，利用所述光照引导图自适应学习特征图的结构一致性...

【专利技术属性】
技术研发人员：袁梦轲，庞有鑫，常玉春，严冬明，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：