弱光图像增强方法、介质、装置和计算设备制造方法及图纸

本公开的实施方式提供了一种弱光图像增强方法、介质、装置和计算设备。该方法包括：根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，第一弱光图像为待处理的对应于多个第一图像的低曝光度图像；将多个第一图像输入相应的生成对抗网络模型的生成器，获得生成器输出的、与第一弱光图像对应的增强图像；增强图像融合了多个第一图像的暗部细节特征；增强图像的曝光度高于第一弱光图像。通过伽马曲线调整，本公开的方法可以对一张弱光图像，获得不同曝光度的多张弱光图像，显著增加了数据集，并且通过不同曝光度的多个图像重建更多图像细节，从而显著提高弱光图像增强质量，为用户带来了更好的体验。为用户带来了更好的体验。为用户带来了更好的体验。

【技术实现步骤摘要】
弱光图像增强方法、介质、装置和计算设备


[0001]本公开的实施方式涉及计算机视觉领域，更具体地，本公开的实施方式涉及一种弱光图像增强方法、介质、装置和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在整个计算机视觉领域，随着多媒体技术和人工智能的飞速发展和广泛应用，人们在日常生活中大量使用图像信息。然而目前的成像技术，弱光条件下，受到低信噪比和低亮度的影响，图像的质量会受到很大的影响，需要进行图像提亮，图像修复和图像增强，改善图像的视觉效果。
[0004]随着深度学习技术的快速发展，深度学习在图像恢复和图像增强等领域展现出广阔的应用前景，成为计算机视觉领域的研究热点，受到学术界和工业界的关注和重视。
[0005]目前，已经出现一些基于深度学习实现图像恢复和增强的方法。然而，相关技术中主要依赖于合成或捕获的弱光和正常光的成对图像进行模型的训练。实际应用中，捕获大量相同图像内容的弱光和正常光的成对图像存在困难，导致数据集不足，影响模型的训练和应用中弱光图像增强的质量。

技术实现思路

[0006]本公开提供一种弱光图像增强方法、介质、装置和计算设备，以提高弱光图像增强质量。
[0007]在本公开实施方式的第一方面中，提供了一种方法，包括：根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像；其中，所述生成对抗网络模型的生成器是根据第一样本集预先训练得到的，所述第一样本集包括第二弱光图像、以及与所述第二弱光图像相对应的、经过伽马曲线调整获得的具有不同曝光度的多个第二图像。
[0008]在本公开的一个实施例中，该弱光图像增强方法包括：所述生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，所述方法还包括：根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二图像的低曝光度图像；将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成
对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。
[0009]在本公开的另一实施例中，该弱光图像增强方法包括：所述生成器包括U
‑
net网络，所述U
‑
net网络包括卷积层、激活层以及归一化层；所述生成器用于执行以下处理：所述卷积层从所述多个第一图像中提取浅层特征和深层特征；所述激活层基于相应的激活函数，分别对所述浅层特征和深层特征进行非线性变换；所述归一化层基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。
[0010]在本公开的又一个实施例中，该弱光图像增强方法包括：所述判别器包括全局判别器和局部判别器；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，包括：将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及真实的正常光图像的第一局部区域的光分布进行判别；基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的概率。
[0011]在本公开的再一个实施例中，该弱光图像增强方法包括：所述将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果，包括：全局判别器对真实的正常光图像输出第一判别结果；全局判别器对生成器输出的增强图像输出第二判别结果；基于对抗性损失函数，根据所述第一判别结果以及所述第二判别结果确定所述全局概率结果。
[0012]在本公开的再一个实施例中，该弱光图像增强方法包括：所述将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果，包括：局部判别器对每个第一局部区域输出第三判别结果；局部判别器对每个第二局部区域输出第四判别结果；基于对抗性损失函数，根据所述第三判别结果以及所述第四判别结果确定所述第一局部区域的区域概率结果；所述区域概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的第一局部区域为参照，将所述生成器输出的增强图像的第二局部区域判定为真实的概率；计算所述多个第一局部区域的区域概率结果的算术平均值，作为所述局部概率结果。
[0013]在本公开实施方式的第二方面中，提供了一种计算机可读存储介质，包括：所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实
现如本公开实施方式的第一方面中任一项所述的弱光图像增强方法。
[0014]在本公开实施方式的第三方面中，提供了一种弱光图像增强装置，包括：获取模块，用于根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；处理模块，用于将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像；其中，所述生成对抗网络模型包括所述生成器和判别器，所述生成器是根据所述判别器的历史预测结果预先训练得到的，所述历史预测结果基于真实的正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱光图像增强方法，包括：根据第一弱光图像，经过伽马曲线调整，获得不同曝光度的多个第一图像；其中，所述第一弱光图像为待处理的对应于所述多个第一图像的低曝光度图像；将所述多个第一图像输入相应的生成对抗网络模型的生成器，获得所述生成器输出的、与所述第一弱光图像对应的增强图像；所述增强图像融合了多个第一图像的暗部细节特征；所述增强图像的曝光度高于所述第一弱光图像；其中，所述生成对抗网络模型的生成器是根据第一样本集预先训练得到的，所述第一样本集包括第二弱光图像、以及与所述第二弱光图像相对应的、经过伽马曲线调整获得的具有不同曝光度的多个第二图像。2.根据权利要求1所述的方法，所述生成对抗网络模型还包括判别器，所述判别器是根据第二样本集训练获得的，所述方法还包括：根据第二弱光图像，经过伽马曲线调整，获得不同曝光度的多个第二图像；所述第二弱光图像为对应于所述多个第二图像的低曝光度图像；将所述多个第二图像输入所述生成对抗网络模型的生成器，获得所述生成器输出的增强图像；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，直至判别器无法正确判别所述生成器输出的增强图像和采集的真实的正常光图像，则完成对所述判别器的训练；所述真实的正常光图像是在自然光环境下采集的，图像内容与所述第二弱光图像不一致的图像；所述真实的正常光图像的曝光度高于所述第二弱光图像。3.根据权利要求1所述的方法，所述生成器包括U
‑
net网络，所述U
‑
net网络包括卷积层、激活层以及归一化层；所述生成器用于执行以下处理：所述卷积层通过从所述多个第一图像中提取浅层特征和深层特征；所述激活层基于相应的激活函数，分别对所述浅层特征和深层特征进行非线性变换；所述归一化层基于非线性变换后的浅层特征和深层特征，重建得到所述第一弱光图像对应的增强图像；所述卷积层的每一个尺度均提供一个跳过连接到归一化层。4.根据权利要求2所述的方法，所述判别器包括全局判别器和局部判别器；将真实的正常光图像和所述生成器输出的增强图像作为第二样本集，输入所述生成对抗网络模型的判别器，得到所述判别器输出的判别结果，包括：将真实的正常光图像和所述生成器输出的增强图像输入所述全局判别器，获得所述全局判别器输出的全局概率结果；所述全局概率结果表征所述全局判别器基于全局特征，以所述真实的正常光图像为参照，将所述生成器输出的增强图像判定为真实的概率；所述全局判别器依据生成器输出的增强图像的光分布以及真实的正常光图像的光分布进行判别；从所述真实的正常光图像，随机选取多个第一局部区域；以及，从所述生成器输出的增强图像，选取与所述第一局部区域相对应位置处的多个第二局部区域；将所述多个第一局部区域和所述多个第二局部区域输入所述局部判别器，获得所述局部判别器输出的局部概率结果；所述局部概率结果表征所述局部判别器基于局部特征，以所述真实的正常光图像的局部区域为参照，将所述生成器输出的增强图像的局部区域判定为真实的概率；所述局部判别器依据生成器输出的增强图像的第二局部区域的光分布以及
真实的正常光图像的第一局部区域的光分布进行判别；基于所述全局概率结果以及所述局部概率结果确定最终概率结果，所述最终概率结果表征所述判别器在融合了全局特征和局部特征后，以所述真实的正常光图像的为参照，将所述生成器输出的增强图像判定为真实的...

【专利技术属性】
技术研发人员：周琛晖，阮良，陈功，韩庆瑞，
申请(专利权)人：杭州网易智企科技有限公司，
类型：发明
国别省市：