基于复合尺度特征的过亮图像增强方法技术

本发明专利技术公开了一种基于复合尺度特征的过亮图像增强方法

【技术实现步骤摘要】
基于复合尺度特征的过亮图像增强方法、装置及设备


[0001]本专利技术涉及一种深度学习领域，具体涉及一种基于复合尺度特征的过亮图像增强方法
、
装置及设备
。

技术介绍

[0002]当现实场景的光照强度过大，拍摄的单帧照片可能过度曝光，造成图像过于明亮，颜色偏白，部分像素溢出使图像某些区域的细节丢失
。
在高原等光照强度变化较大的地区，拍摄的图像较易出现这种情况，造成工作人员观察不便，也会对视频监控
、
目标识别等任务造成一定困难，因此，需要进行过亮图像增强的研究
。
[0003]直接针对过亮图像的增强方法大致可以分为基于多帧图像和基于单帧图像的过亮图像恢复
。
基于多帧的高光图像增强主要是各种高动态范围成像算法
。
基于单帧过亮图像的增强算法可以根据一帧图像来增强受损图像
。
针对过亮图像的问题，目前国内外学术界已经提出一些方法，比如对每一个像素值通过邻域传播及该像素的颜色置信度进行校正
、
利用
RGB
颜色通道之间的强相关性恢复过亮区域等方法
。
近来的研究都证实了生成对抗网络在高光图像增强领域的显著效果，基于生成对抗网络对高光照情况下的图像增强方法，仍是研究热点
。
[0004]在实际应用中，针对高光图像增强算法的选择上，基于多帧不同曝光度的
HDR
方法由于设备成本高
、
拍摄控制复杂
、
设备尺寸较大，在拍摄过程中对设备稳定性
、
拍摄场景中物体移动性均有较高要求，在图像处理中设备拍摄参数准确性
、
多帧图像配准校准的处理中也有需要解决的问题
。
基于单帧过亮图像的增强算法在传统方法中，方法选择和参数人工调整较大的局限了其野外自动检测能力
。
因此，针对容易出现的亮度过亮，进而会导致图像部分像素溢出的问题
。

技术实现思路

[0005]本专利技术提出一种基于复合尺度特征的过亮图像增强方法
、
装置及设备，以改善上述问题
。
[0006]为实现上述目的，本专利技术采用以下技术方案：一种基于复合尺度特征的过亮图像增强方法，其包括以下步骤：
S1、
获取待增强的过亮图像；
S2、
将所述过亮图像输入至过亮图像增强网络，所述过亮图像增强网络包括生成器网络；所述生成器网络包括图像特征热图获取网络
、
特征识别与转换网络以及图像重构网络；
S3
，经由所述图像特征热图获取网络对所述过亮图像进行识别后采用小尺度卷积降低空间维度，获取第一图像特征热图；
S4
，将所述第一图像特征热图输入至所述特征识别与转换网络，通过复合尺度特征识别实现对空间复合尺度下各特征的融合以及互补，得到转换后的第二图像特征热图；
S5
，将所述第二图像特征热图输入至所述图像重构网络，以重构得到增强图像
。
[0007]优选地：所述图像特征热图获取网络包含1个卷积层
、
复合尺度卷积层和2级小尺度卷积；其中：将所述过亮图像作为图像特征热图获取网络的输入，利用所述卷积层的7×7卷积核对所述过亮图像的图像特征属性进行大尺度识别，获取图像大尺度特征及颜色通道扩展，然后通过复合尺度卷积层对图像特征进行复合尺度特征识别，通过2级小尺度卷积降低空间维度后得到第一图像特征热图
。
[0008]优选地：在2级小尺度卷积中，第一级卷积的边缘填充采用镜像填充方式
。
[0009]优选地：所述特征识别与转换网络由前置的多个复合尺度特征识别模块
、1
个多维度通道关注度模块和后置的1个复合尺度特征识别模块组成；其中：所述复合尺度特征识别模块的各个卷积模块采用卷积
+IN+reLU
结构，并采用三个尺度构建图像各个特征层的复合特征；所述多维度通道关注度模块在原始的
C
维度通道关注度模型的基础上，加入
H
和
W
维度的通道关注度，实现对第一图像特征热图的每个像素点的自适应拉伸系数估计；其中，具体地，所述多维度通道关注度模块首先用一个核为1的卷积对图像进行维度归一化，将第一图像特征热图变换为三个维度相等的图像特征热图，即把图像特征热图维度尺寸变换为
64
×
64
×
64
，然后在输出前加入一个核为1的卷积进行维度恢复，即将图像特征热图输出维度恢复为
64
×
64
×
M
，从而得到转换后的第二图像特征热图；其中，
C
指图像特征热图的通道数，
H
指图像特征热图的高，
W
指图像特征热图的宽，
M
是图像特征热图宽的值
。
[0010]优选地：所述图像重构网络采用2级核为3×
3、
比例为2的小尺度转置卷积提高空间维度，将转换后的第二图像特征热图的维度由
64
×
64
提高到
256
×
256
，然后用核为7×7的大尺度转置卷积把图像通道由
64
恢复到3，重构出维度为
256
×
256
×3的
RGB
增强图像
。
[0011]优选地：还包括：获取作为训练用的配对数据集，所述配对数据集包括正常图像数据以及对正常图像数据的各通道增值处理后的过亮图像数据；将所述配对数据集中的图像的尺寸处理为
256
×
256
，并根据配对数据集对过亮图像增强网络进行训练；其中，每次训练的训练样本个数设置为8，参数优化器采用
Adam Optimizer
，学习率为
0.0002
，其一阶矩和二阶矩分别为
0.9
和
0.999
，迭代次数设置为
300。
[0012]优选地：所述过亮图像增强网络还包括判别器网络，判别器网络用于通过设置的损失函数计算过亮图像增强网络的误差，经过多轮循环完成过亮图像增强网络的训练；其中，所述判别器网络包括正常图域判别器
Dx
以及过亮图域判别器
Dy
，且两种判别器均采用卷积网络实现特征分析；判别器每一个卷积核都为
3x3
，其中，除第一个卷积的边缘填充采用补0方式，且激活函数采用
LreLU
，其余卷积都采用镜像填充，并加入激励 ReLU。
[0013]本专利技术实施例还提供了一种基于复合尺度特征的过亮图像增强装置，其包括：过亮图像获取单元，用于获取待增强的过亮图像；图像输入单元，用于将所述过亮图像输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
Optimizer
，学习率为
0.0002
，其一阶矩和二阶矩分别为
0.9
和
0.999
，迭代次数设置为
300。7.
根据权利要求6所述的基于复合尺度特征的过亮图像增强方法，其特征在于：所述过亮图像增强网络还包括判别器网络，判别器网络用于通过设置的损失函数计算过亮图像增强网络的误差，经过多轮循环完成过亮图像增强网络的训练；其中，所述判别器网络包括正常图域判别器
Dx
以及过亮图域判别器
Dy
，且两种判别器均采用卷积网络实现特征分析；判别器每一个卷积核都为
3x3。8.
一种基于复合尺度特征的过亮图像增强装置，其特征在于，包括：过亮图像获取单元，用于获取待增强的过亮图像；图像输入单元，用于将所述过亮图像输入至过...

【专利技术属性】
技术研发人员：瞿千上，庄焰，赵彩丹，陈凌俊，高晨星，胡文欣，谭熠，
申请(专利权)人：硕橙厦门科技有限公司，
类型：发明
国别省市：