基于多分支渐进式深度网络的弱光图像增强方法技术

本发明专利技术公开了一种基于多分支渐进式的弱光图像增强方法，包括如下步骤：步骤1，准备数据；步骤2，搭建多分支渐进式增强模型；步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。本发明专利技术通过不同尺度的多分支增强网络克服了弱光图像退化问题。分支增强网络克服了弱光图像退化问题。分支增强网络克服了弱光图像退化问题。

【技术实现步骤摘要】
基于多分支渐进式深度网络的弱光图像增强方法


[0001]本专利技术属于图像处理
，涉及一种基于多分支渐进式深度网络的弱光图像增强方法。

技术介绍

[0002]针对弱光增强，研究者们已经进行了多个方面的研究，大致可以分为空间域和频域的方法、Retinex理论的方法，融合的方法，以及学习的方法。早期的研究主要是关于空间域与频域的方法，将图像转换到一个特定的空间，修改像素的分布和动态范围来增强图像。后来，由Edwin H Land建立Retinex理论，一些方法通过消除图像中照明光的影响来确定物体的真实特性。除此之外，图像融合的方法使用不同的传感器获取同一场景的许多图像，从每幅图像中提取尽可能多的有用信息，合成高质量的图像。
[0003]最近几年，神经网络强大的拟合能力在建立高
‑
低质量图像之间的映射关系中，表现出了卓越的性能，基于深度学习的图像增强方法开始大量出现，它们在学习从低光图像到增强的高质量图像的复杂端到端映射方面具有巨大潜力，在色彩和细节的恢复上表现出卓越的性能。为了完成弱光图像增强的任务，许多现有的方法建立端到端的网络处理这些复杂的退化，还有一些方法以级联的方式逐步处理这些复杂的退化。例如，在深度学习领域，第一种用于弱光图像增强的方法就是以端到端的学习方式产生令人满意的结果。一些方法设计了多个网络使用弱光图像分别预测目标图像的不同分量，最后整合出期望的增强图像，最具有代表性的是基于Retinex理论提出的方法。最近，一些方法集中在设计具有多个分支的模型以增强弱光图像。特别是在复杂的视觉任务上具有强大的灵活性和良好的性能，有文献提出使用多个相同的分支同时增强弱光图像，融合不同分支的输出图像得到较为满意的结果，但这种直接融合图像的方法同时也将大量的噪声和伪影带到了目标图像中。

技术实现思路

[0004]本专利技术的目的是提供一种基于多分支渐进式深度网络的弱光图像增强方法，该方法通过不同尺度的多分支增强网络克服了弱光图像退化问题。
[0005]本专利技术所采用的技术方案是，基于多分支渐进式深度网络的弱光图像增强方法，具体包括如下步骤：
[0006]步骤1，准备数据；
[0007]步骤2，搭建多分支渐进式增强模型；
[0008]步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；
[0009]步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。
[0010]本专利技术的特点还在于：
[0011]步骤1的具体过程为：
[0012]步骤1.1，准备配对的弱光图像对步骤1.1，准备配对的弱光图像对表示需要增强的弱光图像，表示与弱光图像一一对应的正常亮度的高质量图像groundtruth，i表示第i对数据，N表示数据集中数据对的个数；
[0013]步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集D
train
和测试集D
test
，其中训练集占全部数据的97％，测试集占全部数据的3％；
[0014]步骤1.3，对步骤2中划分的训练集D
train
图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{I
L
,I
H
}的尺寸调整为256
×
256，再使用相同的双三次插值方法分别将256
×
256的标签图像块I
H
下采样1/2和1/4，分别得到128
×
128和64
×
64的标签图像块I
H2
和I
H4
。
[0015]步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；
[0016]多分支增强结构包括编码器模块、多分支模块和解码器模块；
[0017]编码器模块包括六个卷积和Relu激活函数层，接收输入的低光图像I
L
，增强输入由初始弱光图像I
L
与两个增强图像在通道维度中拼接，得到增强的输入数据，初始化时增强图像由原始的弱光图像I
L
替代，因此，模型的输入表示为：
[0018][0019]将输入编码器，提取不同维度大小和不同尺度的特征表示
[0020]编码器表示为：
[0021][0022]其中，是编码器的输入，是第j个分支的特征提取器，是第j个编码器输出的深度特征表示，[W,H,C]表示输入弱光图像的尺寸和通道数；
[0023]多分支模块包括四个分支，这四个分支表示为：
[0024][0025]其中，表示第k个增强分支，和分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；
[0026]解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道内，生成最终结果，解码器融合的过程表示为：
[0027][0028]其中，F
up
表示对特征图进行2X上采样，并将特征图的通道数压缩到其原始大小的一半，F
gz
是将融合的特征图压缩到RGB通道的操作，得到与输入弱光图像I
L
大小相同的增强图像
[0029]渐进式增强结构包括四个不同尺度的卷积LSTM模块，四个不同尺度的卷积LSTM模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积LSTM单元位于卷积层之间，每个卷积LSTM单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单
元C
t
，遗忘门、输入门、输出门由如下公式(5)～(7)所示：
[0030]C
t
＝C
t
‑1×
δ(W
f
[h
t
‑1,x
t
])
ꢀꢀꢀ
(5)；
[0031]C
t
＝C
t
+δ(W
i
[h
t
‑1,x
t
])
×
Tanh(W
g
[h
t
‑1,x
t
])
ꢀꢀꢀ
(6)；
[0032]h
t
＝δ(W
o
[h
t
‑1,x
t
])
×
Tanh(C
t
)
ꢀꢀꢀ
(7)；
[0033]其中，h
t
表示LSTM在第t时间步的隐藏状态向量；[h
t
‑1,x
t
]是第(t
‑
1)个时间步的输出和第t个时间步的输入的连接通道特征图，W
f
,W
i
,W...

【技术保护点】

【技术特征摘要】
1.基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：具体包括如下步骤：步骤1，准备数据；步骤2，搭建多分支渐进式增强模型；步骤3，根据步骤2搭建的结构对步骤1准备的数据进行训练，得到训练好的多分支渐进式增强模型；步骤4，基于步骤3得到的训练好的多分支渐进式增强模型进行数据测试。2.根据权利要求1所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤1的具体过程为：步骤1.1，准备配对的弱光图像对步骤1.1，准备配对的弱光图像对表示需要增强的弱光图像，I
iH
表示与弱光图像一一对应的正常亮度的高质量图像ground truth，i表示第i对数据，N表示数据集中数据对的个数；步骤1.2，将步骤1.1获取的图像对数据划分为两部分，分别是训练集D
train
和测试集D
test
，其中训练集占全部数据的97％，测试集占全部数据的3％；步骤1.3，对步骤2中划分的训练集D
train
图片进行随机裁剪，仅保留训练集中原始图像80％的像素数据用于训练，之后使用双三次插值方法将训练图像对{I
L
,I
H
}的尺寸调整为256
×
256，再使用相同的双三次插值方法分别将256
×
256的标签图像块I
H
下采样1/2和1/4，分别得到128
×
128和64
×
64的标签图像块I
H2
和I
H4
。3.根据权利要求2所述的基于多分支渐进式深度网络的弱光图像增强方法，其特征在于：所述步骤2中，多分支渐进式增强模型包括多分支增强结构和渐进式增强结构；多分支增强结构包括编码器模块、多分支模块和解码器模块；编码器模块包括六个卷积和Relu激活函数层，接收输入的低光图像I
L
，增强输入由初始弱光图像I
L
与两个增强图像在通道维度中拼接，得到增强的输入数据，初始化时增强图像由原始的弱光图像I
L
替代，因此，模型的输入表示为：将输入编码器，提取不同维度大小和不同尺度的特征表示编码器表示为：其中，是编码器的输入，是第j个分支的特征提取器，是第j个编码器输出的深度特征表示，[W,H,C]表示输入弱光图像的尺寸和通道数；多分支模块包括四个分支，这四个分支表示为：其中，表示第k个增强分支，和分别表示第k个增强分支的输入和输出，第四个分支的输出通道是输入的一半，而其余三个分支的输入和输出尺寸完全相同；解码器模块接收四个分支的输出，将不同分支增强后的特征融合，并压缩到三个通道
内，生成最终结果，解码器融合的过程表示为：其中，F
up
表示对特征图进行2X上采样，并将特征图的通道数压缩到其原始大小的一半，F
gz
是将融合的特征图压缩到RGB通道的操作，得到与输入弱光图像I
L
大小相同的增强图像渐进式增强结构包括四个不同尺度的卷积LSTM模块，四个不同尺度的卷积LSTM模块嵌入到多分支增强结构中，在多分支增强结构中的每个增强分支中，卷积LSTM单元位于卷积层之间，每个卷积LSTM单元由四个组成部分组成，即遗忘门、输入门、输出门和存储单元C
t
，遗忘门、输入门、输出门由如下公式(5)～(7)所示：C
t
＝C
t
+δ(W
i
[h
t
‑1,x
t
])
×
Tanh(W
g
[h
t
‑1,x
t
]) (6)；h
t
＝δ(W
o
[h
t
‑...

【专利技术属性】
技术研发人员：袁诚，张凯兵，余有江，陈小改，李敏奇，卢健，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：