一种基于深度学习的水下图像增强方法技术

本发明专利技术公开了一种基于深度学习的水下图像增强方法，属于深度学习和计算机视觉领域。本发明专利技术所属方法将输入的水下图像拆分为R、G、B三个颜色通道，再使用多尺度融合注意力模块分别学习不同颜色通道的衰减特征图，然后将不同颜色通道的衰减特征图进行通道堆叠，紧接着使用通道注意力机制提取感兴趣的衰减特征，最后利用1

【技术实现步骤摘要】
一种基于深度学习的水下图像增强方法


[0001]本专利技术属于深度学习和计算机视觉领域，具体涉及一种基于计算机视觉的水下图像增强方法。

技术介绍

[0002]高质量的水下图像是理解水下信息的前提，对实际的海底探测、水下生物多样性研究、水下环境保护等工程项目和科学研究有着十分重要的影响。然而，受水中杂质、气泡等物理环境的影响，水下图像的质量往往会出现一定的退化。水对光的散射作用导致获取到的水下图像纹理模糊，并存在一定的雾化现象。水对光的吸收作用导致水下图像颜色失真，波长越长的光被吸收的越明显，导致水下图像基本呈现出蓝、绿色调。因此，为了解决上述问题，国内外的研究学者利用计算机视觉技术，对水下图像质量的恢复展开了深入研究。
[0003]现有的方法主要是分为两类，一类是基于水下光学成像模型的水下图像增强方法，另一类是通过直接调整图像像素分布的非物理模型图像增强方法。然而，基于物理模型的水下图像增强方法过度依赖于人工设置参数，不具备普适性和泛化性。另一方面，基于非物理模型的水下图像增强方法一般没有考虑到图像的R、G、B通道在水中传输过程中的衰减程度不同，无法很好地应对水下场景复杂、光照强度不均匀和噪声干扰明显的情况。
[0004]因此，迫切需要一种既能够改善由于水下场景复杂、光照强度不均匀、噪声干扰严重等因素造成的水下图像质量提升不明显，也能避免水下成像模型的人工参数设置复杂的水下图像增强方法。

技术实现思路

[0005]本专利技术提供了一种基于深度学习的水下图像增强方法，目的是改善现有技术得到的水下图像照度低、噪声高、分辨率低、雾化严重、对比度不明显和颜色失真等图像整体视觉质量退化问题，避免进一步影响目标物体的识别、追踪和检测。本专利技术通过深度卷积网络学习水下图像退化的底层特征，使网络模型能够适应复杂的水下场景和光照变化，并减少了增强过程中人工操作的干预。
[0006]本专利技术所提出的技术问题是这样解决的：
[0007]一种基于深度学习的水下图像增强方法，包括以下步骤：
[0008]步骤1，通道拆分：将输入的原始图像拆分为R、G、B三个通道矩阵，并分别将三个通道矩阵的像素值归一化到相同的数据分布；
[0009]步骤2，多尺度退化特征提取：将步骤1得到的三个通道分别输入到三个多尺度融合注意力模块中提取不同通道下的水下衰减特征，得到不同通道的特征矩阵W
R
、W
G
、W
B
，且每个特征矩阵的维度均为T；
[0010]步骤3，通道堆叠：将步骤2输出的不同通道的特征矩阵W
R
、W
G
、W
B
使用通道堆叠的方式融合为3
×
T维度的特征图，即在同一个像素坐标(X
i
,Y
j
),i＝1,2,3,...,p,j＝1,2,3,...,q上进行堆叠，p和q分别表示特征矩阵的行和列的大小，一般情况下p和q的值相等；
[0011]步骤4，感兴趣特征区域提取：依据步骤3得到多通道特征图，运用通道注意力(Channel
‑
wise Attention，CA)机制关注目标中感兴趣的区域像素，且不改变特征图的维度；
[0012]步骤5，1
×
1的卷积运算：利用1
×
1的卷积运算，将步骤4处理后的多通道特征图的维度从3
×
T压缩到与原始输入图像相同的通道维度，得到新的特征图R(x,y),x＝1,2,3,...,m,y＝1,2,3,...,n，m和n分别表示特征图的长和宽；
[0013]步骤6，特征融合：运用跳层连接的思想，将步骤5得到的新的特征图R(x,y)与原始输入图像O(x,y),x＝1,2,3,...,m,y＝1,2,3,...,n在相对应的像素坐标位置上直接相加并更新R(x,y)，即R(x,y)+O(x,y)
→
R(x,y)；
[0014]步骤7，将步骤的6得到特征融合结果R(x,y)和步骤1中的原始图像O(x,y)进行通道堆叠得到R
t
(x,y)并输入到步骤1中，利用步骤5的方法降低R
t
(x,y)的特征维度得到R1(x,y)并重复步骤1
‑
6得到特征图R2(x,y)，再将R2(x,y)与R1(x,y)进行通道堆叠后重复n次上述的过程；
[0015]步骤8，将步骤7输出的结果经过卷积核大小为3
×
3的卷积运算得到特征图像R
n
(x,y)，将R
n
(x,y)与O(x,y)直接相加得到增强的图像R
f
(x,y)，即R
n
(x,y)+O(x,y)
→
R
f
(x,y)；
[0016]步骤9，使用均方差损失函数L
MSE
、图像质量损失函数L
SSIM
与改进的颜色损失函数L
CL
和反向误差传播算法对上述步骤1
‑
8进行训练，训练完成后保存水下图像增强网络模型和权重；
[0017]步骤10，使用步骤9已训练好的网络模型和权重，增强输入的水下测试图像。
[0018]本专利技术步骤2包括：
[0019]步骤2
‑
1，将步骤1得到的单通道图O
r
、O
g
、O
b
分为两条支线，分别与3
×
3和5
×
5大小的卷积核做运算，并将运算的结果直接相加得到特征图F'
r
、F'
g
、F'
b
：
[0020]F'
r
＝Conv3×3(O
r
)+Conv5×5(O
r
)
[0021]F'
g
＝Conv3×3(O
g
)+Conv5×5(O
g
)
[0022]F'
b
＝Conv3×3(O
b
)+Conv5×5(O
b
)
[0023]其中，Conv3×3(
·
)和Conv5×5(
·
)分别表示卷积核大小为3
×
3和5
×
5的卷积运算；
[0024]步骤2
‑
2，将步骤2
‑
1得到的F'
r
、F'
g
、F'
b
分别与再与3
×
3和5
×
5大小的卷积核做运算，并将运算的结果进行通道堆叠，然后通过卷积核大小为1
×
1的卷积运算将堆叠的通道维度压缩到三通道得到特征图F”r
、F”g
、F”b
：
[0025]F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的水下图像增强方法，其特征在于，包括以下步骤：步骤1，通道拆分：将输入的原始图像拆分为三个单通道矩阵；步骤2，多尺度退化特征提取：将步骤1得到的三个单通道矩阵分别输入到三个多尺度融合注意力模块中提取不同通道下的水下衰减特征，得到三个不同通道的特征矩阵；步骤3，通道堆叠：将步骤2输出的不同通道的特征矩阵使用通道堆叠的方式融合为高维度的特征图；步骤4，感兴趣特征区域提取：依据步骤3得到多通道特征图，运用通道注意力(Channel
‑
wise Attention，CA)机制关注目标中感兴趣的区域像素，且不改变特征图的维度；步骤5，1
×
1的卷积运算：利用1
×
1的卷积运算，将步骤4处理后的多通道特征图的维度压缩到与原始输入图像相同的通道维度，得到新的特征图；步骤6，特征融合：运用跳层连接的思想，将步骤5得到的新的特征图与原始输入图像在相对应的像素坐标位置上直接相加并更新步骤5得到的特征图；步骤7，将步骤的6得到特征融合结果和步骤1中的原始图像进行通道堆叠后再利用步骤5的方法降低特征图维度，重复多次步骤1
‑
6；步骤8，将步骤7输出的结果利用卷积运算得到增强的特征图像，并与原始图像直接相加得到水下增强图像；步骤9，使用均方差损失函数、图像质量损失函数与改进的颜色损失函数以及反向误差传播算法对上述步骤1
‑...

【专利技术属性】
技术研发人员：左琳，徐冯杰，张昌华，刘宇，杨兴，刘斌，胡建，罗茂林，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：