一种基于多特征图像融合的水下图像超分辨率方法技术

本发明专利技术公开了一种基于多特征图像融合的水下图像超分辨率方法，包括：获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，得到特征融合的水下图像；对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像；该方法能更好的在减少伪影的同时提取预处理图像的有用细节信息。取预处理图像的有用细节信息。取预处理图像的有用细节信息。

【技术实现步骤摘要】
一种基于多特征图像融合的水下图像超分辨率方法


[0001]本专利技术涉及水下图像处理
，尤其涉及一种基于多特征图像融合的水下图像超分辨率方法。

技术介绍

[0002]近年来，随着人类对海洋资源开发的不断深入，水下机器视觉领域的发展对海洋资源的探索到了至关重要的作用。但由于水下环境复杂多样，海水中的大量悬浮物导致的光照强度衰减，水体环境对光照的前向散射和后向散射等影响因素，水下获取的图像通常存在色彩失真、细节模糊、对比度低和分辨率低等问题。因此，利用水下图像超分辨率重建技术来提升水下图像的对比度和分辨率，以解决水下图像细节纹理缺失和模糊不清的问题，具有重要的研究意义。
[0003]图像超分辨率重建技术就是运用数字图像处理和计算机视觉等领域的相关知识，将低质量、低分辨率的图像恢复成高质量、高分辨率图像的技术。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节以及更高的可信赖度。所以高分辨率的图像对于提高人类对图像的识别能力和识别精度有着很大的帮助。图像超分辨率重建方法分为传统的超分辨率重建算法和基于深度学习的超分辨率重建算法。传统的超分辨率重建算法主要是通过数字图像处理技术进行图像重建，主要有基于插值的方法、基于退化模型的方法、基于学习的方法等。随着深度学习算法的兴起，越来越多的基于深度学习的超分辨率重建方法开始出现。
[0004]相较于陆地上的图像超分辨率重建方法，现有的图像超分辨率重建方法在水下领域的研究相对较少。因为水下成像通常受到能见度差、光吸收和散射的影响，造成水下图像缺乏重要细节，感兴趣区域不显著，这给水下图像超分辨率重建带来了巨大的困难。研究人员近年来已经对水下图像超分辨率重建进行了一些研究尝试，研究重点是从噪声或模糊的图像中重建出质量更好的水下图像。其中，基于特征融合的图像超分辨率方法为解决水下图像超分辨率重建提供了很好的思路。特征融合模块能够将多幅特征图中最显著的特征提取并融合到一幅图像中去，合并成有更强判别能力的特征图像。而超分辨率模块采用深度残差网络结构，使用跳跃连接来保留卷积层重复块中的标识映射，这有助于稳定的训练非常深层的网络模型。在密集残差块中的跳跃连接能够组合来自每个层的层次特征，以提高图像超分辨率重建的性能。基于特征融合的图像超分辨率方法能够解决水下图像特征提取困难，细节特征不明显，分辨率低的问题。

技术实现思路

[0005]根据现有技术存在的问题，本专利技术公开了一种基于多特征图像融合的水下图像超分辨率方法，具体包括如下步骤：
[0006]获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；
[0007]构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；
[0008]将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；
[0009]将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像；
[0010]对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像。
[0011]进一步的，所述白平衡方法为：首先对水下图像进行颜色投射校正，获取准确的色彩还原；所述自适应直方图均衡化方法为：首先计算水下图像的局部直方图，对亮度进行重新分布改进水下图像的局部对比度从而获得图像的更多细节；所述暗通道先验方法为：计算水下图像的透射率和大气光成分值，对原始图像进行高斯低通滤波后进行反转得到透射率图像，根据透射率图像得到局部去雾的水下图像。
[0012]进一步的，将自适应直方图均衡化特征优化图像R
HE
、白平衡特征优化图像R
WB
和暗通道先验特征优化图像R
DCP
分别与各自的置信度D
HE
、D
WB
和D
DCP
相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像I
ER
，该过程的函数表示为：
[0013]I
ER
＝D
HE
×
R
HE
+D
WB
×
R
WB
+D
DCP
×
R
DCP
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0014]在对水下图像进行特征融合过程中，采用最小化感知损失函数学习特征融合水下图像的映射函数，从而减少由像素级损失函数引起的伪影，度量特征融合图像I
ER
与参考图像I
RF
之间的差异性感知损失函数为：
[0015][0016]其中，N表示训练过程中每批次的数量，W
k
H
k
C
k
分别表示网络模型内第k个卷积层的特征映射的宽度、高度和通道数，θ
k
(x)表示激活后的预训练的网络模型的第k层。
[0017]进一步的，对特征融合的水下图像进行超分辨率重建时包括对水下图像中的低层特征信息和高层特征信息进行重建：
[0018]其中对低层特征信息进行重建时：首先提取水下图像中的低层特征信息，并对水下图像中的低层特征信息进行恢复；
[0019]其中对高层特征信息进行重建时：首先提取水下图像的高层特征信息，再采用迁移学习方法使用预先训练好的网络模型提取高分辨率水下图像的高层特征信息，将该高层信息与上一步骤提取的高层特征信息进行对比，采用最小化均方误差法缩小二者的误差；
[0020]采用反卷积方法对恢复后的水下图像低层特征信息和高层特征信息进行超分辨率重建。
[0021]进一步的，对特征融合的水下图像进行超分辨率重建时，首先衡量提取出的水下图像特征与从网络模型中提取出的水下图像特征之间的差距程度，得到接近真实的高分辨率的水下图像，采用内容损失函数衡量图像之间的相似程度，
[0022]L
C
(F)＝Ι
h,l
[||θ(h)
‑
θ(F(l))||2]ꢀꢀꢀ
(3)
[0023]其中，F:{l}
→
h代表一个学习函数或映射，l表示低分辨率图像域，h表示高分辨率图像域；为了调控感知损失函数公式(2)和内容损失函数公式(3)，使得两个损失函数得到
小的损失，引入与损失函数相关的超参数λ
k
与λ
C
，则特征融合超分辨率网络的目标损失函数表示为：
[0024][0025]由于采用了上述技术方案，本专利技术提供的一种基于多特征图像融合的水下图像超分辨率方法，该方法能够很好地解决水下图对比度低、分辨率低等问题。对解决水下图像色偏问题也有一定的帮助；该方法运用特征融合网络，能更好的在减少伪影的同时提取预处理图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征图像融合的水下图像超分辨率方法，其特征在于包括：获取水下图像，采用白平衡、自适应直方图均衡化和暗通道先验三种方法分别对该水下图像进行预处理；构建特征融合超分辨率网络模型，将三种预处理后的水下图像和原图像输入至特征融合超分辨率网络模型中进行训练，并获得每种预处理图像的置信度信息；将原图像分别与三种预处理图像进行特征优化获得三种特征优化图像；将三种特征优化图像分别与各自的置信度相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像；对特征融合的水下图像进行超分辨率重建，获得超分辨率重建图像。2.根据权利要求1所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：所述白平衡方法为：首先对水下图像进行颜色投射校正，获取准确的色彩还原；所述自适应直方图均衡化方法为：首先计算水下图像的局部直方图，对亮度进行重新分布改进水下图像的局部对比度从而获得图像的更多细节；所述暗通道先验方法为：计算水下图像的透射率和大气光成分值，对原始图像进行高斯低通滤波后进行反转得到透射率图像，根据透射率图像得到局部去雾的水下图像。3.根据权利要求1所述的基于多特征图像融合的水下图像超分辨率方法，其特征在于：将自适应直方图均衡化特征优化图像R
HE
、白平衡特征优化图像R
WB
和暗通道先验特征优化图像R
DCP
分别与各自的置信度D
HE
、D
WB
和D
DCP
相乘得到三种待融合的水下图像，将三种待融合的水下图像整合相加进行特征融合，得到特征融合的水下图像I
ER
，该过程的函数表示为：I
ER
＝D
HE
×
R
HE
+D
WB
×
R
WB
+D
DCP
×
R
DCP
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)在对水下图像进行特征...

【专利技术属性】
技术研发人员：付先平，王息宁，姚冰，蒋广琪，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：