基于物理和深度学习双重引导的水下图像增强网络及方法技术

本发明专利技术提供了基于物理和深度学习双重引导的水下图像增强网络及方法，物理引导是通过设计能体现深度信息的传输图导出方法来获取水下物理传输先验，并将其与传输引导块和非一致性损失函数进行有机结合，引导网络对水下图像退化过程所造成的失真进行补偿，深度学习引导是通过构建多阶段多颜色空间联合的渐进式网络，将水下图像增强任务分解为更小、更容易的子任务，来逐步恢复出干净的水下图像；第一阶段用于提取HSV和LAB颜色空间的编解码特征来丰富多阶段网络的特征；第二阶段用于在RGB颜色空间上整合和细化不同颜色空间的特征，对水下的色偏程度进行更有效检测；第三阶段用于保留水下图像的位置结构信息，网络能够在视觉质量和量化指标上均展现了显著的优越性。质量和量化指标上均展现了显著的优越性。质量和量化指标上均展现了显著的优越性。

【技术实现步骤摘要】
基于物理和深度学习双重引导的水下图像增强网络及方法


[0001]本专利技术属于计算机视觉研究
，更具体地说，特别涉及一种基于物理和深度学习双重引导的水下图像增强网络及方法。

技术介绍

[0002]水下图像是海洋信息的重要载体，然而，由于水下环境浑浊、光照条件复杂，水下图像不可避免地出现颜色失真、对比度降低、光照度不均匀、噪声多等质量退化问题,不利于后续对海洋资源进行深入的研究和探索。因此，如何获取高质量的水下成像图像，为其他利用水下图像的领域提供更适合于人类或机器进行分析处理的准确图像表达形式，已引起图像处理和水下视觉领域的广泛关注。
[0003]传统的基于物理的水下图像复原算法，如RDCP、UDCP、GDCP以及UnderwaterHL，虽然能够在一定程度上学习输入和输出变量之间的可解释性关系，努力促进人们对物理世界的理解。但是，现有的物理模型大多都只是简单地使用雾霾成像模型近似估计，忽略了水下图像成像的特殊性，如人工光源和环境光对水下图像成像过程的影响等。此外，物理模型直接从数据中提取知识的能力有限，并且可能会受到先验信息的过度约束而难以应对更具挑战性的水下图像复原任务。近年来，深度学习因其具有强大的特征提取能力和非线性特征表达能力而被广泛应用。以UcycleGAN、Water
‑
Net、UWCNN为代表，深度学习模型在水下图像增强领域也取得了令人鼓舞的结果。但是，目前的深度学习模型大多都是从其他领域照搬过来，没有考虑水下场景任务的适应性，难以处理广泛场景下的水下图像增强任务。此外，深度学习模型训练的有效性会受到成对训练集大小的限制，无法较好囊括水下图像的特征概率分布，其泛化能力有限。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提供了一种基于物理和深度学习双重引导的水下图像增强网络及方法，本专利技术的模型建立于一个端到端可训练的多阶段多颜色空间联合的渐进式恢复方法，通过将水下图像增强任务分解为更小、更容易的子任务，来逐步恢复出干净的水下图像。本专利技术的模型主要由以下三个部分组成：1)本专利技术提出了传输导出模块，在该模块中，通过设计更合理的水下物理传输导出公式，来获取更准确的水下物理先验，为后续引导深度学习模型提取更有用的物理信息奠定良好基础；2)本专利技术设计了多阶段多颜色空间联合的渐进式网络，并将水下图像增强任务分解为三阶段子任务。其中，前两个阶段为多颜色空间增强模块，最后一个阶段为位置信息补偿模块。在多颜色空间增强模块中，第一阶段用于提取HSV和LAB颜色空间的编解码特征来丰富多阶段网络的特征；第二阶段用于在RGB颜色空间上整合和细化不同颜色空间的特征，对水下普遍存在的色偏程度进行有效的检测。而第三阶段的位置信息补偿模块则用于保留水下图像的位置结构信息。3)本专利技术设计了物理非一致性损失函数，Physical
‑
Inconsistency Loss，用于引导深度学习模型重点关注退化程度较高区域，更有效地对水下图像退化过程所造成的失真进行补偿。4)本专利技术
增加了VGG Loss和Charbonnier Loss。其中，VGG Loss用于优化网络所得结果的细节表现，得到更好的视觉效果，Charbonnier Loss用于更好地处理异常值，使增强后的水下图下更具真实感。
[0005]经过本专利技术大量的实验结果表明，本专利技术的模型可以有效移除水下图像的颜色伪影和光散射现象，增强水下图像对比度，更自然地恢复出高质量的水下图像。不论是在视觉质量方面还是在量化指标方面，本专利技术的方法对比大多SOTA水下图像增强算法都有更好的表现，有效的解决了上述存在的技术问题。
[0006]本专利技术是一种基于物理和深度学习双重引导的水下图像增强网络及方法的目的与功效，由以下具体技术手段所达成：
[0007]一种基于物理和深度学习双重引导的水下图像增强网络，它是三阶段渐进式增强结构，包含有传输导出模块、多颜色空间增强模块和位置信息补偿模块，原始水下图像作为网络的输入，会先经过多颜色空间增强模块，该模块主要由网络的前两阶段构成，负责完成多颜色空间特征的提取和细化，帮助网络检测和移除水下图像广泛存在的色偏现象；位置信息补偿模块作为网络的最后一个阶段，主要负责对前两阶段提取到的多颜色空间特征进行位置信息补偿，保留图像所需的精细纹理；传输导出模块服务于位置信息补偿模块，它通过对水下成像模型参数进行合理的估计，从而导出水下传输先验估计，用于加权退化程度较高的区域，使网络在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
[0008]所述多颜色空间增强模块所包含的颜色空间有HSV、LAB和RGB，通过在HSV和LAB颜色空间中提取到的特征信息用于辅助RGB颜色空间特征的提取和细化，提取相同图像在不同颜色空间的不同视觉表示，有效提高网络色偏检测和色偏移除的能力。
[0009]所述位置信息补偿模块通过在原始图像分辨率运行一系列的卷积操作来保留位置信息，能够有效补偿水下图像位置信息，而不需要采用任何的上下采样操作。
[0010]所述传输导出模块引导网络关注水下图像退化程度较高的区域，辅助位置信息补偿模块在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
[0011]一种基于物理和深度学习双重引导的水下图像增强网络的水下图像恢复方法，所述方法步骤为：一、原始水下图像进入多颜色空间增强模块中，首先进行RGB颜色空间到HSV和LAB颜色空间的转换，然后通过编码器
‑
解码器子网络来提取经卷积层和通道注意力模块细化后的多尺度特征，并将这些特征通过一种跨阶段特征融合机制整合到第二阶段的编码器中。与此同时，这些特征会在参考图的监控下重新缩放到一个合理的值，有效避免了梯度消失问题。在得到HSV和LAB两个颜色空间的不同视觉表示后，通过concatenate操作来整合这两个颜色空间所提取到的特征，并使用通道注意力机制来加权不同颜色空间的重要性。最后，将这些特征整合到第二阶段的RGB颜色空间中，辅助第二阶段子网络完成水下图像增强任务。二、在得到多颜色空间增强模块所提取到的相同图像在不同颜色空间的不同视觉表示后，这些特征会流入到位置信息补偿模块，通过在原始水下图像分辨率下运行大量卷积操作来补偿前两阶段所丢失的位置信息。三、在位置信息补偿模块后期，引入传输导出模块。在传输导出模块中，根据水下成像模型合理估计模型参数，导出更准确的传输引导图。通过反转传输引导图来标识水下图像退化区域更为严重的部分，引导网络对这些区域进行
重点关注。四、在Charbonnier Loss、VGG Loss和精心设计的Physical
‑
Inconsistency Loss的指导下，完成模型端对端的训练。五、在完成上述操作后，基于物理和深度学习双重引导的水下图像增强网络最终能够获取无色偏现象、位置结构清晰的水下增强图像
[0012]所述步骤三中，所基于的物理成像模型如下所示：
[0013][0014]其中，x是水下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于物理和深度学习双重引导的水下图像增强网络，其特征在于：它是三阶段渐进式增强结构，包含有传输导出模块、多颜色空间增强模块和位置信息补偿模块，原始水下图像作为网络的输入，会先经过多颜色空间增强模块，该模块主要由网络的前两阶段构成，负责完成多颜色空间特征的提取和细化，帮助网络检测和移除水下图像广泛存在的色偏现象；位置信息补偿模块作为网络的最后一个阶段，主要负责对前两阶段提取到的多颜色空间特征进行位置信息补偿，保留图像所需的精细纹理；传输导出模块服务于位置信息补偿模块，它通过对水下成像模型参数进行合理的估计，从而导出水下传输先验估计，用于加权退化程度较高的区域，使网络在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。2.根据权利要求1所述的基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述多颜色空间增强模块所包含的颜色空间有HSV、LAB和RGB，通过在HSV和LAB颜色空间中提取到的特征信息用于辅助RGB颜色空间特征的提取和细化，提取相同图像在不同颜色空间的不同视觉表示，有效提高网络色偏检测和色偏移除的能力。3.根据权利要求1所述的基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述位置信息补偿模块通过在原始图像分辨率运行一系列的卷积操作来保留位置信息，能够有效补偿水下图像位置信息，而不需要采用任何的上下采样操作。4.根据权利要求1所述基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述传输导出模块引导网络关注水下图像退化程度较高的区域，辅助位置信息补偿模块在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。5.根据权利要求1
‑
4任一项所述的基于物理和深度学习双重引导的水下图像增强网络的处理方法，其特征在于：所述方法步骤为：一、原始水下图像进入多颜色空间增强模块中，首先进行RGB颜色空间到HSV和LAB颜色空间的转换，然后通过编码器
‑
解码器子网络来提取经卷积层和通道注意力模块细化后的多尺度特征，并将这些特征通过一种跨阶段特征融合机制整合到第二阶段的编码器中；与此同时，这些特征会在参考图的监控下重新缩放到一个合理的值，有效避免了梯度消失问题；在得到HSV和LAB两个颜色空间的不同视觉表示后，通过concatenate操作来整合这两个颜色空间所提取到的特征，并使用通道注意力机制来加权不同颜色空间的重要性；最后，将这些特征整合到第二阶段的RGB颜色空间中，辅助第二阶段子网络完成水下图像增强任务；二、在得到多颜色空间增强模块所提取到的相同图像在不同颜色空间的不同视觉表示后，这些特征会流入到位置信息补偿模块，通过在原始水下图像分辨率下运行大量卷积操作来补偿前两阶段所丢失的位置信息；三、在位置信息补偿模块后期，引入传输导出模块；在传输导出模块中，根据水下成像模型合理估计模型参数，导出更准确的传输引导图，通过反转传输引导图来标识水下图像退化区域更为严重的部分，引导网络对这些区域进行重点关注；四、在Charbonnier Loss、VGG Loss和Physical
‑
Inconsistency Loss的指导下，完成模型端对端的训练；五、在完成上述操作...

【专利技术属性】
技术研发人员：曾立新，欧阳婷，张永军，张雪雪，吴玲，
申请(专利权)人：贵州大学，
类型：发明
国别省市：