一种基于深度学习的水下图像恢复方法技术

本发明专利技术公开了一种基于深度学习的水下图像恢复方法，属于深度学习和图像处理领域。本发明专利技术是基于水下物理模型的水下图像复原方法，创新性地通过将水下物理模型与深度学习相结合的方式，实现对水下退化图像的结构恢复和颜色校正。该发明专利技术首先使用暗通道先验模型获取水下退化图像的水下散射图和水下透射率图，然后通过结构恢复网络实现对水下退化图像的物理复原，最后使用颜色校正网络完成对水下退化图像的最终复原。本发明专利技术所述方法可以实现对水下退化图像的结构恢复和颜色校正，对在低照度条件下拍摄的水下图像具有很好的适应能力，解决了水下退化图像的结构退化、颜色失真等问题。颜色失真等问题。颜色失真等问题。

【技术实现步骤摘要】
一种基于深度学习的水下图像恢复方法


[0001]本专利技术属于深度学习和图像处理领域，具体涉及一种基于深度学习的水下图像恢复方法。

技术介绍

[0002]水下图像处理在水下作业项目中是一个热门的话题，也是水下机器人发展的基础。水下图像受到水对光的吸收以及水中悬浮粒子对光的散射(前向散射与后向散射)，导致所捕获的图像可见度低、模糊、对比度下降以及产生色偏，这对水下作业任务带来了严峻的挑战。
[0003]在现行的技术中，传统的图像处理算法难以恢复出图像的边缘信息和颜色信息。此外，面对复杂的水下环境，传统水下图像复原方法不具备普适性和迁移性，且受不均匀光照影响较大。另一方面，利用深度学习技术进行图像增强的方法往往不能很好地从机理上去解决水下图像模糊不清、边缘对比度信息丢失等问题。
[0004]因此，需要一种结合深度学习技术和水下物理成像模型的方法，从物理上实现对水下图像的恢复，解决水下图像可见度低、色偏、对比度低、模糊等诸多问题，且增加网络模型的泛化性和实用性。

技术实现思路

[0005]本专利技术提供了一种基于深度学习的水下图像恢复方法，结合了深度学习技术与水下物理成像模型，目的是解决现有技术方法的普适性低、受光照的影响较大以及恢复精确度低等问题。本专利技术提供的基于深度学的习水下图像恢复方法能够结合水下场景的物理特性，提升了图像恢复的视觉质量。
[0006]本专利技术所提出的技术问题是这样解决的：
[0007]一种基于深度学习的水下图像恢复方法，包括以下步骤：
[0008]步骤1，将水下退化图像I(z)输入到(Dark Channel Prior，DCP)模型中，得到水下退化图像的水下透射率图t(z)和水下散射图B(z)，并将其标注为目标图像作为辅助训练标签；
[0009]步骤2，结构恢复网络(Structure Restoration Network，SRN)训练：将水下退化图像I(z)分别输入到残差密集网络(Residual Dense Network，RDN)和U
‑
Net网络中，且分别以步骤1得出的水下透射率图t(z)和水下散射图B(z)为目标图像进行训练得到SRN模型和权重；
[0010]步骤3，颜色校正网络(Color Correction Network，CCN)训练：将步骤2训练好的网络模型分别预测出水下透射率图水下散射图通过水下物理成像模型，即反演得到水下结构恢复图像J(z)，再将J(z)输入到CCN网络模型
中，并进行训练得到CCN模型和权重；
[0011]步骤4，依次将步骤2、步骤3训练好的网络模型拼接成一个网络模型，再将测试图像输入到拼接好的网络模型中，最终直接输出水下复原图像
[0012]本专利技术步骤2包括：
[0013]步骤2
‑
1，利用步骤1中的暗通道先验模型得出水下退化图像I(z)的先验图像，即暗通道图D(x)、水下散射图B(z)和水下透射率图t(z)：
[0014](1)暗通道图D(x)
[0015][0016]其中，x表示图像的每个像素点坐标，Ω(x)表示以x为中心的一块领域区域，c表示图像的R、G、B三个通道；
[0017](2)水下散色图B(z)
[0018]从D(x)中按照亮度的大小取前0.1％的像素点位置Γ{D(x)}，再从I(z)中寻找与Γ{D(x)}在对应位置且数量最多的像素值作为B(z)；
[0019](3)水下透射率图t(z)
[0020][0021]其中，z表示图像的每个像素点坐标，Ω(z)表示以z为中心的一块领域区域，w是一个常数；
[0022]步骤2
‑
2，将I(z)作为RDN的输入，并使用步骤2
‑
1得到的水下透射率图t(z)作为该网络模型的目标图像；
[0023]步骤2
‑
3，将I(z)作为U
‑
Net网络输入，并使用步骤2
‑
1得到的水下散射图B(z)作为该网络模型的目标图像；
[0024]步骤2
‑
4，将步骤2
‑
2、步骤2
‑
3中的网络模型进行联合训练得到SRN的模型和权重。
[0025]本专利技术步骤3包括：
[0026]步骤3
‑
1，使用步骤2
‑
2和步骤2
‑
3训练好的网络模型进行预测得到水下透射率图和水下散射图再通过水下物理成像模型，即反演得到水下结构恢复图像J(z)；
[0027]步骤3
‑
2，将J(z)依次输入到多尺度融合模块(Multi
‑
Scale Fusion Block，MSFB)和注意力模块(Attention Module，AM)中，得到特征图f1；
[0028]步骤3
‑
3，将J(z)输入到图像高频信号提取网络模型中，得到特征图f2；
[0029]步骤3
‑
4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
[0030]步骤3
‑
5，将步骤3
‑
2、步骤3
‑
3和步骤3
‑
4中的网络模型进行训练得到CCN的模型和权重。
附图说明
[0031]下面结合附图和具体实施方式对本专利技术做进一步的具体说明，本专利技术的上述或其
他方面的优点将变得更加清楚。
[0032]图1为本专利技术实施例的水下图像恢复算法的总流程图；
[0033]图2为本专利技术实施例的各个神经网络模型训练、测试的流程图；
[0034]图3为本专利技术实施例的提取图像高频信号算法的流程图；
[0035]图4为本专利技术实施例的水下退化训练图像之一；
[0036]图5为本专利技术实施例的经物理模型先验得出的水下透射率图和水下散射图；
[0037]图6为本专利技术实施例的参考图像(Ground Truth，GT)；
[0038]图7为本专利技术实施例的测试图像；
[0039]图8为本专利技术实施例的最终复原图像；
具体实施方式
[0040]下面结合附图及实施例对本专利技术做进一步说明。
[0041]本专利技术方法所构建的总体流程如图1所示，其中包括各个神经网络的训练流程如图2所示，提取图像高频信号算法流程如图3所示，训练数据集如图4、图5所示，参考图像如图6所示，测试图像如图7所示，复原图像如图8所示。本专利技术实施例中水下图像处理算法的具体构建步骤如下：
[0042]步骤1，将水下退化图像I(z)(如图4所示)输入到DCP模型中，得到每张退化图像的水下透射率图t(z)和水下散射图B(z)(如图5所示)，并将其标注为目标图像作为辅助训练标签；
[0043]步骤2，结构恢复网络(Structure Restoration Network，SRN)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的水下图像恢复方法，其特征在于，包括以下步骤：步骤1，将水下退化图像I(z)输入到暗通道先验(Dark Channel Prior，DCP)模型中，得到水下退化图像的水下透射率图t(z)和水下散射图B(z)，并将其标注为目标图像作为辅助训练标签；步骤2，结构恢复网络(Structure Restoration Network，SRN)训练：该结构恢复网络主要用于水下图像结构恢复；其中，该步骤又可以分为如下4个步骤：步骤2
‑
1，利用步骤1中的暗通道先验模型得出水下退化图像I(z)的先验图像，即暗通道图D(x)、水下散射图B(z)和水下透射率图t(z)：(1)暗通道图D(x)其中，x表示图像的每个像素点坐标，Ω(x)表示以x为中心的一块领域区域，c表示图像的R、G、B三个通道；(2)水下散色图B(z)从D(x)中按照亮度的大小取前0.1％的像素点位置Γ{D(x)}，再从I(z)中寻找与Γ{D(x)}在对应位置且数量最多的像素值作为B(z)；(3)水下透射率图t(z)其中，z表示图像的每个像素点坐标，Ω(z)表示以z为中心的一块领域区域，w是一个常数；步骤2
‑
2，将I(z)作为残差密集网络(Residual Dense Network，RDN)的输入，并使用步骤2
‑
1得到的水下透射率图t(z)作为该网络模型的目标图像；步骤2
‑
3，将I(z)作为U
‑
Net网络的输入，并使用步骤2
‑
...

【专利技术属性】
技术研发人员：张昌华，杨兴，左琳，刘宇，徐冯杰，刘斌，罗茂林，胡建，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：