基于深度学习的超分辨率水下图像增强方法及系统技术方案

本发明专利技术公开了基于深度学习的超分辨率水下图像增强方法及系统，该方法包括：基于生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型；将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像。该系统包括：构建模块和训练模块。通过使用本发明专利技术，能够在提高水下图像分辨率的同时改善水下图像的视觉质量。本发明专利技术作为基于深度学习的超分辨率水下图像增强方法及系统，可广泛应用于水下图像处理技术领域。下图像处理技术领域。下图像处理技术领域。

【技术实现步骤摘要】
基于深度学习的超分辨率水下图像增强方法及系统


[0001]本专利技术涉及水下图像处理
，尤其涉及基于深度学习的超分辨率水下图像增强方法及系统。

技术介绍

[0002]在探索开发海洋资源时，通过水下机器人获取水下信息是目前的主流方式，然而水下环境较为复杂，比如水下环境的湍流、海水的悬浮物引起光照的散射、光照的衰减造成的颜色通道缺失等，使得水下图像呈现色偏、细节缺失以及对比度低等，因此如何提升水下图像质量、解决水下图像细节缺失与模糊的问题具有重要意义，现有的技术有基于条件生成对抗网络的实时水下图像增强模型，根据全局内容、颜色、局部纹理和风格信息来评估感知图像质量，为水下物体检测、人体姿态估计和显著性预测提供了改进的标准模型性能，但是它只是适用于视觉引导水下机器人实时预处理，而基于深度残差网络的生成模型，根据图像的全局内容、颜色和局部风格信息来评估图像的感知质量，但是只是提高水下图像的单图像超分辨率，因此对图像进行色偏修正，提高水下图像的色彩、清晰度和对比度的技术有待进一步改进。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供基于深度学习的超分辨率水下图像增强方法及系统，本专利技术能够在提高水下图像分辨率的同时改善水下图像的视觉质量。
[0004]本专利技术所采用的第一技术方案是：基于深度学习的超分辨率水下图像增强方法，包括以下步骤：
[0005]基于生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型；
[0006]将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像。
[0007]进一步，所述改进生成对抗网络模型还包括：
[0008]上采样模块，包含五层卷积层，激活函数为Leaky
‑
ReLU函数，用于提取水下图像的特征；
[0009]下采样模块，包含四层反卷积层，激活函数为Drop
‑
out函数，用于恢复水下图像的细节。
[0010]进一步，所述生成对抗网络具体如下所示：
[0011][0012]上式中，G
*
表示生成对抗网络，G表示生成对抗网络的生成器，D表示生成对抗网络的判别器，α、λ1、λ
c
和λ2表示超参数，L1表示第一损失函数，L2表示第二损失函数，L
con
(G)表示图像内容指标损失函数，L
IQM
表示图像质量指标损失函数。
[0013]进一步，所述将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像这一步骤，其具体包括：
[0014]通过水下机器人通过获取水下图像；
[0015]基于改进生成对抗网络模型的生成对抗网络，通过增强算法损失函数对水下图像进行增强处理，得到增强水下图像；
[0016]基于改进生成对抗网络模型的深度残差乘法器，通过超分辨率算法对增强水下图像进行插值处理，得到增强超分辨率水下图像。
[0017]进一步，所述基于改进生成对抗网络模型的生成对抗网络，通过增强算法损失函数对水下图像进行增强处理，得到增强水下图像这一步骤，其具体包括：
[0018]所述增强算法损失函数包括第一损失函数、第二损失函数、图像内容指标损失函数、马尔可夫判别器和图像质量指标损失函数；
[0019]通过第一损失函数和第二损失函数对水下图像的全局相似性进行求解，得到清晰的水下图像；
[0020]通过马尔可夫判别器对具有相似内容的水下图像的局部纹理与风格信息进行修正处理，得到无色偏水下图像；
[0021]通过图像内容指标损失函数和图像质量指标损失函数对水下图像的图像质量进行映射处理，得到具有相似内容的水下图像；
[0022]结合清晰的水下图像、无色偏水下图像和具有相似内容的水下图像，得到增强水下图像。
[0023]进一步，所述通过图像内容指标损失函数和图像质量指标损失函数对水下图像的图像质量进行映射处理，得到具有相似内容的水下图像这一步骤，其具体包括：
[0024]输入水下图像与期望图像；
[0025]基于图像内容指标损失函数，计算期望图像在水下图像的对比度增益值；
[0026]通过索贝尔算子计算对水下图像的锐度增益值；
[0027]基于图像质量指标损失函数对对比度增益值和锐度增益值进行最小化处理，输出具有相似内容的水下图像。
[0028]进一步，所述基于改进生成对抗网络模型的深度残差乘法器，通过超分辨率算法对增强水下图像进行插值处理，得到增强超分辨率水下图像这一步骤，其具体包括：
[0029]所述深度残差乘法器包括卷积层、残差层、附加卷积层和反卷积层；
[0030]通过深度残差乘法器的卷积层，对增强水下图像进行特征提取处理，得到特征图像；
[0031]通过深度残差乘法器的残差层，对特征图像进行非线性映射处理，得到映射图像；
[0032]通过深度残差乘法器的附加卷积层和反卷积层，对映射图像进行插值放大处理，得到增强超分辨率水下图像。
[0033]本专利技术所采用的第二技术方案是：基于深度学习的超分辨率水下图像增强系统，包括：
[0034]构建模块，基于生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型；
[0035]训练模块，用于将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像。
[0036]本专利技术方法及系统的有益效果是：本专利技术通过对抗生成网络对初步的水下图像进行细节化处理，主要针对水下图像的低对比度、低清晰度以及存在颜色偏差等问题，通过对
抗生成网络的增强算法损失函数进行指导与修复处理，基于深度残差乘法器将增强水下图像进行插值处理，使得水下增强图像分辨率扩大为原先分辨率的两倍，获取增强超分辨率水下图像。
附图说明
[0037]图1是本专利技术基于深度学习的超分辨率水下图像增强方法的步骤流程图；
[0038]图2是本专利技术基于深度学习的超分辨率水下图像增强系统的结构框图；
[0039]图3是本专利技术改进生成对抗网络模型的生成器设计示意图；
[0040]图4是未使用本专利技术的水下图像与使用本专利技术改进生成对抗网络模型的水下图像结果示意图。
具体实施方式
[0041]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0042]参照图1，本专利技术提供了基于深度学习的超分辨率水下图像增强方法，该方法包括以下步骤：
[0043]S1、基于生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型；
[0044]具体地，结合生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型，所述生成对抗网络具体如下所示：
[0045][0046]上式中，G
*
表示生成对抗网络，G表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的超分辨率水下图像增强方法，其特征在于，包括以下步骤：基于生成对抗网络与深度残差乘法器，构建改进生成对抗网络模型；将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像。2.根据权利要求1所述基于深度学习的超分辨率水下图像增强方法，其特征在于，所述改进生成对抗网络模型还包括：上采样模块，包含五层卷积层，激活函数为Leaky
‑
ReLU函数，用于提取水下图像的特征；下采样模块，包含四层反卷积层，激活函数为Drop
‑
out函数，用于恢复水下图像的细节。3.根据权利要求2所述基于深度学习的超分辨率水下图像增强方法，其特征在于，所述生成对抗网络具体如下所示：上式中，G
*
表示生成对抗网络，G表示生成对抗网络的生成器，D表示生成对抗网络的判别器，α、λ1、λ
c
和λ2表示超参数，L1表示第一损失函数，L2表示第二损失函数，L
con
(G)表示图像内容指标损失函数，L
IQM
表示图像质量指标损失函数。4.根据权利要求3所述基于深度学习的超分辨率水下图像增强方法，其特征在于，所述将水下图像输入改进生成对抗网络模型进行训练，生成增强超分辨率水下图像这一步骤，其具体包括：通过水下机器人通过获取水下图像；基于改进生成对抗网络模型的生成对抗网络，通过增强算法损失函数对水下图像进行增强处理，得到增强水下图像；基于改进生成对抗网络模型的深度残差乘法器，通过超分辨率算法对增强水下图像进行插值处理，得到增强超分辨率水下图像。5.根据权利要求4所述基于深度学习的超分辨率水下图像增强方法，其特征在于，所述基于改进生成对抗网络模型的生成对抗网络，通过增强算法损失函数对水下图像进行增强处理，得到增强水下图像这一步骤，其具体包括：所述增强算法损失函数包括第一损失函...

【专利技术属性】
技术研发人员：刘家夫，王紫宸，王勇，邱周静子，
申请(专利权)人：中山大学，
类型：发明
国别省市：