水下图像质量恢复方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种水下图像质量恢复方法、装置、电子设备及存储介质，将目标水下图像输入图像生成器，得到目标水下图像的质量恢复图像；图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的循环生成对抗网络中的第一生成器得到的；循环生成对抗网络模型包括用于将水下图像映射为水上图像的第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分第一生成器输出水上图像与真实水上图像的第一判别器和用于区分第二生成器输出水下图像与真实水下图像的第二判别器，实现水下图像的高质量恢复。高质量恢复。高质量恢复。

【技术实现步骤摘要】
水下图像质量恢复方法、装置、电子设备及存储介质


[0001]本专利技术涉及计算机视觉领域，尤其涉及一种水下图像质量恢复方法、装置、电子设备及存储介质。

技术介绍

[0002]随着卷积神经网络(convolutional networks，CNN)与水下机器人技术的快速发展，水下视觉感知技术受到了广泛的关注，并逐渐在海洋探索、能源勘探、管道检修等水下作业任务中发挥无可替代的作用。然而，野外水域中的微生物、杂质微粒以及光学焦散现象都极大地影响了自然光在水下的传播，从而导致光的衰减、散射等退化现象。水下图像质量由此大幅下降，使目标检测、动态跟踪、实时定位与建图(Simultaneous Localization And Mapping，SLAM)等视觉感知任务的精度下降甚至失败，严重损害到水下机器人视觉系统的应用效果。
[0003]针对上述问题，水下图像质量恢复问题逐渐引起了科研人员的重视。图像质量恢复通常是基于模型的方法，即对图像质量下降的原因进行建模并实现重构，例如相机和物体相对运动、系统误差、噪声等。近年来，图像质量恢复方法主要分为传统图像处理方法和深度学习方法。传统的图像处理方法通常具有大量的像素统计与操作步骤，因此难以满足边缘计算平台的实时性要求，并且很难应对跨度较大的挑战性退化图像的恢复问题。

技术实现思路

[0004]本专利技术提供一种水下图像质量恢复方法、装置、电子设备及存储介质，用以解决现有技术中网络泛化低、水下图像恢复的质量低缺陷，实现水下图像的高质量恢复。
[0005]本专利技术提供一种水下图像质量恢复方法，包括：
[0006]将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0007]其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0008]所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0009]所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0010]本专利技术还提供一种水下图像质量恢复装置，包括：
[0011]图像恢复模块，用于将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；
[0012]其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；
[0013]所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；
[0014]所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。
[0015]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述水下图像质量恢复方法的步骤。
[0016]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述水下图像质量恢复方法的步骤。
[0017]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述水下图像质量恢复方法的步骤。
[0018]本专利技术提供的水下图像质量恢复方法、装置、电子设备及存储介质，基于循环生成对抗网络进行无监督训练得到的图像生成器，进行水下图像质量恢复，将目标水下图像输入图像生成器，得到目标水下图像的质量恢复图像，实现水下图像的高质量恢复。
附图说明
[0019]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术提供的水下图像质量恢复方法的流程示意图；
[0021]图2是本专利技术提供的图像生成器的结构示意图；
[0022]图3是本专利技术提供的水下退化图像质量恢复的流程示意图；
[0023]图4是本专利技术提供的将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像的流程示意图；
[0024]图5是本专利技术提供的训练得到所述图像生成器的流程示意图；
[0025]图6是本专利技术提供的循环生成对抗网络的结构示意图；
[0026]图7是本专利技术提供的水下图像质量恢复装置的结构示意图；
[0027]图8是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0028]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]相关技术中，深度学习方法采用了丰富的水下图像大数据实现神经网络训练，弥补了传统方法泛化性差的缺陷。根据监督信息的区别，深度学习方法可分为有监督和无监
督框架。Li和Wang针对水下图像缺乏匹配监督信息的问题，基于图像退化模型分别提出了WaterGAN和UWGAN算法，实现了水下图像恢复网络的监督训练。但是，上述监督学习框架的最终效果受限于人工生成的监督信息，在实现数据增强的同时也导致了效果瓶颈。Zhu采用循环生成对抗网络(Cycle Generative Adversarial Network,CycleGAN)，实现了无监督的图像质量恢复。然而，该方法仅考虑了图像质量的损失函数，没有参考任何图像的光学模型，恢复结果存在少量不合理区块。本专利技术针对水下图像退化问题，通过设计基于光学模型和数据驱动的无监督循环生成网络训练框架，实现水下图像高质量的恢复工作。
[0030]下面结合图1
‑
图6描述本专利技术的水下图像质量恢复方法。
[0031]如图1所示，该方法包括：
[0032]步骤100、将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像。
[0033]可选地，目标水下图像可以是智能水下机器人在执行感知任务过程中实时获取的图像。
[0034]此外，根据水下感知任务实时性要求，水下机器人的控制频率通常不低于5Hz，即基于视觉系统的控制器的输出频率要高于5Hz。
[0035]其中，所述图像生成器是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水下图像质量恢复方法，其特征在于，包括：将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像；其中，所述图像生成器是基于训练图像样本、预设收敛条件对循环生成对抗网络模型进行训练，并根据训练完成时的所述循环生成对抗网络中的第一生成器得到的；所述训练图像样本中包括多个图像对，每个所述图像对中包括水上图像和水下图像；所述循环生成对抗网络模型包括用于将水下图像映射为水上图像的所述第一生成器、用于将水上图像映射为水下图像的第二生成器、用于区分所述第一生成器输出水上图像与真实水上图像的第一判别器和用于区分所述第二生成器输出水下图像与真实水下图像的第二判别器。2.根据权利要求1所述的水下图像质量恢复方法，其特征在于，所述图像生成器中包括场景深度生成网络、衰减因子及散射因子编码器、环境光总量编码器和光学恢复模型；所述将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像包括：将所述目标水下图像输入所述场景深度生成网络，得到单通道的场景深度图，将所述目标水下图像输入所述环境光总量编码器，得到三通道的环境光总量估计值；将所述目标水下图像和所述场景深度图拼接为一个特征图，将所述特征图输入所述衰减因子及散射因子编码器得到三通道的衰减因子向量和三通道的散射因子向量；基于所述目标水上图像、所述场景深度图、所述环境光总量估计值、所述衰减因子向量、所述散射因子向量和所述光学恢复模型，得到所述目标水下图像的质量恢复图像。3.根据权利要求2所述的水下图像质量恢复方法，其特征在于，所述光学恢复模型包括：其中，J
c
是I
c
映射后的水上图像，I
c
是水下图像，f
D
是衰减参数，是衰减因子向量，z是场景深度图，是环境光总量估计值，f
B
是散射参数，是散射因子向量。4.根据权利要求1所述的水下图像质量恢复方法，其特征在于，所述场景深度生成网络包括2个下采样层和6个残差块，所述环境光总量编码器包括8个卷积层和ReLU激活函数层，所述衰减因子及散射因子编码器包括7个卷积层和LeakyReLU激活函数层。5.根据权利要求1
‑
4任一项所述的水下图像质量恢复方法，其特征在于，在所述将目标水下图像输入图像生成器，得到所述目标水下图像的质量恢复图像之前，所述方法还包括：将所述训练图像样本中的目标图像对中的水下图像输入至所述第一生成器，输出水上映射图像，将所述水上映射图像输入至所述第二生成器，输出水下重构图像，将目标图像对中的水上图像输入至所述第二生成器，输出水下映射图像，将所述水下映射图像输入至所述第一生成器，输出水上重构图像；基于所述水上映射图像、所述水下重构图像、所述水下映射图像、所述水上重构图像确定生成网络损失和判别网络损失是否满足预设收敛条件；在所述生成网络损失或判别网络损失不满足预设收敛条件的情况下，调整所述循环生成对抗网络模型参数，继续对所述循环生成对抗网络模型进行训练；或者，
在所...

【专利技术属性】
技术研发人员：吴正兴，闫帅铮，王健，喻俊志，谭民，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：