一种基于融合对抗网络的水下图像复原方法技术

本发明专利技术提供一种基于融合对抗网络的水下图像复原方法，将所述清晰水下图像数据集作为真实的清晰域水下图像；将所述浑浊水下图像数据集作为真实的浑浊域水下图像；通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。本方法转换后的图像中景物的颜色更自然，对比度更鲜明，内容更清晰，此外，还对复原后的水下图像与其他方法得到的结构进行了对比，为水下视觉任务的进一步研究提供了基础。

【技术实现步骤摘要】
一种基于融合对抗网络的水下图像复原方法
本专利技术涉及水下计算机视觉
，特别涉及一种基于融合对抗网络的水下图像复原方法。
技术介绍
水下观测是我们探索海洋、开发利用水下资源的重要前提。许多水下装置可用于水下观测，然而水下原始图像的质量通常不足以被选择用于进一步的研究。由于水下光的吸收、散射和水质的影响，我们得到的水下图像普遍具有颜色失真，对比度低和噪声等缺点。目前，水下图像复原仍是一个具有挑战性的课题。为了解决水下图像复原的问题，一些传统方法不依赖于物理模型，通过调整图像的像素值，来提高图像的视觉质量，而其他的方法需要考虑水下光学成像的数学模型。传统的水下图像复原和增强方法需要考虑到各种因素，例如水下的一些固有属性，这使得这些水下图像复原方法难以实现。
技术实现思路
本专利技术提供一种基于融合对抗网络的水下图像复原方法，以解决现有的水下图像复原和增强方法复杂，且需要获取大量水下条件参数，以及水下图像复原效果差等技术问题。本专利技术的基于融合对抗网络的水下图像复原方法，将浑浊的水下图像转换为清晰的水下图像，使转换后的图像中景物的颜色更加自然，对比度更鲜明，内容更为清晰，此外，本专利技术还对复原后的水下图像进行了质量评价，为水下视觉任务的进一步研究提供了基础，例如水下图像质量会影响三维水下场景重建的结果，水下图像的真实颜色可以用来研究水下生物。一种基于融合对抗网络的水下图像复原方法，包括如下步骤：采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。进一步地，所述网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器，所述将所述真实的浑浊域水下图像转换为合成的清晰域水下图像的具体步骤为：将所述真实的浑浊域水下图像与其深度信息输入到所述的第一生成器，根据所述深度信息，采用不同大小的窗口对所述真实的浑浊域水下图像进行处理，得到合成的清晰域水下图像；将所述合成的清晰域水下图像输入所述第二生成器，所述第二生成器生成对应的合成的浑浊域水下图像；将所述合成的清晰域水下图像和真实的清晰水下图像输入到所述第一判别器，用以判别输入到所述第一判别器的图像的真假；同时将所述合成的浑浊域水下图像和真实的浑浊域水下图像输入到所述第二判别器，用以判别输入到所述第二判别器的图像的真假；通过损失函数优化所述网络模型，得到最终的合成的清晰水下图像。进一步地，所述网络模型还包括三个不同距离信息的滤波器，即第一滤波器、第二滤波器及第三滤波器，统计所述真实的浑浊域水下图像的透射率图的灰度值分布，并设置第一阈值和第二阈值，根据所述的第一阈值和所述的第二阈值将所述透射率图分为三个不同距离信息的滤波器图像，即第一距离滤波器图，第二距离滤波器图及第三距离滤波器图，应用所述三个不同距离信息的滤波器图像适应不同深度信息内容的复原。整个网络为生成对抗网络的损失，通过损失函数优化所述网络模型，得到被复原的浑浊水下图像。所述损失函数包括：在所述真实的浑浊域水下图像与所述合成的清晰域水下图像之间添加融合结构保持损失函数，用以保持所述真实的浑浊域水下图像转换为所述合成的清晰域水下图像的结构不变性，且不同距离信息的滤波器图适应不同深度信息内容的复原；在所述合成的浑浊域水下图像与所述真实的浑浊域水下图像之间添加循环一致性损失函数，用以使得所述合成的浑浊域水下图像与所述真实浑浊域水下图像趋于一致。作为一种优选的技术方案，所述融合结构保持损失函数具体为：其中，MSSIMn(p)＝∑nβnSSIMn(p)，式中，MSSIMn(p)为结构融合保持值，SSIMn(p)为结构保持值，X为浑浊水下图像复原成清晰水下图像的过程，G(x)为合成的清晰域水下图像，x为真实的浑浊域水下图像，为合成的清晰域水下图像，p为一幅图像块的中心像素，P为一幅图像的像素个数，n为不同距离信息的滤波器的个数，βn为不同结构保持损失函数计算出的值的权重，μx为x的均值，为的均值，σx为x的标准差，为的标准差，为x和的协方差，c1、c2为常数。本专利技术提供了一种基于融合对抗网络的水下图像复原方法，具有以下优点：设计了一种将暗通道先验算法和多层对抗神经网络相结合的水下图像自适应恢复系统，将浑浊的水下图像转换为清晰的水下图像，使转换后的图像中景物的颜色更加自然，对比度更鲜明，内容更为清晰，且提出了一种融合结构相似性损失函数，提高了图像复原性能，保证了输入图像和输出图像之间的内容和结构相似性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图来获得其他的附图。图1(a)为浑浊水下图像转换为清晰水下图像的流程图示意图；图1(b)为清晰水下图像转换为浑浊水下图像的流程图示意图；图2为融合对抗网络的水下图像复原方法流程图；图3为不同方法进行水下图像复原与增强结果对比图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是在本专利技术中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。实施例：本申请实施例为本申请的优选实施例。一种基于融合对抗网络的水下图像复原方法，利用不配对的浑浊水下图像和清晰水下图像(这里所说的不配对是指数张浑浊水下图像对应数张清晰水下图像，但是不需要它们之间满足图像结构内容以及数量一一对应的关系)，通过无监督深度学习方法将浑浊域水下图像复原为清晰域水下图像，并且复原得到的清晰水下图像颜色更加自然，对比度更强，内容更清晰，具体包括如下步骤：采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；需要说明的是，清晰的水下图像是指水本文档来自技高网...

【技术保护点】
1.一种基于融合对抗网络的水下图像复原方法，其特征在于，包括如下步骤：采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。

【技术特征摘要】
1.一种基于融合对抗网络的水下图像复原方法，其特征在于，包括如下步骤：采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。2.根据权利要求1所述的基于融合对抗网络的水下图像复原方法，其特征在于，所述网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器，所述将所述真实的浑浊域水下图像转换为合成的清晰域水下图像的具体步骤为：将所述真实的浑浊域水下图像与其深度信息输入到所述的第一生成器，根据所述深度信息，采用不同大小的窗口对所述真实的浑浊域水下图像进行处理，得到合成的清晰域水下图像；将所述合成的清晰域水下图像输入所述第二生成器，所述第二生成器生成对应的合成的浑浊域水下图像；将所述合成的清晰域水下图像和真实的清晰水下图像输入到所述第一判别器，用以判别输入到所述第一判别器的图像的真假；同时将所述合成的浑浊域水下图像和真实的浑浊域水下图像输入到所述第二判别器，用以判别输入到所述第二判别器的图像的真假；通过损失函数优化所述网络模型，得到最终的合成的清晰水下图像。3.根据权利要求1所述的基于融合对抗网络的水下图像复原方法，其特征在于，...

【专利技术属性】
技术研发人员：俞智斌，卢婧宇，郑海永，郑冰，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37