一种模拟水下可见光成像的生成对抗学习方法技术

本发明专利技术公开了一种模拟水下可见光成像的生成对抗学习方法，先建立水下成像模型，然后通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数，其中生成对抗网络由生成器G和判别器D组成，使生成器G最大化，使判别器D最大化；本发明专利技术提出的模拟水下可见光成像的生成对抗学习方法，采用了改进的水下成像模型与生成对抗网络相结合的方法，将未经水传播的RGB图像和对应的深度图、真实水下场景图像作为网络模型输入，利用对抗学习估计成像模型中的各种参数，输出合成图像，在不破坏图像结构的情况下模拟水下环境下可见光成像产生的色彩偏差和雾度效应。色彩偏差和雾度效应。色彩偏差和雾度效应。

【技术实现步骤摘要】
一种模拟水下可见光成像的生成对抗学习方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种模拟水下可见光成像的生成对抗学习方法，用于水下场景可见光计算成像和退化模拟。

技术介绍

[0002]水下成像模型是基于水介质对光的吸收和散射提出，成像模型里包含水下场景的透射图、大气环境光、不同波长光在水下场景的衰减系数、场景的景深图。为模拟水下环境下由于可见光的散射和衰减导致成像产生的色彩偏差和雾度效应，需要对水下成像模型中的参数进行合理设置。生成对抗网络是通过生成器和判别器进行博弈，输入网络的有噪声和真图，生成器根据输入噪声生成假图，欺骗判别器，判别器负责分辨是真图还是假图，通过博弈使生成器生成尽可能逼真的图像。
[0003]目前对水下场景计算成像和退化模拟方式主要有二种：一种是基于水下成像模型设置合理参数进行模拟，一种是基于生成对抗网络直接生成风格相似的图像。还有一种是基于水下成像模型的生成对抗网络。
[0004]基于水下成像模型依赖于合理的参数，而不同深度、光照、水质的水下环境参数各不相同，难以根据先验知识设置出各种水下环境的合理参数。基于生成对抗网络虽然可以根据给定的水下环境图像直接生成风格相似的图像，但脱离成像模型，生成的图像存在失真的情况。相比于另外两种方式，基于水下成像模型的生成对抗方法可以学习到合理参数且避免失真现象，是一种水下场景计算成像和退化模拟的可行方式。

技术实现思路

[0005]针对现有技术中基于水下成像模型难以估算合理参数、基于生成对抗网络存在失真现象的问题，本专利技术提供一种能合理估算水下成像模型参数的生成对抗方法，以模拟水下环境下可见光成像产生的色彩偏差和雾度效应，为图像增强/复原算法研究提供数据支撑。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种模拟水下可见光成像的生成对抗学习方法，包括如下步骤：
[0007](1)为模拟水中光衰减引起的颜色偏差和由于水杂质散射引起的雾度效应，受相关去雾方法的启发，建立改进的水下成像模型如下：
[0008]I(x)＝J(x)T(x)+AT(x)(1
‑
T'(x))
[0009]T(x)＝e
‑
β(λ)d(x)
，T'(x)＝e
‑
αd(x)
[0010]其中，J(x)是未通过水传播的初始辐照度，T(x)是场景的前向散射透射图，T'(x)是场景的背向散射透射图，A是场景的大气环境光，β是不同波长λ的光在水中的衰减系数，d(x)是场景景深，α是雾状效应系数；
[0011](2)根据上述理论，通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数；所述的生成对抗网络由生成器G和判别器D组成：生成器G输出合成图像，判别器D
以生成器G的合成图像及真实水下图像作为输入，生成器G的目标是通过判别器D将生成的图像分类为真；
[0012](3)为优化生成器G，寻求最大化：log(D(G(z)))，其中z表示生成器网络的输入，G(z)表示生成器网络的输出，即合成图像，D(G(z))表示将G(z)作为输入时判别器D的输出结果；
[0013](4)判别器D的目标是最大化分类精度，寻求最大化：log(D(x))+log(1
‑
D(G(z)))，其中，x表示真实水下图像。
[0014]所述的一种模拟水下可见光成像的生成对抗学习方法，生成器G可以划分为两个阶段，第一阶段模拟成像模型中的直接衰减项，第二阶段模拟成像模型中散射项。这确保图像和其深度图对齐，仅改变图像的像素强度而不会破坏图像的结构；生成器G将深度图作为网络输入之一，合成的图像在风格上尽量接近真实的水下图像，同时也模拟出更真实的雾度效应。
[0015]进一步，所述的直接衰减项是与距离相关的水下光衰减，将RGB图像和深度图作为生成器G的输入数据；使用公式D(x)＝J(x)T(x)对输入的RGB图像与透射图进行矩阵运算，得到光在水中直接衰减形成的降质RGB图像；使用公式T(x)＝e
‑
β(λ)d(x)
根据输入的深度图计算得到前向散射形成的透射图；其中，J(x)是输入的空中图像或未经过水传播的初始辐照度，T(x)是场景透射图，D(x)是生成器D模拟直接衰减项的输出，β是网络学习到的衰减系数，限制为大于0，λ表示RGB图像三个颜色通道，d(x)是场景景深。
[0016]进一步，所述的散射项中前向散射和后向散射在水下图像中产生特征性的雾霾效果；使用公式B(x)＝AT(x)[1
‑
T'(x)]计算得到由于水介质对光的前向散射及背向散射形成的RGB图像；使用公式T'(x)＝e
‑
αd(x)
根据输入的深度图计算得到背向散射形式的透射图；其中B(x)是散射到相机传感器中的光，A是网络估计的大气环境光，AT(x)是光在前向传播中散射的环境光，T'(x)是背向散射透射图，d(x)是场景景深，α是网络学习到的雾度效应系数。
[0017]更进一步，得到图像三个通道的散射图后，按RGB图像三个颜色通道连接在一起，得到降质RGB图像D(x)和RGB图像B(x)后，将两个阶段的结果线性相加得到生成器G最终输出的图像。在网络模型训练中，上述参数被随机初始化。
[0018]本专利技术的有益效果是：本专利技术提出的模拟水下可见光成像的生成对抗学习方法，采用了改进的水下成像模型与生成对抗网络相结合的方法，将未经水传播的RGB图像和对应的深度图、真实水下场景图像作为网络模型输入，利用对抗学习估计成像模型中的各种参数，输出合成图像，在不破坏图像结构的情况下模拟水下环境下可见光成像产生的色彩偏差和雾度效应。与当前方法相比，本专利技术能方便快捷估算出各种水下环境的合理参数，能避免破坏图像结构产生失真。
附图说明
[0019]图1是本专利技术生成对抗网络的结构图；
[0020]图2是本专利技术生成对抗网络的算法训练流程图。
具体实施方式
[0021]下面结合附图和具体实施例对本专利技术作进一步的说明。
[0022]图1所示为本专利技术提供的生成对抗学习方法的网络整体结构，本专利技术公开的一种模拟水下可见光成像的生成对抗学习方法，包括如下步骤：
[0023](1)为模拟水中光衰减引起的颜色偏差和由于水杂质散射引起的雾度效应，受相关去雾方法的启发，建立改进的水下成像模型：
[0024]I(x)＝J(x)T(x)+AT(x)(1
‑
T'(x))
[0025]T(x)＝e
‑
β(λ)d(x)
，T'(x)＝e
‑
αd(x)
[0026]其中，J(x)是未通过水传播的初始辐照度，T(x)是场景的前向散射透射图，T'(x)是场景的背向散射透射图，A是场景的大气环境光，β是不同波长λ的光在水中的衰减系数，d(x)是场景景深，α是雾状效应系数。
[0027](2)根据上述理论，通过生成对抗网络来实现水下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模拟水下可见光成像的生成对抗学习方法，其特征在于：包括如下步骤(1)建立水下成像模型：I(x)＝J(x)T(x)+AT(x)(1
‑
T'(x))T(x)＝e
‑
β(λ)d(x)
，T'(x)＝e
‑
αd(x)
其中，J(x)是未通过水传播的初始辐照度，T(x)是场景的前向散射透射图，T'(x)是场景的背向散射透射图，A是场景的大气环境光，β是不同波长λ的光在水中的衰减系数，d(x)是场景景深，α是雾状效应系数；(2)通过生成对抗网络来实现水下成像模型过程模拟并学习得到合理参数；所述的生成对抗网络由生成器G和判别器D组成：生成器G输入RGB图像和对应的深度图，生成器G输出合成图像，判别器D以合成图像及真实水下图像作为输入，输出为0/1，生成器G通过判别器D将生成的图像分类为真；(3)通过公式使生成器G最大化：log(D(G(z)))，其中z表示生成器网络的输入，G(z)表示生成器网络的输出，即合成图像，D(G(z))表示将G(z)作为输入时判别器D的输出结果；(4)通过公式使判别器D最大化：log(D(x))+log(1
‑
D(G(z)))，其中x表示真实水下图像。2.根据权利要求1所述的一种模拟水下可见光成像的生成对抗学习方法，其特征在于，所述的生成器G先模拟成像模型中直接衰减项，然后模拟成像模型中散射项；生成器G将深度图作为网络输入之一，合成风格上尽量接近真实水下图像的图像，同时也模拟出更真实的雾度效应。3.根据权利要...

【专利技术属性】
技术研发人员：王南，王晨晟，张智杰，李忠，徐寅，
申请(专利权)人：华中光电技术研究所中国船舶重工集团公司第七一七研究所，
类型：发明
国别省市：