一种水下视频图像实时增强方法技术

本发明专利技术公开了图像处理技术领域的一种水下视频图像实时增强方法，无需任何先验知识和参数估计，具有较好的鲁棒性且能够满足实时性要求。包括：a、获取水下图像数据集；b、基于条件生成对抗网络（cGAN）构建多判别器分支的端到端图像实时增强模型（MPGAN）；c、利用获取的水下图像数据集训练MPGAN；d、将水下图像输入训练好的MPGAN，获得增强后的水下图像。将训练好的模型烧录到Jetson nano开发板上，对摄像头获取的水下场景进行实时增强。本发明专利技术提供了一种在Jetson nano平台上实现的、基于生成对抗网络的实时增强方法，具有低功耗、体积小且满足实时性要求等优点。

【技术实现步骤摘要】
一种水下视频图像实时增强方法
本专利技术属于图像处理
，具体涉及一种水下视频图像实时增强方法。
技术介绍
海洋蕴藏着丰富的资源，对海洋环境下的图像的深入研究有助于我国更有效率地对水下资源进行合理的开发，对我国的经济和军事的发展都有很重要的意义。由于悬浮的散射颗粒对光场的吸收和散射作用导致水下图像出现对比度低、颜色偏差和细节模糊等问题，传统水下增强算法依赖于先验知识以及特定场景的估计值，虽然能够获得质量较好的图像，但一旦场景发生变化效果就大大降低，且不能满足实时性要求。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种水下视频图像实时增强方法，无需任何先验知识和参数估计，具有较好的鲁棒性且能够满足实时性要求。为达到上述目的，本专利技术所采用的技术方案是：一种水下视频图像实时增强方法，包括：a、获取水下图像数据集；b、基于条件生成对抗网络(cGAN)构建多判别器分支的端到端图像实时增强模型(MPGAN)；c、利用获取的水下图像数据集训练MPGAN；d、将水下图像输入训练好的MPGAN，获得增强后的水下图像。进一步地，所述水下图像数据集中包含若干个设定规格的图像组，每个所述图像组包括一张地面真实图像y和一张与之对应的水下图像x。进一步地，在所述步骤b中，MPGAN包括一个生成网络和两个判别网络；生成网络采用u-net结构，在所述生成网络中，生成器在第i层和第n-i层的跳层连接加入步长为1、卷积核大小为3的卷积层，其输入是水下图像x；判别网络采用PatchGAN结构，在所述判别网络中，判别器包括判别器分支D1和判别器分支D2，判别器分支D1用作对抗分支，用于判断输入图像是否为水下图像，判别器分支D2用作加权红色通道补偿量判断，进一步提升生成器的增强效果。判别器的输入为生成器的输出G(x)和地面真实图像y。进一步地，所述判别器分支D1的损失函数为：其中，Lwgan(D1)表示判别器D1的损失函数，D1()表示判别器D1的输出，Ey[D1(y)]表示判别器D1输入训练真实数据y时的期望，Ex[D1(G(x))]表示判别器D1输入为生成器输出G(x)时的期望，λGP为此梯度惩罚项的权值，表示输入为时判别器D1梯度的二范数与常数1差值均方的期望，表示判别器输入为时的梯度，其中，表示生成器输出G(x)和地面真实图像y的成对点之间的样本，表示为：其中，α是0和1之间的一个随机数。进一步地，所述判别器分支D2的损失函数为：LcrD＝Ex[||D2(G(x))-Cr(G(x))||2]+Ey[||D2(y)-Cr(y)||2](6)LcrG＝Ex[||D2(G(x))||2](7)其中，LcrD表示判别器D2的损失函数，LcrG表示生成器的红色通道补偿损失函数，D2(G(x))表示判别器D2的输入为生成器输出G(x)时的输出，D2(y)表示判别器D2输入为训练真实数据y的输出，Cr(G(x))生成器输出G(x)的红色通道补偿量，Cr(y)表示训练真实数据y的红色通道补偿量。进一步地，MPGAN的目标函数为：其中，表示MPGAN网络的目标函数，Lwgan(G,D)表示本文采用的带有梯度惩罚项的WassersteinGAN的损失函数，LL1为增强像素级的相似度引入的L1损失,ωL1为LL1对应的权值；LVGG为VGG-19非线性映射后的损失，ωVGG为LVGG对应的权值；LcrG为加权红色通道补偿量损失，ωcr为LcrG对应的权值。一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行前述的水下视频图像实时增强方法。一种水下视频图像实时增强系统，包括图像采集装置、配置有前述计算机可读存储介质的图像处理装置和上位机，所述图像采集装置用于采集水下图像并传输至所述图像处理装置；所述图像处理装置用于实时增强所述图像采集装置采集到的水下图像，并传输至所述上位机；所述上位机用于实时显示增强后的水下图像，并对增强后的水下图像做进一步处理。与现有技术相比，本专利技术所达到的有益效果：(1)本专利技术基于条件生成对抗网络的图像增强模型，以成对的图像进行训练，由生成网络和判别网络的对抗训练，促使生成器学习产生更逼近真实数据的样本。最终在训练完成之后，仅使用生成网络即可完成端到端图像增强，无需任何先验知识和参数估计，具有较好的鲁棒性且能够满足实时性要求；(2)本专利技术基于水下光衰减率的红色通道加权补偿损失，促使生成器输出质量更高的图像；(3)将本专利技术中训练好的模型应用在Jetsonnano上，具有体积小、功耗低等优点，且能够满足水下图像实时增强，具有良好的应用价值。附图说明图1是本专利技术实施例提供的一种水下视频图像实时增强方法的流程示意图；图2是本专利技术实施例构建的多判别器分支的端到端图像实时增强模型(MPGAN)的生成器模型；图3是本专利技术实施例构建的多判别器分支的端到端图像实时增强模型(MPGAN)的判别器模型；图4是本专利技术实施例提供的一种水下视频图像实时增强系统的系统结构示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例一：如图1～图3所示，一种水下视频图像实时增强方法，包括：a、获取水下图像数据集；b、基于条件生成对抗网络(cGAN)构建多判别器分支的端到端图像实时增强模型(MPGAN)；c、利用获取的水下图像数据集训练MPGAN；d、将水下图像输入训练好的MPGAN，获得增强后的水下图像。(1)获取用于训练的水下图像数据集，并定义算法目标获取用于训练的水下图像数据集，该水下图像数据集包含3000组256×256×3的图像组，每个图像组包括一张地面真实图像y和一张与之对应的水下图像x，定义的算法目标为：输入水下图像x，要求生成与地面真实图像y相似的图像y′。(2)基于cGAN构建多判别器分支的端到端图像实时增强模型(MPGAN)MPGAN包括一个生成网络和两个判别网络；生成网络采用基于u-net思想的结构，在生成网络中，生成器在第i层和第n-i层的跳层连接加入步长为1、卷积核大小为3的卷积层，其输入是水下图像x；判别网络采用PatchGAN结构，在判别网络中，判别器包括判别器分支D1和判别器分支D2，判别器分支D1用作对抗分支，用于判断输入图像是否为水下图像，判别器分支D2用作加权红色通道补偿量判断，进一步提升生成器的增强效果。判别器的输入为生成器的输出G(x)和地面真实图像y。(3)根据水下失真图像特征为MPGAN设计加权目标函数判别器分支D1在与生成器G的联合作用下，其对抗损失形式如下：其中，Lwgan(D1)表示判别器D1的损失函数，D1()表示判别器D1的输出，Ey[D1(y)]表示判别本文档来自技高网...

【技术保护点】
1.一种水下视频图像实时增强方法，其特征是，包括：/na、获取水下图像数据集；/nb、基于条件生成对抗网络(cGAN)构建多判别器分支的端到端图像实时增强模型(MPGAN)；/nc、利用获取的水下图像数据集训练MPGAN；/nd、将水下图像输入训练好的MPGAN，获得增强后的水下图像。/n

【技术特征摘要】
1.一种水下视频图像实时增强方法，其特征是，包括：
a、获取水下图像数据集；
b、基于条件生成对抗网络(cGAN)构建多判别器分支的端到端图像实时增强模型(MPGAN)；
c、利用获取的水下图像数据集训练MPGAN；
d、将水下图像输入训练好的MPGAN，获得增强后的水下图像。


2.根据权利要求1所述的水下视频图像实时增强方法，其特征是，所述水下图像数据集中包含若干个设定规格的图像组，每个所述图像组包括一张地面真实图像y和一张与之对应的水下图像x。


3.根据权利要求1所述的水下视频图像实时增强方法，其特征是，在所述步骤b中，MPGAN包括一个生成网络和两个判别网络；
生成网络采用u-net结构，在所述生成网络中，生成器在第i层和第n-i层的跳层连接加入步长为1、卷积核大小为3的卷积层，其输入是水下图像x；
判别网络采用PatchGAN结构，在所述判别网络中，判别器包括判别器分支D1和判别器分支D2；判别器分支D1用作对抗分支，用于判断输入图像是否为水下图像，判别器分支D2用作加权红色通道补偿量判断，进一步提升生成器的增强效果；判别器的输入为生成器的输出G(x)和地面真实图像y。


4.根据权利要求3所述的水下视频图像实时增强方法，其特征是，所述判别器分支D1的损失函数为：



其中，Lwgan(D1)表示判别器D1的损失函数，D1()表示判别器D1的输出，Ey[D1(y)]表示判别器D1输入训练真实数据y时的期望，Ex[D1(G(x))]表示判别器D1输入为生成器输出G(x)时的期望，λGP为此梯度惩罚项的权值，表示输入为时判别器D1梯度的二范数与常数1差值均方的期望，表示判别器输入为时的梯度，其中，表示生成器输出G(x)和地面真实图像y的成对点之间的样本，表示为：



其中，α是0和1之间的一个随机数...

【专利技术属性】
技术研发人员：范新南，杨鑫，史朋飞，辛元雪，韩松，倪建军，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32