基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法技术

本发明专利技术提供了一种基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法，包括以下步骤：步骤1、搭建水下偏振成像系统，采集清水下的清晰偏振图像和浑浊水下的不清晰偏振图像；步骤2、对采集到的图像数据进行预处理并构建数据集；步骤3、将数据集分为训练集、验证集和测试集；步骤4、构建用于灰度偏振图像复原的深度神经网络；步骤5、设计该深度神经网络的损失函数；步骤6、用训练集训练深度神经网络模型；步骤7、用训练完成的深度神经网络模型进行图像复原。与现有技术相比，本发明专利技术能够在较高浓度浑浊水下恢复得到清晰的灰度图像，并且得到的图像质量更高。

【技术实现步骤摘要】
基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法
本专利技术涉及偏振成像探测
，特别涉及在水下环境中基于深度神经网络的灰度偏振图像的复原方法。
技术介绍
偏振成像技术在国防军事、工业生产等领域都有十分广泛的应用。然而，在水下成像的应用中，因为受到水中各种散射介质的影响，采集得到的图像的对比度会降低，图像质量严重下降。在水下环境中影响物体成像质量的最主要因素是介质反射和散射的光强，这部分光强是部分偏振光，因此可以利用偏振成像技术滤除这部分光强实现图像质量的提高。目前偏振成像技术已经被广泛应用于散射介质下图像的复原和增强，特别是实现了水下成像质量的大幅提升。然而，在高浑浊水下，现有偏振成像技术进行图像复原对图像质量提升有限，尤其是在高浑浊度的水下环境中，成像效果不佳，不能够很好地满足实际生产应用的要求。
技术实现思路
为了克服现有技术的不足，本专利技术提出了一种在水下环境中基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法，本专利技术将偏振成像技术与深度学习技术相结合，充分利用偏振图像的偏振信息用于图像复原，在较高浓度浑浊水下仍能显著地提高图像质量。本专利技术的技术方案一种基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法，该方法包括的具体实施步骤如下：步骤1、搭建水下偏振成像系统，采取主动线偏振光照明的方式，通过分焦平面偏振相机分别采集清水下的清晰偏振图像和浑浊水下的不清晰偏振图像。步骤2、构建数据集，具体方法为：分别对清水和浑浊水下采集得到的偏振图像拆分成偏振方向分别为0°，45°，90°，135°的四幅偏振子图；将浑浊水下的不清晰偏振图像拆分出的0°，45°，90°三幅偏振子图作为深度神经网络的输入；将清水下的清晰偏振图像拆分出的0°和90°两幅偏振子图相加所得到的清晰光强图作为深度神经网络的标签。步骤3、将步骤2中所构建的数据集分为训练集，验证集和测试集。步骤4、构建用于灰度偏振图像复原的深度神经网络，该深度神经网络包括浅层特征提取模块、残差-密集连接模块和特征融合模块，三个模块的具体特征为：浅层特征提取模块包括两层卷积层，两层卷积层上的卷积核大小均为3×3，卷积核的数量为64，通过卷积核提取输入偏振图像的浅层特征；残差-密集连接模块包括残差学习和密集连接，在每个残差-密集连接模块中，卷积层和作为激活函数的线性整流函数(RectifiedLinearUnit,ReLU)通过密集连接的方式进行特征组合，输出结果依次通过一个级联(concatenation)层和一个1×1卷积层，并通过局部残差连接。特征融合模块包括一个级联层、一个1×1卷积层和一个3×3卷积层；用于特征融合并输出预测的清晰光强图像。步骤5、设计该深度神经网络的损失函数l(Θ)，用于优化网络中的所有可训练参数Θ，损失函数如式(1)所示：其中，N表示每一次训练时所用的不清晰偏振图像和清晰偏振图像组成的训练样本对的总数。(x,y)是图像上各像素点的坐标位置，是通过可训练参数Θ所得到的第i幅预测图像，是与预测图像对应的清晰光强图像。步骤6、将步骤3中的训练集放到步骤4、5构建的深度神经网络中进行训练，并将验证集同步放入深度神经网络中进行效果验证，得到训练完成的深度神经网络训练模型。步骤7、将步骤3中的测试集放到步骤6中训练好的深度神经网络训练模型进行测试，输出光强的预测值，即最终的清晰图像复原结果。本专利技术的优点和有益效果：本专利技术公开一种基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法。与现有技术相比，本专利技术创新性地将深度学习技术应用于偏振水下成像，利用深度神经网络强大的自特征提取和学习能力以及卓越的非线性映射能力，实现基于采集所得的浑浊水下场景偏振信息复原清晰水下的场景图像。该方法的优点在于能够更好、更准确的利用偏振信息实现散射光的抑制和场景信号光的增强，因而能够在浑浊水下，更大幅度的提高图像质量，尤其对于高浑浊度的水下清晰图像复原，具有优越效果。附图说明图1为本专利技术基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法整体流程示意图；图2为本专利技术的一种在水下环境中偏振成像系统的实验装置示意图；附图标记：1、光源；2、水平偏振片，3、玻璃缸，4、清水或牛奶溶液(浑浊水)，5、实验样本，6、分焦平面偏振相机。图3为本专利技术中将采集到的偏振图像分为四幅偏振子图像示例图；图4为本专利技术构建的用于偏振图像复原的深度神经网络结构示意图；图5为本专利技术在浑浊水下灰度图像复原应用的效果图。具体实施方式下面将根据本方法的整体流程示意图及其他附图对本专利技术的实施方式作进一步的详细描述。基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法(整体流程见图1)，其详细步骤如下：步骤1、搭建水下偏振成像系统，采集清水下的清晰偏振图像和浑浊水下的不清晰偏振图像。如图2所示，通过在光源(1)前加一偏振方向为0°的水平偏振片(2)来提供主动式的线偏振光照明，玻璃缸(3)放置在照明系统和实验样本(5)之间，实验样本(5)紧贴玻璃缸，通过往玻璃缸里面加清水或牛奶溶液(4)分别可以得到清晰的实验样本场景和浑浊散射介质下的实验样本场景，并通过分焦平面偏振相机(6)采集同一样本在清水下的清晰偏振图像和浑浊水下的不清晰偏振图像，在本实施例中共采集140组偏振图像，包括140幅清晰偏振图像和140幅不清晰偏振图像，分辨率均为2048×2448。步骤2、构建数据集。对步骤1中采集到的偏振图像进行预处理，将原图像Iorig(x,y)根据像素点的位置(x,y)拆分成四幅偏振方向为别为0°，45°，90°，135°的偏振子图，记为I0(x,y),I45(x,y),I90(x,y),I135(x,y)其中，x,y分别表示像素点的横纵坐标，求取偏振子图公式如式(2)、(3)、(4)、(5)所示：I0(x,y)＝Iorig(2x,2y)(2)I45(x,y)＝Iorig(2x,2y-1)(3)I90(x,y)＝Iorig(2x-1,2y-1)(4)I135(x,y)＝Iorig(2x-1,2y)(5)因此偏振子图的横向纵向分辨率都只有原偏振图像的一半，其分辨率均为1024×1224，拆分示例图如图3所示，其中，图3(a)为采集到的偏振图像，图3(b)为0°偏振子图，图3(c)为45°偏振子图，图3(d)为90°偏振子图，图3(e)为135°偏振子图；将浑浊水下得到的0°，45°，90°三幅不清晰的偏振子图作为网络的输入，分别记为将清水下得到的0°和90°的两幅偏振子图记为并相加，得到清晰光强图像Igt(x,y)作为深度神经网络的标签，计算公式如式(6)所示：步骤3、将步骤2中构建数据集分为训练集、验证集和测试集。本实施例中，将140组数据集中的90组作为深度神经网络的训练集，25组作为验证集，25组作为测试集；并将本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法，其特征在于，该方法的步骤如下：/n步骤1、搭建水下偏振成像系统，采取主动线偏振光照明的方式，通过分焦平面偏振相机分别采集清水下的清晰偏振图像和浑浊水下的不清晰偏振图像；/n步骤2、构建数据集，具体方法为：分别对清水和浑浊水下采集得到的偏振图像拆分成偏振方向分别为0°，45°，90°，135°的四幅偏振子图；将浑浊水下的不清晰偏振图像拆分出的0°，45°，90°三幅偏振子图作为深度神经网络的输入；将清水下的清晰偏振图像拆分出的0°和90°两幅偏振子图相加所得到的清晰光强图作为深度神经网络的标签；/n步骤3、将步骤2中所构建的数据集分为训练集、验证集和测试集；/n步骤4、构建用于灰度偏振图像复原的深度神经网络，该深度神经网络包括浅层特征提取模块、残差-密集连接模块和特征融合模块，三个模块的具体特征为：/n浅层特征提取模块包括两层卷积层，两层卷积层上的卷积核大小均为3×3，卷积核的数量为64，通过卷积核提取输入偏振图像的浅层特征；/n残差-密集连接模块包括残差学习和密集连接，在每个残差-密集连接模块中，卷积层和作为激活函数的线性整流函数(RectifiedLinearUnit,ReLU)通过密集连接的方式进行特征组合，输出结果依次通过一个级联(concatenation)层和一个1×1卷积层，并通过局部残差连接；/n特征融合模块包括一个级联层、一个1×1卷积层和一个3×3卷积层；用于特征融合并输出预测的清晰光强图像；/n步骤5、设计该深度神经网络的损失函数l(Θ)，用于优化网络中的所有可训练参数Θ，损失函数如式(1)所示：/n...

【技术特征摘要】
1.一种基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法，其特征在于，该方法的步骤如下：
步骤1、搭建水下偏振成像系统，采取主动线偏振光照明的方式，通过分焦平面偏振相机分别采集清水下的清晰偏振图像和浑浊水下的不清晰偏振图像；
步骤2、构建数据集，具体方法为：分别对清水和浑浊水下采集得到的偏振图像拆分成偏振方向分别为0°，45°，90°，135°的四幅偏振子图；将浑浊水下的不清晰偏振图像拆分出的0°，45°，90°三幅偏振子图作为深度神经网络的输入；将清水下的清晰偏振图像拆分出的0°和90°两幅偏振子图相加所得到的清晰光强图作为深度神经网络的标签；
步骤3、将步骤2中所构建的数据集分为训练集、验证集和测试集；
步骤4、构建用于灰度偏振图像复原的深度神经网络，该深度神经网络包括浅层特征提取模块、残差-密集连接模块和特征融合模块，三个模块的具体特征为：
浅层特征提取模块包括两层卷积层，两层卷积层上的卷积核大小均为3×3，卷积核的数量为64，通过卷积核提取输入偏振图像的浅层特征；
残差-密集连接模块包括残差学习和密集连接，在每...

【专利技术属性】
技术研发人员：胡浩丰，张燕彬，刘铁根，李校博，林洋，程振洲，韩迎东，
申请(专利权)人：天津大学前沿技术研究院有限公司，
类型：发明
国别省市：天津;12