一种基于三维卷积神经网络的彩色偏振图像的去噪方法技术

本发明专利技术公开一种基于三维卷积神经网络的彩色偏振图像的去噪方法，该方法包括：基于彩色偏振相机采集的高噪声与低噪声彩色偏振图像数据集，并对数据集预处理；基于残差密集构架的三维卷积神经网络结构设计，网络输入为五维张量格式的低信噪比彩色偏振图，输出为高信噪比五维张量彩色偏振图；基于物理约束的彩色偏振损失函数设计。该方法利用了三维卷积的高维特性，能够同时对像素长、像素宽、偏振以及颜色通道四个维度进行协同特征提取与融合，不仅能高效去除彩色偏振图像中的噪声，从噪声图像中准确恢复目标的偏振信息，而且对于彩色图像的色偏、色差问题也能进行校正，利于提升彩色偏振成像技术在的实际噪声环境下的成像质量。偏振成像技术在的实际噪声环境下的成像质量。偏振成像技术在的实际噪声环境下的成像质量。

【技术实现步骤摘要】
一种基于三维卷积神经网络的彩色偏振图像的去噪方法


[0001]本专利技术涉及偏振成像
，特别涉及一种基于三维卷积神经网络的深度学习彩色偏振图像去噪方法。

技术介绍

[0002]彩色偏振成像技术兼具光谱和偏振两种特性，能够获得较灰度偏振图像更精细、更丰富的红绿蓝三波段偏振信息。彩色偏振成像对目标与背景在光谱特性和偏振特性的差异具有敏感性，综合利用偏振信息及其在不同波长下的差异进行探测识别，将显著提高光电成像系统对目标的探测识别能力。因此，彩色偏振成像在抗雾霾、烟尘、复杂背景等恶劣环境下探测隐身、伪装、虚假目标等方面具有潜在的应用价值。然而在实际应用中，噪声会对彩色偏振成像带来较大干扰，导致偏振信息被淹没在噪声中，另外，噪声还会导致颜色失真，从而影响成像效果。因此，需要一种有效的彩色偏振图像去噪方法。
[0003]现有的图像去噪技术主要有数据驱动和非数据驱动两类。就去噪效果而言，最优的非数据驱动方法是基于颜色空间变换的三维相似块匹配方法。但是偏振图像像素之间具有物理相关性，如果直接将普通数字图像的去噪方法应用于偏振图像，将会无法充分利用偏振信息，另外对于低信噪比的图片，非数据驱动方法也无法较好的去噪，而且此类去噪算法有诸多参数需要先验知识来确定，很难获得算法的最优解。基于数据驱动的深度学习的方法在去噪效果上是优于其他方法的，但是该方法依赖于数据集，而当前普遍采用高斯噪声人为加入到无噪声图像里的合成图像作为数据集，然而真实的环境噪声分布更加复杂，仅通过高斯噪声模拟真实的噪声会导致算法在真实噪声场景受限。/>
技术实现思路

[0004]本专利技术的目的是为了克服现有技术中的不足，解决彩色偏振图像受噪声影响难以提取彩色偏振信息的问题，提供一种基于三维卷积神经网络的彩色偏振图像的去噪方法。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种基于三维卷积神经网络的彩色偏振图像的去噪方法，包括以下步骤：
[0007]S1.建立由四维彩色偏振图像构成的数据集，所述数据集的数据样本均在真实环境下使用彩色偏振相机拍摄所得，数据集中配对的不同信噪比的四维彩色偏振图像通过调整相机的曝光时间以及增益获取；
[0008]S2.对数据集进行预处理，首先使用数据增强方法扩增数据集，然后将四维彩色偏振图像转化为五维张量格式，最后按规定比例随机划分数据集为训练集、验证集和测试集，用来训练、调试和检验三维卷积神经网络性能；
[0009]S3.构建基于残差密集架构的三维卷积神经网络；三维卷积神经网络包括浅层特征提取模块、密集特征融合模块和深度特征融合模块，且每个模块中的卷积层均为三维卷积层，能够同时提取像素高度、像素宽度、偏振维度和彩色维度的信息，以获取三维特征图；
[0010]S4.将数据集输入所述三维卷积神经网络进行训练，并采用基于偏振信息约束的
彩色偏振损失函数进行优化，引导三维卷积神经网络均衡的学习像素信息、偏振信息、彩色信息；
[0011]S5.使用训练、调试完毕的三维卷积神经网络对测试集进行测试，从三维卷积神经网络的输出层得到五维张量格式的去除噪声后的彩色偏振图像，利用彩色偏振图像之间的偏振特性将五维张量格式的彩色偏振图像降维，得到彩色光强图像、彩色偏振度图像与彩色偏振角图像。
[0012]进一步的，步骤S1中，所述数据集中的四维彩色偏振图像包括像素高、像素宽、彩色和偏振四个维度，按顺序表示为H
×
W
×
(R,G,B)
×
(0
°
,45
°
,90
°
,135
°
)；数据集中的四维彩色偏振图像按照高信噪比
‑
低信噪比相互配对，配对的不同信噪比的四维彩色偏振图像通过相机在真实环境下拍摄所得，真实环境包括室内与室外非数字环境；通过设置相机长曝光时间与低增益能够获得高信噪比图像，设置相机短曝光时间与高增益能够获得低信噪比图像。
[0013]进一步的，步骤S2中，使用裁剪、旋转、翻转的方法将数据集进行扩增，五维张量格式中的五维分别为：批维度、偏振维度、图像高度、图像宽度、彩色维度，其中批维度表示批数据处理的大小，偏振维度表示不同的偏振角度分量，图像高度表示图像像素高度，图像宽度表示图像像素宽度，彩色维度表示特征图通道。
[0014]进一步的，步骤S3中，浅层特征提取模块使用顺序排列的三维卷积层来提取浅层的偏振特征；密集特征融合模块使用顺序堆叠的残差密集模块来融合特征，该模块主要由三维卷积层的残差连接和密集连接组成，还包括三维合并层、三维瓶颈层以及局部残差连接；深度特征融合模块使用三维卷积层、三维合并层、三维瓶颈层以及全局残差连接进行特征的深度融合。
[0015]进一步的，步骤S4中，损失函数包括光强损失、色彩损失和偏振损失，分别约束三维卷积神经网络训练中的光强、色彩、偏振信息；光强损失计算了三维卷积神经网络的输出图像与真值图像之间的均方误差，色彩损失计算了三维卷积神经网络的输出图像光强分量与真值图像光强分量之间的均方误差，偏振损失计算了三维卷积神经网络的输出图像与真值图像之间的偏振角与偏振度分量的均方误差；各损失函数通过自适应权重随着训练过程动态调节比例。
[0016]进一步的，所述三维卷积层的卷积核为形状为3
×3×
3像素的立方体，卷积时，卷积核用于对五维张量格式的数据在像素高度、像素宽度和偏振维度进行卷积，然后计算生成三维特征图，最后将特征图置于彩色维度中；每个三维卷积层后设有激活函数层；
[0017]所述浅层特征提取模块包括两层三维卷积层，第一层卷积层的卷积核大小为3
×3×
3，卷积核通道数为64，第二层卷积层的卷积核大小为3
×3×
3，卷积核通道数为32，第一层和第二层三维卷积之间有一个直接连接到三维卷积神经网络输出层的全局残差连接，用于优化网络训练过程，防止梯度爆炸。
[0018]密集特征融合模块配置有十个三维卷积残差密集模块，所述三维卷积残差密集模块由六个三维卷积层、一个三维合并层、一个三维瓶颈层组成，每一层三维卷积层都能够产生三维特征图，各三维卷积层之间采用密集连接；各三维卷积残差密集模块之间采用局部残差连接；
[0019]深度特征融合模块中，三维合并层获取密集特征融合模块的所有输出特征图并在
彩色维度上进行合并；三维瓶颈层能够收缩彩色维度的通道数，将三维合并层得到的三维特征图融合；深度特征融合模块的三维卷积层进一步对融合之后的结果进行特征提取，得到最终的输出。
[0020]本专利技术还提供一种基于三维卷积神经网络的彩色偏振图像的去噪装置，包括：
[0021]数据采集单元，用于通过相机获取四维彩色偏振图像，以构建数据集；
[0022]预处理单元，用于对数据集进行预处理并将数据集中图像转化为五维张量格式；
[0023]神经网络单元，用于得到去噪的输出图像。
[0024]本专利技术还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维卷积神经网络的彩色偏振图像的去噪方法，其特征在于，包括以下步骤：S1.建立由四维彩色偏振图像构成的数据集，所述数据集的数据样本均在真实环境下使用彩色偏振相机拍摄所得，数据集中配对的不同信噪比的四维彩色偏振图像通过调整相机的曝光时间以及增益获取；S2.对数据集进行预处理，首先使用数据增强方法扩增数据集，然后将四维彩色偏振图像转化为五维张量格式，最后按规定比例随机划分数据集为训练集、验证集和测试集，用来训练、调试和检验三维卷积神经网络性能；S3.构建基于残差密集架构的三维卷积神经网络；三维卷积神经网络包括浅层特征提取模块、密集特征融合模块和深度特征融合模块，且每个模块中的卷积层均为三维卷积层，能够同时提取像素高度、像素宽度、偏振维度和彩色维度的信息，以获取三维特征图；S4.将数据集输入所述三维卷积神经网络进行训练，并采用基于偏振信息约束的彩色偏振损失函数进行优化，引导三维卷积神经网络均衡的学习像素信息、偏振信息、彩色信息；S5.使用训练、调试完毕的三维卷积神经网络对测试集进行测试，从三维卷积神经网络的输出层得到五维张量格式的去除噪声后的彩色偏振图像，利用彩色偏振图像之间的偏振特性将五维张量格式的彩色偏振图像降维，得到彩色光强图像、彩色偏振度图像与彩色偏振角图像。2.根据权利要求1所述的基于三维卷积神经网络的彩色偏振图像的去噪方法，其特征在于，步骤S1中，所述数据集中的四维彩色偏振图像包括像素高、像素宽、彩色和偏振四个维度，按顺序表示为H
×
W
×
(R,G,B)
×
(0
°
,45
°
,90
°
,135
°
)；数据集中的四维彩色偏振图像按照高信噪比
‑
低信噪比相互配对，配对的不同信噪比的四维彩色偏振图像通过相机在真实环境下拍摄所得，真实环境包括室内与室外非数字环境；通过设置相机长曝光时间与低增益能够获得高信噪比图像，设置相机短曝光时间与高增益能够获得低信噪比图像。3.根据权利要求1所述的基于三维卷积神经网络的彩色偏振图像的去噪方法，其特征在于，步骤S2中，使用裁剪、旋转、翻转的方法将数据集进行扩增，五维张量格式中的五维分别为：批维度、偏振维度、图像高度、图像宽度、彩色维度，其中批维度表示批数据处理的大小，偏振维度表示不同的偏振角度分量，图像高度表示图像像素高度，图像宽度表示图像像素宽度，彩色维度表示特征图通道。4.根据权利要求1所述的基于三维卷积神经网络的彩色偏振图像的去噪方法，其特征在于，步骤S3中，浅层特征提取模块使用顺序排列的三维卷积层来提取浅层的偏振特征；密集特征融合模块使用顺序堆叠的残差密集模块来融合特征，该模块主要由三维卷积层的残差连接和密集连接组成，还包括三维合并层、三维瓶颈层以及局部残差连接；深度特征融合模块使用三维合并层、三维瓶颈层、三维卷积层以及全局残差连接进行特征的深度融合。5.根据权利要求1所述的基于三维卷积神经网络的彩色偏振图像的去噪方法，其特征在于，步骤S4中，损...

【专利技术属性】
技术研发人员：胡浩丰，刘贺东，李校博，翟京生，程振洲，
申请(专利权)人：天津大学，
类型：发明
国别省市：