基于注意力机制的偏振图像去噪方法技术

本发明专利技术公开了一种基于注意力机制的分焦平面偏振图像去噪方法，步骤1，使用偏振相机采集偏振图像，制作数据集；步骤2，搭建注意力机制残差密集网络，并设计自适应调节的偏振损失函数；步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。与现有技术相比，本发明专利技术能够提高图像去噪质量；适用于不同偏振成像体制和不同类别偏振信息成像方式。同偏振成像体制和不同类别偏振信息成像方式。同偏振成像体制和不同类别偏振信息成像方式。

【技术实现步骤摘要】
基于注意力机制的偏振图像去噪方法


[0001]本专利技术涉及偏振成像
，特别涉及一种基于深度学习的偏振图像去噪方法。

技术介绍

[0002]偏振成像技术利用光的偏振特性，可有效解决目标探测和识别等领域在传统光学里无法解决的问题，弥补探测效果因受环境制约、效果较差的不足，进而取得较高的对比度和良好的探测效果。但是偏振图像对噪声较为敏感，如果在微弱光照或者短曝光时间的条件下采集图像，过高的噪声就会显著影响偏振信息重构的准确性。因此针对偏振成像的去噪技术具有重要意义和重要应用价值。
[0003]目前的偏振图像去噪方法主要有数据驱动型和非数据驱动型两种去噪方法。效果最好的非数据驱动型去噪方法是基于三维相似块匹配的方法。但是偏振图像像素之间具有物理相关性，如果直接将普通数字图像的去噪方法应用于偏振图像，将会无法充分利用偏振信息，另外对于低信噪比的图片，非数据驱动方法也无法较好的去噪，而且此类去噪算法有诸多参数需要先验知识来确定，很难获得算法的最优解。基于深度学习的数据驱动的方法已经成功应用于多种去噪任务，而且效果大都强于传统方法，但是该方法普遍采用高斯噪声人为加入到无噪声图像里的合成图像作为数据集，然而真实的环境噪声分布更加复杂，仅通过高斯噪声模拟真实的噪声会导致算法在真实噪声场景受限。

技术实现思路

[0004]本专利技术旨在解决偏振图像偏振信息受噪声影响难以提取的问题，提出一种基于注意力机制的偏振图像去噪方法，利用所构建的注意力机制残差密集网络实现偏振图像去噪，并用自适应偏振损失函数对模型加以约束，来实现对噪声图像中的目标偏振信息进行准确恢复，尤其适用于对于低信噪比偏振图像的去噪。
[0005]本专利技术利用以下的技术方案实现：
[0006]一种基于注意力机制的分焦平面偏振图像去噪方法，该方法包括以下流程：
[0007]步骤1，使用偏振相机采集偏振图像，制作数据集；对数据集进行预处理；
[0008]步骤2，搭建注意力机制残差密集网络，并设计自适应调节的偏振损失函数，
[0009]所述注意力机制残差密集网络模型包括设置于输入端、输出端之间的第一卷积层、第一卷积层、多个残差
‑
密集连接模块、concat层、1
×
1卷积层和第三卷积层依序密集连接，所述第一卷积层、第一卷积层、多个残差
‑
密集连接模块、concat层分别连接一个注意力机制模块；将第一卷积层、第一卷积层、多个残差
‑
密集连接模块、concat层、1
×
1卷积层、第三卷积层和多个注意力机制模块分别经过通道混洗，配置成浅层特征提取模块、注意力机制残差
‑
密集模块以及特征融合模块；并且，在浅层特征提取模块的第一卷积层和特征融合Concat层之间设置短路连接的全局残差学习模块；
[0010]步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特
征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；
[0011]步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。
[0012]与现有技术相比，本专利技术公开一种基于注意力机制深度神经网络的偏振图像去噪方法，能够达成以下有益技术效果：
[0013]1、创新地实现了基于注意力机制残差密集网络结构，利用注意力机制将神经网络的注意力分配在更有效的特征层级上，提高了网络的效率；利用注意力机制将训练过程中得到的大量特征图进行筛选，过滤无效特征，提高图像去噪质量；
[0014]2、通过设计出一种用于深度学习卷积神经网络的自适应偏振损失函数，在训练中自适应动态调节权重，通过加入偏振损失，有效的利用偏振图像中的偏振相关性，从而在去噪的同时还能恢复偏振信息；
[0015]3、本专利技术适用于不同偏振成像体制(分振幅、分焦平面等)和不同类别偏振信息成像方式(Stokes，Mueller等)。
附图说明
[0016]图1为本专利技术的基于注意力机制的偏振图像去噪方法整体流程图；
[0017]图2为本专利技术的基于注意力机制的偏振图像去噪方法具体实施例过程图；
[0018]图3为注意力机制残差密集网络结构示意图；
[0019]图4为注意力机制模块工作过程示意图；
[0020]图5为去噪效果及偏振信息恢复效果示意图。
具体实施方式
[0021]以下结合附图和具体实施例对本专利技术的技术方案进行详细说明。
[0022]如图1所示，为本专利技术的一种基于注意力机制的分焦平面偏振图像去噪方法整体流程图。具体包括以下流程：
[0023]步骤1，使用偏振相机采集偏振图像，制作数据集；对数据集进行预处理，将数据集按比例划分为训练集、测试集、验证集以用于网络训练；
[0024]步骤2，搭建注意力机制残差密集网络，并设计参数自适应调节的偏振损失函数，所述偏振损失函数用起到了强化偏振信息在训练中的引导作用以及强化网络对偏振信息的恢复；
[0025]步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；
[0026]步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。
[0027]如图2所示，为注意力机制残差密集网络结构示意图。如图3所示，为注意力机制模块工作过程示意图。结合图2、图3对本专利技术具体实施例进行详细描述如下：
[0028]步骤1，制作偏振图像数据集：
[0029]步骤1.1，构建图像数据集：使用偏振相机进行图像采集，调节分焦平面相机的感光度和曝光时间，在高感光度和短曝光时间条件下采集的图像作为高噪声图像，作为输入；在低感光度和长曝光时间条件下采集的多张图片的平均作为低噪声图像，作为标签。特别是，在采集噪声图像和无噪图像对的时候需要同时调节感光度和曝光时间使噪声图像和标签图像的光强值基本保持一致；
[0030]构成上述图像数据集的图片均在真实环境下拍摄，通过设置相机不同增益、曝光时间获取不同信噪比的图像；
[0031]步骤1.2，进行数据预处理，先将采集的高噪声图像和低噪图像进行亮度标定，通过计算图像平均灰度值的方法使数据集中每张图片平均亮度一致，然后将图像的像素值归一化，再把每一张偏振图像(包括高噪声的和无噪声的)转换为四个偏振方向的四通道图像，最后将噪声图像和无噪图像都裁剪为64
×
64大小的图像块，作为神经网络的输入；
[0032]以基于分焦平面偏振图像的Stokes矢量为例，假设在输入图像的每个通道中，噪声图像无噪图像I
θ
和噪声n本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的分焦平面偏振图像去噪方法，其特征在于，该方法包括以下流程：步骤1，使用偏振相机采集偏振图像，制作数据集；对数据集进行预处理；步骤2，搭建注意力机制残差密集网络，并设计自适应调节的偏振损失函数，所述注意力机制残差密集网络模型包括设置于输入端、输出端之间的第一卷积层、第一卷积层、多个残差
‑
密集连接模块、特征融合concat层、1
×
1卷积层和第三卷积层依序密集连接，所述第一卷积层、第一卷积层、多个残差
‑
密集连接模块、特征融合concat层分别连接一个注意力机制模块；将第一卷积层、第一卷积层、多个残差
‑
密集连接模块、特征融合concat层、1
×
1卷积层、第三卷积层和多个注意力机制模块分别经过通道混洗，配置成浅层特征提取模块、注意力机制残差
‑
密集模块以及特征融合模块；并且，在浅层特征提取模块的第一卷积层和特征融合Concat层之间设置短路连接的全局残差学习模块；步骤3、将数据集输入注意力机制残差密集网络进行网络的训练：首先使用浅层特征提取模块对偏振分量进行初步融合，并使用注意力机制对浅层特征进行加权赋值；然后通过注意力机制残差密集连接模块充分融合图像的不同特征，并对不同深度的特征图进行筛选，最后经过全局残差模块输出残差图像；步骤4，利用输入的噪声图像和残差图得到预测的无噪声图像。2.如权利要求1所述的基于注意力机制的分焦平面偏振图像去噪方法，其特征在于，所述步骤1中的制作数据集，具体包括以下处理：使用偏振相机进行图像采集，调节分焦平面相机的感光度和曝光时间，在高感光度和短曝光时间条件下采集的图像作为高噪声图像，作为输入；在低感光度和长曝光时间条件下采集的多张图片的平均作为低噪声图像，作为标签。3.如权利要求1所述的基于注意力机制的分焦平面偏振图像去噪方法，其特征在于，所述步骤1中的对数据集进行预处理，具体包括以下处理：先将采集的高噪声图像和低噪图像进行亮度标定，通过计算图像平均灰度值的方法使数据集中每张图片平均亮度一致，然后将图像的像素值归一化，再把每一张偏振图像转换为四个偏振方向的四通道图像，最后将噪声图像和无噪图像都裁剪为64
×
64大小的图像块，作为神经网络的输入；最后，将数据集按照6:2:2的比例拆分为训练集、验证集和测试集。4.如权利要求1所述的基于注意力机制的分焦平面偏振图像去噪方法，其特征在于，配置浅层特征提取模块10；具体地，所述浅层特征提取模块包括两层卷积层即第一卷积层、第二卷积层以及对应设置的三个注意力机制模块，第一卷积层的卷积核大小为3
×
3，卷积核数量为64，第二卷积层的卷积核大小为3
×
3，卷积核数量为32，其中每一层后都设置有注意力机制进行特征筛选。5.如权利要求1所述的基于注意力机制的分焦平面偏振图像去噪方法，其特征在于，配置注意力机制模块：注意力机制模块由平均池化层和一个全连接网络组成，具体地，所述平均池化层对输入的噪声图片的特征图做全局平均池化，将特征图打平为一维向量；然后输入全连接网...

【专利技术属性】
技术研发人员：胡浩丰，刘贺东，程振洲，翟京生，徐德刚，刘铁根，
申请(专利权)人：天津大学，
类型：发明
国别省市：