基于迁移学习的偏振图像去噪方法技术

本发明专利技术公开了一种基于迁移学习的偏振图像去噪方法，可实现数据集较少情况下的深度学习偏振图像去噪。包括：1)使用大规模彩色噪声图像数据集训练一个卷积神经网络学习彩色图像的噪声分布，将训练好的参数传递给偏振图像去噪网络；2)使用少量的偏振噪声图像数据集训练该网络，使网络针对偏振噪声图像进行微调，并使用自适应偏振三通道损失函数引导网络输出噪声图像与无噪声图像的残差图；3)通过残差连接获得高信噪比的图像。该方法结合卷积神经网络和迁移学习，构建了基于小数据集的深度学习偏振图像去噪模型，并使用自适应三偏振通道损失函数对模型加以约束，实现小样本条件下对偏振图像噪声的有效去除，尤其在低信噪比情况下去噪效果显著。下去噪效果显著。下去噪效果显著。

【技术实现步骤摘要】
基于迁移学习的偏振图像去噪方法


[0001]本专利技术涉及偏振成像
，特别涉及一种在小样本下基于迁移学习的深度学习偏振图像去噪方法。

技术介绍

[0002]偏振成像技术通过光的偏振特性获取目标场景的偏振信息并由此实现多尺度的目标探测和识别。但是在非理想环境，特别是在弱光照或者低曝光时间的条件下采集图像，将会降低图像信噪比，而偏振度、偏振角的计算对噪声极为敏感，因此过高的噪声会影响偏振信息重构的准确性，使得图像信息淹没在噪声中。就图像去噪质量而言，目前效果最好的非数据驱动型方法是基于三维相似块匹配的方法。但是偏振图像各个通道之间具有物理相关性，如果直接将传统数字图像的去噪方法应用于偏振图像，将会显著丢失偏振信息。如今深度学习技术已经应用于多个图像复原领域，包括图像去噪领域。但深度学习依赖于大量的数据集，而且为了保证网络的普适性，需要不同场景、不同噪声水平的偏振图像数据集。而偏振噪声图像数据集的获取对于设备、环境有着较高的要求，数据获取成本高，难以大量获取，而获取多组不同场景、不同噪声水平的偏振噪声图像大规模数据更是难以实现，因此小样本下的深度学习偏振图像去噪技术具有重要意义。

技术实现思路

[0003]本专利技术旨在解决数据集较少情况下使用深度学习实现偏振图像去噪的问题，提供一种基于迁移学习的偏振图像去噪方法。
[0004]本专利技术提供的基于迁移学习的偏振图像去噪方法，使用大规模的彩色噪声图像数据集预训练卷积神经网络，并通过参数迁移和参数固定的方法使网络在小样本下实现偏振图像去噪，包括以下步骤：
[0005]1)使用大规模的彩色噪声图像数据集作为源领域数据集；使用少量的偏振噪声图像数据集作为目标领域数据集；
[0006]2)对源领域的彩色噪声图像数据集和目标领域的偏振噪声图像数据集进行预处理，并将数据集划分为训练集、测试集、验证集以用于网络训练；
[0007]所述数据集预处理是对偏振噪声图像和彩色噪声图像的亮度进行统一，通过计算图像平均亮度的方法让数据集的图片亮度一致，然后对图像像素进行归一化；对于彩色噪声图像，转化为RGB三通道图作为输入；对于偏振噪声图像，选取三个偏振角度合成三通道偏振噪声图像作为神经网络的输入；
[0008]3)搭建彩色图像去噪网络和偏振图像去噪网络，并将预处理好的彩色噪声图像数据集的训练集输入彩色图像去噪网络进行网络训练，同时使用验证集防止网络过拟合，最后使用测试集测试最后效果，得到理想的训练好的彩色图像去噪网络；
[0009]4)将训练好的彩色图像去噪网络的参数迁移到偏振图像去噪网络，并固定前一半网络的参数，将偏振噪声图像数据集的训练集输入偏振图像去噪网络，并使用自适应三偏
振通道损失函数引导训练，同时使用验证集防止网络过拟合，实现偏振图像去噪；
[0010]所述偏振图像去噪网络的设计与搭建方法是：
[0011]首先使用易于获得的彩色噪声图像数据集训练彩色图像去噪网络，使得网络能够获得较好的浅层特征提取能力，并能够去除真实世界彩色图像的噪声；而由于真实彩色噪声图像的噪声分布与真实偏振噪声图像相似，因此将训练好的彩色图像去噪网络参数迁移到偏振图像去噪网络后，在固定前一半层参数以保存浅层特征提取能力的基础上，通过使用很少的偏振噪声图像数据集微调深层特征提取能力，即可获得偏振图像去噪网络；
[0012]所述自适应三偏振通道损失函数的设计方法是：
[0013]对偏振图像去噪网络输出的高信噪比图像和真实无噪声图像的三个偏振通道，分别计算绝对值误差，并按照各自大小的比例分配权重相加，并且随着训练动态调整每个通道损失的权重；
[0014]5)使用训练好的偏振图像去噪网络对偏振噪声图像数据集的测试集进行测试，从网络模型的输出层得到残差图，然后利用输入的噪声图像和残差图得到预测的偏振去噪图像。
[0015]本专利技术的有益效果及优点在于：
[0016]1、本专利技术公开一种基于迁移学习的小样本偏振图像去噪方法，主要使用基于迁移学习的参数迁移方法实现小样本去噪。迁移学习可以将网络在源领域的大数据集上学习的特征提取能力和去噪能力迁移到目标偏振图像去噪领域，并通过小规模的偏振图像数据集进行微调实现偏振图像去噪。
[0017]2、本专利技术公开一种用于神经网络的自适应三偏振通道损失函数，主要采用三个偏振通道的绝对值损失。通过平衡三个偏振通道的损失，可以避免网络过于偏向某个通道，从而陷于局部最小值，有助于网络在小数据集下的收敛。
附图说明
[0018]图1为根据本专利技术一个实施例的小样本下基于迁移学习偏振图像去噪方法的流程图；
[0019]图2为根据本专利技术一个实施例的构建迁移学习深度神经网络的结构示意图；
[0020]图3为根据本专利技术一个实施例的迁移学习中深度神经网络的训练流程示意图；
[0021]图4为根据本专利技术一个实施例的使用一组图像训练的网络的去噪效果。
具体实施方式
[0022]实施例
[0023]下面结合附图详细描述本专利技术的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0024]下面参照附图描述根据本专利技术实施例提出的小样本下基于迁移学习的偏振图像去噪方法。
[0025]图1是本专利技术提供的一种小样本下基于迁移学习的偏振图像去噪方法的流程图，具体包括以下步骤：
[0026]S1，获取彩色图像数据集和偏振图像数据集。彩色数据集通过使用多种设备，例如手机、数码相机等，在不同场景下通过控制感光度分别获取噪声图像和无噪声图像。偏振图像的获取可以使用偏振相机，将短曝光时间高增益的条件下采集的图像作为噪声图像，在低增益和长曝光时间条件下采集的多张图片的平均作为标签。采集噪声图像和无噪图像对的时候需要同时调节增益和曝光时间，让噪声图像和无噪图像的光强值基本保持一致。
[0027]S2，进行数据预处理。对于彩色图像，将采集的图片转换到RGB空间，合成为RGB图片。对于偏振图像，先将采集的噪声图像和无噪图像拆分为四个不同偏振角度的子图，并合并成四个通道，选择其中三个通道分别进行亮度对齐，然后将噪声图像和无噪图像都裁剪为64
×
64大小的图像块。假设输入图像每个通道中，噪声图像I
θ
n，无噪图像I
θ
和噪声n
θ
三者满足：
[0028][0029]其中θ＝0
°
，45
°
，90
°
。
[0030]最后将数据集按照1:10:10的比例拆分为训练集，验证集和测试集。
[0031]S3，搭建两个结构相同的残差密集神经网络，一个作为彩色图像去噪网络，另一个作为偏振图像去噪网络，如图2所示。网络主要由多个残差密集模块组成，每个网络都有16个残差密集模块，网络采用的激活函数为线性修正单元ReLU函数。
[0032]S4，训练流程如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的偏振图像去噪方法，其特征在于使用大规模的彩色噪声图像数据集预训练卷积神经网络，并通过参数迁移和参数固定的方法使网络在小样本下实现偏振图像去噪，包括以下步骤：步骤1.使用大规模的彩色噪声图像数据集作为源领域数据集；使用少量的偏振噪声图像数据集作为目标领域数据集；步骤2.对源领域的彩色噪声图像数据集和目标领域的偏振噪声图像数据集进行预处理，并将数据集划分为训练集、测试集、验证集以用于网络训练；步骤3.搭建彩色图像去噪网络和偏振图像去噪网络，并将预处理后的彩色噪声图像数据集的训练集输入彩色图像去噪网络进行网络训练，同时使用验证集防止网络过拟合，最后使用测试集测试最后效果，得到理想的彩色图像去噪网络；步骤4.将训练好的彩色图像去噪网络的参数迁移到偏振图像去噪网络，并固定前一半网络的参数，将偏振噪声图像数据集的训练集输入偏振图像去噪网络，并使用自适应三偏振通道损失函数引导训练，同时使用验证集防止网络过拟合，实现偏振图像去噪；步骤5.使用训练好的偏振图像去噪网络对偏振噪声图像数据集的测试集进行测试，从网络模型的输出层得到残差图，然后利用输入的噪声图像和残差图得到预测的偏振去噪图像。2.根据权利要求1所述的基于迁移学习的偏振图像去噪方法，其特征在于，所述彩色噪声图像数据集和偏振噪声图像数据集的获取方法如下：彩色噪声图像和偏振噪声图像均在真实环境下拍摄...

【专利技术属性】
技术研发人员：胡浩丰，金慧烽，翟京生，刘贺东，孙万忠，程振洲，
申请(专利权)人：天津大学，
类型：发明
国别省市：