基于生成式对抗网络的红外盲元补偿方法技术

本发明专利技术公开了一种基于生成式对抗网络的红外盲元补偿方法，用于红外成像技术领域，通过对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测。首先，基于生成式对抗网络构建盲元补偿网络模型，通过训练使得模型学习到红外盲元图像特征并对用于训练的盲元图像数据集实现较好的补偿效果；然后，对待补偿的盲元图像进行盲元检测生成二值矩阵，结合盲元补偿损失函数生成伪造图像；最后，通过泊松融合算法将盲元图像和生成的伪造图像融合，通过迭代来提高补偿精度，最终完成对红外盲元的补偿。本发明专利技术对盲元像素灰度值的预测更加准确，恢复的图像拥有较好的细节和纹理信息，对于大量孤立盲元和盲元簇有较强的适应性。

Infrared blind element compensation method based on generative countermeasure network

【技术实现步骤摘要】
基于生成式对抗网络的红外盲元补偿方法
本专利技术属于红外成像
，尤其涉及一种基于生成式对抗网络的红外盲元补偿方法。
技术介绍
随着红外成像技术近几年的高速发展，已经在医疗领域、路政领域和电子领域发挥了巨大的作用。红外焦平面阵列(IRFPA)作为红外成像系统的核心硬件，因其材料与制作工艺的限制和外界环境的影响，拍摄的红外图像会受到非均匀性影响并且存在大量的噪声，这些因素导致了红外盲元的产生。红外盲元表现为图像中过亮或过暗的点，暗点被称为死像元，是指像元响应率小于各有效像元平均响应率1/10的像元；亮点被称为过热像元，定义为像元噪声电压大于各有效像元平均噪声电压的10倍的像元。红外盲元的存在会对后续的目标检测、识别与跟踪产生不利的影响。因此如何有效的对红外图像盲元进行补偿是自红外成像技术发展以来一直被研究的问题。现有的盲元补偿算法通常采用盲元周围的有效信息或红外视频前后帧之间的图像信息对盲元信息进行预测。SBBPDC算法在自适应中值滤波盲元检测算法的基础上，提出改进的Nagao滤波算法，通过强方向性的子窗口中值滤波改善了图像边缘的清晰度并保留了场景细节。Tensorial-RLS算法通过递推最小二乘法和映射投影技术对像素的增益和偏置进行联合补偿，对噪声具有快速的收敛性和较强的鲁棒性。ARM算法首先对红外图像进行多尺度分解，通过构建的非参数回归模型对各尺度进行盲元补偿，然后对各尺度间构建自回归参数模型实现从低分辨到高分辨的学习，进一步提高补偿精确度，表现出了对盲元簇的适应性。基于神经网络的红外图像盲元补偿算法则是通过神经网络学习的方式实现校正，神经网络主要有中间层和校正层两部分组成，中间层用于计算某给定像素的理想期望输出，其作用是对增益和偏置系数进行自适应修正；校正层用修正过的系数对像元的输出进行校正。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于生成式对抗网络(GAN,GenerativeAdversarialNetworks)的红外盲元补偿方法。该方法通过预训练的对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测，提高红外图像的盲元补偿效果。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于生成式对抗网络的红外盲元补偿方法，包括以下步骤：步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。进一步地，所述步骤一，生成式对抗网络模型由生成器和判别器组成；所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。进一步地，通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；所述损失函数由补偿损失(Compensationloss)和对抗损失(Adversarialloss)构成；补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失(MSEloss)作为损失函数，结合掩膜矩阵的补偿损失函数表示为：其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，表示L2范数；选择L2范数的原因是L2范数比L1范数更有利于防止过拟合；对抗损失：生成器仅通过补偿损失函数生成的红外图像因为缺少原图像的高频信息而缺乏图像的纹理细节，其原因是L2损失函数的极小化往往会导致生成模糊的图像，会对后续的盲元补偿效果产生不利的影响；因此，通过引入对抗损失函数实现对生成模糊图像的惩罚，并且能够指导模型进行更准确的预测，尤其是对不同个体的边缘信息；采用WGAN-GP判别模型的损失函数作为对抗损失函数，表示为：其中为对抗损失函数，E(*)表示数学期望，λ为梯度惩罚(gradientpenalty)的权重参数，为梯度算子，·表示element-wise乘法，表示在真实分布和生成分布的连线上随机插值采样所得到的样本分布，Dg和Dl分别表示全局判别器和局部判别器；由于只需对盲元像素进行梯度惩罚，因此，对梯度惩罚项取掩膜运算；最终的目标函数表示为：其中α为权重参数，用来平衡补偿损失和对抗损失。进一步地，所述步骤三，由于红外焦平面阵列(IRFPA)受到非均匀性影响使得红外图像表现为区域灰度不一致而产生红外盲元，如果直接采用全局阈值进行判断，阈值太大容易造成漏检，阈值太小又会造成局部过检，因此，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，为窗内像元灰度均值，(i,j)为窗口内除中心像素点外其他像素的坐标；当时，判断像元(i,j)为盲元，并以替代像元(i,j)的灰度值，以提高后续检测精度；盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵M，其中盲元像素为1，非盲元像素为0，矩阵表达式为：进一步地，所述步骤四，生成器对添加掩膜的输入图像的补偿结果，实现了对盲元像素灰度值的预测，将预测的灰度值填充入原始的红外盲元图像，就能完成最终的补偿任务；但是直接填充方本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：包括以下步骤：/n步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；/n步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；/n步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；/n步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；/n步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。/n

【技术特征摘要】
1.一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：包括以下步骤：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；
步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。


2.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤一，生成式对抗网络模型由生成器和判别器组成；
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。


3.根据权利要求2所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失和对抗损失两部分构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失作为损失函数，结合掩膜矩阵的补偿损失函数表示为：



其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为...

【专利技术属性】
技术研发人员：陈苏婷，金蒙，张艳艳，成泽华，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32