基于生成式对抗网络的红外盲元补偿方法技术

技术编号:24759176 阅读:149 留言:0更新日期:2020-07-04 09:51
本发明专利技术公开了一种基于生成式对抗网络的红外盲元补偿方法,用于红外成像技术领域,通过对抗网络模型结合盲元补偿函数,以生成新图像的方式实现对原图像盲元像素灰度的预测。首先,基于生成式对抗网络构建盲元补偿网络模型,通过训练使得模型学习到红外盲元图像特征并对用于训练的盲元图像数据集实现较好的补偿效果;然后,对待补偿的盲元图像进行盲元检测生成二值矩阵,结合盲元补偿损失函数生成伪造图像;最后,通过泊松融合算法将盲元图像和生成的伪造图像融合,通过迭代来提高补偿精度,最终完成对红外盲元的补偿。本发明专利技术对盲元像素灰度值的预测更加准确,恢复的图像拥有较好的细节和纹理信息,对于大量孤立盲元和盲元簇有较强的适应性。

Infrared blind element compensation method based on generative countermeasure network

【技术实现步骤摘要】
基于生成式对抗网络的红外盲元补偿方法
本专利技术属于红外成像
,尤其涉及一种基于生成式对抗网络的红外盲元补偿方法。
技术介绍
随着红外成像技术近几年的高速发展,已经在医疗领域、路政领域和电子领域发挥了巨大的作用。红外焦平面阵列(IRFPA)作为红外成像系统的核心硬件,因其材料与制作工艺的限制和外界环境的影响,拍摄的红外图像会受到非均匀性影响并且存在大量的噪声,这些因素导致了红外盲元的产生。红外盲元表现为图像中过亮或过暗的点,暗点被称为死像元,是指像元响应率小于各有效像元平均响应率1/10的像元;亮点被称为过热像元,定义为像元噪声电压大于各有效像元平均噪声电压的10倍的像元。红外盲元的存在会对后续的目标检测、识别与跟踪产生不利的影响。因此如何有效的对红外图像盲元进行补偿是自红外成像技术发展以来一直被研究的问题。现有的盲元补偿算法通常采用盲元周围的有效信息或红外视频前后帧之间的图像信息对盲元信息进行预测。SBBPDC算法在自适应中值滤波盲元检测算法的基础上,提出改进的Nagao滤波算法,通过强方向性的子窗口中值滤波改善了图像边缘的清晰本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的红外盲元补偿方法,其特征在于:包括以下步骤:/n步骤一,收集红外图像数据集,构建生成式对抗网络模型,构建模型的损失函数;/n步骤二,生成随机掩膜模拟盲元,将添加掩膜的红外图像数据集作为模型的输入,以损失函数达到最小值为目标训练模型,模型的输出为生成的红外图像;/n步骤三,对待补偿的红外盲元图像进行盲元检测,生成二值掩膜矩阵,将红外盲元图像和二值掩膜矩阵输入训练好的模型,生成红外图像;/n步骤四,将生成的红外图像和待补偿的红外盲元图像进行融合,得到补偿后的图像;判断补偿后的图像质量是否满足预期;/n步骤五,若补偿后的图像质量未满足预期,则将补偿后的图像作为新的待补偿的...

【技术特征摘要】
1.一种基于生成式对抗网络的红外盲元补偿方法,其特征在于:包括以下步骤:
步骤一,收集红外图像数据集,构建生成式对抗网络模型,构建模型的损失函数;
步骤二,生成随机掩膜模拟盲元,将添加掩膜的红外图像数据集作为模型的输入,以损失函数达到最小值为目标训练模型,模型的输出为生成的红外图像;
步骤三,对待补偿的红外盲元图像进行盲元检测,生成二值掩膜矩阵,将红外盲元图像和二值掩膜矩阵输入训练好的模型,生成红外图像;
步骤四,将生成的红外图像和待补偿的红外盲元图像进行融合,得到补偿后的图像;判断补偿后的图像质量是否满足预期;
步骤五,若补偿后的图像质量未满足预期,则将补偿后的图像作为新的待补偿的红外盲元图像,重复执行步骤三和步骤四,直到质量满足预期或达到设定的最大迭代次数,输出最终的补偿后的图像。


2.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法,其特征在于:所述步骤一,生成式对抗网络模型由生成器和判别器组成;
所述生成器用于生成红外图像,实现对红外盲元灰度值的预测,生成器以编解码结构为原型,以全卷积结构作为生成器的卷积层,将全连接层转化为卷积层,对输入图像大小不做限制,对任意分辨率的红外盲元图像进行补偿;同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层,扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小;生成器的输入为红外盲元图像;
所述判别器与生成器互补,实现与生成器的对抗,用于提高红外图像的生成质量,优化补偿效果;判别器包括全局判别器和局部判别器;全局判别器用于保证全局信息真实,其输入为生成器输出的完整生成图像;局部判别器用于保证局部纹理清晰,其输入为对完整生成图像截取随机大小的图像。


3.根据权利要求2所述的一种基于生成式对抗网络的红外盲元补偿方法,其特征在于:通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测,通过构建相应的损失函数并进行最小值寻优,优化生成器生成的红外图像;
所述损失函数由补偿损失和对抗损失两部分构成;
补偿损失:通过掩膜矩阵提取红外图像盲元邻域的有效像素信息,生成器以均方差损失作为损失函数,结合掩膜矩阵的补偿损失函数表示为:



其中LC(x,M)为补偿损失函数,x为输入的红外盲元图像,训练过程中M为随机掩膜,测试过程中M为盲元检测算法生成的二值掩膜矩阵,G(x,M)为...

【专利技术属性】
技术研发人员:陈苏婷金蒙张艳艳成泽华
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1