一种基于边界感知对抗学习的大气湍流退化图像复原方法技术

本发明专利技术涉及一种基于边界感知对抗学习的大气湍流退化图像复原方法，包括以下步骤：(1)基于大气湍流中成像退化机理，构建大气湍流退化图像数据集。(2))以DeblurGANv2作为基础网络模型，利用构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型。(3)针对DeblurGANv2无法有效处理大气湍流所引起的图像畸变问题，通过增加边界辅助监督模块，作为边界信息的监督指引，构建边界感知DeblurGANv2网络模型，进一步修复大气湍流所引起的图像边缘扭曲现象。(4)在构建的大气湍流退化图像数据集上对构建的边界感知DeblurGANv2网络模型进行训练，获得训练后的模型。(5)利用训练后的网络模型，复原单帧大气湍流退化图像，并对复原效果进行定量评估。

【技术实现步骤摘要】
一种基于边界感知对抗学习的大气湍流退化图像复原方法
本专利技术涉及基于边界感知对抗学习的大气湍流退化图像复原方法，这是一种结合边界感知算法和生成对抗网络的深度模型，适用于大气湍流退化图像的复原。
技术介绍
大气湍流是造成远距离光电成像探测系统性能下降的主要原因之一，通过对大气湍流退化图像进行复原，可以提高远距离光电成像探测系统性能。大气湍流的随机起伏特性，使得很难建立一个完整的数学模型对退化问题进行建模，因此大气湍流退化图像复原尤其是单帧大气湍流退化图像复原问题一直以来都是研究的难点技术问题。传统的用于单帧大气湍流退化图像复原的方法，主要包括逆滤波、维纳滤波、卡尔曼滤波、基于光学传递函数的图像复原、单帧盲反卷积、总变分方法、Richardson-Lucy(R-L)复原算法等经典算法。传统方法能在一定程度上解决大气湍流图像退化问题，然而它们过于依赖先验知识，多数只适用于退化形式单一且退化并不严重的图像。随着深度学习的不断发展，基于深度学习的图像复原技术逐渐引起国内外学者的广泛关注。腾讯优图和旷视提出了Scale-recurrentNetwork(SRN)网络，对相机抖动等原因导致的图像退化进行了复原，并在DVD，Lai等数据集上取得了不错的结果。DeblurGAN模型针对运动模糊图像进行了复原处理，在GOPRO数据集上取得了不错的复原效果。已有的深度神经网络多数只能解决运动模糊导致的图像退化问题，并不适合处理成像中的复杂情况例如湍流所引起的图像模糊和图像畸变情况。针对单帧大气湍流退化图像复原问题，前期学者提出了BDATNet，该网络由一个堆叠的FENSB、一个不对称的Unet和一个图像重建子网(IRSubnetwork)组成。BDATNet采用分步训练的方法，首先将全部训练集划分为不同复杂程度的训练集，并由简单到复杂依次对网络进行无监督预训练，得到预训练模型后再利用全部训练集进行正式训练。该网络针对空间目标进行盲去卷积，解决了大气湍流产生的多种模糊退化形式下的复原问题。原始训练集来自于SatelliteToolKit(STK)的350张图片以及网络上的50张图片，使用经典的大气湍流退化模型对其进行长曝光大气湍流处理，经过旋转，调整大小，图片分割等扩充数据集的方法，最终得到了252928张图片用于训练。使用的数据制备方法包括添加Gaussian噪声，Poisson噪声，以及使用和波长、大气相干长度等有关的指数函数对原始图像进行仿真，构建的大气湍流退化图像数据集未包含大气湍流所引起的图像畸变现象，并且数据集覆盖的图像种类只有STK获得的卫星图片，覆盖场景过于单一。以上研究方法均只针对大气湍流引起的图像模糊降质(一种或多种模糊形式)进行了复原处理，未考虑大气湍流所引起的图像几何畸变。对于真实大气湍流退化图像而言，同时存在图像模糊和图像畸变现象。针对单帧大气湍流退化图像复原研究，目前的研究难点主要表现在以下几个方面：(1)湍流退化图像具有模糊和畸变两大特点，较常规退化图像而言，图像质量较差、边缘模糊明显、物体畸变较严重、对比度更低；(2)目前针对大气湍流退化图像复原研究的数据集还十分匮乏或者建立的大气湍流退化图像数据集未考虑图像畸变现象且覆盖场景过于单一，因此需要人工获取和建立覆盖场景更为丰富的并且同时包含图像模糊和图像畸变现象的大气湍流退化图像数据集；(3)现有的基于深度学习的图像复原方法多数针对运动模糊降质图像，在网络模型设计过程中，未充分考虑图像畸变这一重要因素，从而限制了已有基于深度学习的图像复原模型在单帧大气湍流退化图像复原领域的应用。
技术实现思路
本专利技术的技术解决问题是：克服现有技术不足，针对大气湍流这一特殊应用场景，提供一种基于边界感知对抗学习的大气湍流退化图像复原方法，提高远距离光电成像探测系统性能。本专利技术的技术解决方案为基于边界感知对抗学习的大气湍流退化图像复原方法，包括以下步骤：(1)基于大气湍流中成像退化机理，构建大气湍流退化图像数据集；(2)以DeblurGANv2作为基础网络模型，利用步骤(1)构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型；(3)增加边界辅助监督模块，作为边界信息的监督指引，构建用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，进一步修复大气湍流所引起的图像边缘扭曲现象；(4)针对步骤(3)构建的用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，在步骤(1)获得的大气湍流退化图像数据集上对其进行模型训练，获得训练后的边界感知DeblurGANv2模型；(5)利用步骤(4)训练得到的边界感知DeblurGANv2模型，分别对仿真的和真实获取的单帧大气湍流退化图像进行复原，并对复原结果进行定量评估。进一步的，所述步骤(1)中，基于大气湍流中成像退化机理，构建大气湍流退化图像数据集的方法如下：大气湍流退化图像仿真过程中考虑大气湍涡各向异性的特点，设置参数以保证水平与竖直方向湍涡尺度的不对称性，湍流谱指数也在[3，4]区间进行动态取值；在此基础上理论计算大气湍流调制传递函数和光波到达角起伏方差理论模型，完成模糊模型F与畸变模型D的设计；原始输入图像I与输出图像O的关系用以下公式表达：O(x,y)＝D(F(I(x,y)))其中，(x,y)对应图像x和y方向上的索引；首先设置仿真的湍流相关参数，包括波长、湍流谱指数、湍流强度、湍流内外尺度，根据以上参数确定大气湍流所引起的光波到达角起伏方差理论模型以及高斯模糊核，其中高斯模糊核为大气湍流调制函数理论模型的傅里叶反变换的形式；利用高斯模糊核对原始输入图像进行卷积操作，得到模糊退化图像；然后将随机生成的频域复数矩阵Rw作为滤波器对空间功率谱密度函数Pβ进行滤波；其中Rw＝M+iN，M和N为随机生成矩阵且满足正态分布，它们分别是复数矩阵Rw的实部和虚部，i为虚数单位，这种随机性模拟了大气湍流的随机变化特性；Pβ(f)＝f-3用来反映图像的畸变情况，f表示频域频率；利用Pβ(f)对频域复数矩阵Rw进行低通滤波，得到滤波后的频域随机场；经过该滤波后的结果既保证了大气湍流影响的随机性，同时保证了畸变存在空间相关性，即退化图像符合人眼视觉效果；最后对上述频域随机场进行傅里叶反变换将其转化到时空域并取模值；根据初始确定的光波到达角起伏方差理论模型计算出时空域矩阵的方差，至此获得了水平和竖直方向上的畸变矩阵，结合双线性插值算法对模糊退化图像添加畸变处理，最终获得大气湍流退化图像。从公开VOC2012和ADE20K数据集中挑选出共计7348张室外大气湍流多发场景图片作为原始清晰图像，结合上述大气湍流退化仿真方法，通过调整湍流强度与模糊核方差参数，制备大气湍流退化图像数据集。进一步的，所述步骤(2)中，以DeblurGANv2作为基础网络模型，利用步骤(1)构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型，方法如下：本文档来自技高网...

【技术保护点】
1.一种基于边界感知对抗学习的大气湍流退化图像复原方法，其特征在于，包括以下步骤：/n(1)基于大气湍流中成像退化机理，构建大气湍流退化图像数据集；/n(2)以DeblurGANv2作为基础网络模型，利用步骤(1)构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型；/n(3)增加边界辅助监督模块，作为边界信息的监督指引，构建用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，进一步修复大气湍流所引起的图像边缘扭曲现象；/n(4)针对步骤(3)构建的用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，在步骤(1)获得的大气湍流退化图像数据集上对其进行模型训练，获得训练后的边界感知DeblurGANv2模型；/n(5)利用步骤(4)训练得到的边界感知DeblurGANv2模型，分别对仿真的和真实获取的单帧大气湍流退化图像进行复原，并对复原结果进行定量评估。/n

【技术特征摘要】
1.一种基于边界感知对抗学习的大气湍流退化图像复原方法，其特征在于，包括以下步骤：
(1)基于大气湍流中成像退化机理，构建大气湍流退化图像数据集；
(2)以DeblurGANv2作为基础网络模型，利用步骤(1)构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型；
(3)增加边界辅助监督模块，作为边界信息的监督指引，构建用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，进一步修复大气湍流所引起的图像边缘扭曲现象；
(4)针对步骤(3)构建的用于大气湍流退化图像复原的边界感知DeblurGANv2网络模型，在步骤(1)获得的大气湍流退化图像数据集上对其进行模型训练，获得训练后的边界感知DeblurGANv2模型；
(5)利用步骤(4)训练得到的边界感知DeblurGANv2模型，分别对仿真的和真实获取的单帧大气湍流退化图像进行复原，并对复原结果进行定量评估。


2.根据权利要求1所述的基于边界感知对抗学习的大气湍流退化图像复原方法，其特征在于：所述步骤(1)中，基于大气湍流中成像退化机理，构建大气湍流退化图像数据集的方法如下：
大气湍流退化图像仿真过程中考虑大气湍涡各向异性的特点，设置参数以保证水平与竖直方向湍涡尺度的不对称性，湍流谱指数也在[3，4]区间进行动态取值；在此基础上理论计算大气湍流调制传递函数和光波到达角起伏方差理论模型，完成模糊模型F与畸变模型D的设计；原始输入图像I与输出图像O的关系用以下公式表达：
O(x,y)＝D(F(I(x,y)))
其中，(x,y)对应图像x和y方向上的索引；首先设置仿真的湍流相关参数，包括波长、湍流谱指数、湍流强度、湍流内外尺度，根据以上参数确定大气湍流所引起的光波到达角起伏方差理论模型以及高斯模糊核，其中高斯模糊核为大气湍流调制函数理论模型的傅里叶反变换的形式；利用高斯模糊核对原始输入图像进行卷积操作，得到模糊退化图像；
然后将随机生成的频域复数矩阵Rw作为滤波器对空间功率谱密度函数Pβ进行滤波；其中Rw＝M+iN，M和N为随机生成矩阵且满足正态分布，它们分别是复数矩阵Rw的实部和虚部，i为虚数单位，这种随机性模拟了大气湍流的随机变化特性；空间功率谱密度函数Pβ(f)＝f-3用来反映图像的畸变情况，f表示频域频率；利用Pβ(f)对频域复数矩阵Rw进行低通滤波，得到滤波后的频域随机场；经过该滤波后的结果既保证了大气湍流影响的随机性，同时保证了畸变存在空间相关性，即退化图像符合人眼视觉效果；
最后对上述频域随机场进行傅里叶反变换将其转化到时空域并取模值；根据初始确定的光波到达角起伏方差理论模型计算出时空域矩阵的方差，至此获得了水平和竖直方向上的畸变矩阵，结合双线性插值算法对模糊退化图像添加畸变处理，最终获得大气湍流退化图像。
从公开VOC2012和ADE20K数据集中挑选出共计7348张室外大气湍流多发场景图片作为原始清晰图像，结合上述大气湍流退化仿真方法，通过调整湍流强度与模糊核方差参数，制备大气湍流退化图像数据集。


3.根据权利要求1所述的基于边界感知对抗学习的大气湍流退化图像复原方法，其特征在于：所述步骤(2)中，以DeblurGANv2作为基础网络模型，利用步骤(1)构建的大气湍流退化图像数据集对其进行模型微调，初步实现基于对抗学习的用于大气湍流退化图像复原的网络模型，方法如下：
DeblurGANv2网络基于GAN网络的基本原理，包含用于恢复清晰图片的生成器模型与两个不同尺度上的鉴别器模型；生成器模型使用了特征金字塔(FPN)框架进行不同分辨率特征映射层的提取，自下而上的路径为用于特征提取的卷积神经网络，在这个过程中图片被下采样，提取和压缩了更多的语义特征信息；而后将这些信息与自上而...

【专利技术属性】
技术研发人员：崔林艳，姜鸿翔，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11