一种物理信息驱动的红外图像湍流效应抑制方法及系统技术方案

本发明专利技术公开一种物理信息驱动的红外图像湍流效应抑制方法及系统，基本步骤如下：1)利用湍流抑制模块产生抑制了湍流效应的重建序列；2)由湍流参数测量模块测量湍流场参数及其二维分布；3)构造损失函数对整个网络进行训练；4)用训练好的网络处理湍流退化红外图像序列。本发明专利技术提出的物理信息驱动的深度神经网络PSDNN能够同时实现湍流物理参数的准确测量和红外图像湍流效应的有效抑制，可以用于动态场景下红外湍流退化序列中湍流效应的抑制和湍流场二维物理参数的测量，在计算机视觉、军事、航空航天、大气科学等领域具有广阔的使用价值和应用前景。和应用前景。和应用前景。

【技术实现步骤摘要】
一种物理信息驱动的红外图像湍流效应抑制方法及系统


[0001]本专利技术涉及一种物理信息驱动的红外图像湍流效应抑制方法及系统，属于数字视频处理、模式识别、计算机视觉和流体力学领域。在计算机视觉、军事、航空航天、大气科学等领域具有广阔的应用前景。

技术介绍

[0002]大气湍流光介质中折射率的随机变化导致热红外图像出现强随机性几何畸变、介质热辐射变化导致热红外图像出现灰度漂移、光线扰动造成热量耗散导致图像出现细节模糊等效应，严重影响了红外精确制导所依赖的远距离热红外成像质量。值得注意的是，湍流效应造成的热红外图像降质由光传播介质折射率的剧烈变化导致，与目标或成像器件运动造成的图像模糊在产生机理与表现形式上都有本质不同且更为复杂，这使得热红外图像湍流效应的抑制十分复杂且具有极高科学价值。
[0003]截至目前，现有的图像湍流效应抑制算法可以分为基于反卷积的算法和基于图像配准融合的算法两类。其中基于反卷积的技术分为非盲反卷积和盲反卷积两种，早期以非盲反卷积算法为主，如Babcock H W通过分析点扩散函数PSF(point spread function)或传感器信息等获取先验知识，然后对湍流图像进行反卷积复原(参见文献:巴布科克等,补偿天文观测的可能性.太平洋天文学会出版物,1953,229
‑
236.(Babcock H W.The possibility of compensating astronomical seeing[J].Publications of the Astronomical Society of the Pacific,1953,65(386):229
‑
236.))。后期则是对先验知识依赖性更弱的盲反卷积技术得到了更多的关注，例如Dainty等人提出了一种基于单帧迭代的湍流图像盲反卷积复原算法，该算法通过迭代优化来不断提高复原图像的质量(参见文献:艾尔斯等,迭代盲反卷积方法及其应用,光学快报,1988,547
‑
549.(Ayers G R,Dainty J C.Iterative blind deconvolution method and its applications[J].Optics Letters,1988,13(7):547
‑
549.))。后来Lane等人对该算法进行改进，配合逆滤波技术提高了复原算法的鲁棒性(参见文献:莱恩等,散斑图像的盲去卷积,美国光学学会杂志,1992,1508
‑
1514.(Lane R G.Blind deconvolution of speckle images[J].Journal of the Optical Society of America A,1992,9(9):1508
‑
1514.))。进入21世纪，基于盲反卷积的湍流图像复原技术越来越成熟。Hirsch等人分析了湍流退化模型，将湍流导致的图像退化视为一种空域变化的卷积运算，然后设计了一种高效的反卷积运算框架对退化图像进行复原(参考文献:赫希等,空变多帧盲解卷积的高效滤波器流,美国电气与电子工程师学会计算机视觉和模式识别学会,2010,607
‑
614.(Hirsch M,Sra S,B,et al.Efficient filter flow for space
‑
variant multiframe blind deconvolution[A]//IEEE Conference on Computer Vision and Pattern Recognition[C].Piscataway,NJ:IEEE,2010:607
‑
614.))。Zhu等人将时域、空域变化的去模糊问题简化为移不变的去模糊问题，首先通过基于B样条的非刚性配准来抑制湍流图像的几何变形，然后采用盲反卷积的方法对图像进行去模糊处理得到最终的复原结果(参见文献:朱等,通过空
间不变反卷积去除大气湍流,美国电气与电子工程师协会模式分析与机器智能学报,2012,157
‑
170.(Zhu X,Milanfar P.Removing atmospheric turbulence via space
‑
invariant deconvolution[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,35(1):157
‑
170.))。在基于图像配准融合的方法中，大多是由一段退化图像序列合成单张复原图像，如Shimizu等人首先配准序列图像，然后融合得到平均帧，再对平均帧进行超分辨率重建得到复原结果(参见文献:史弥足等,热空气光学湍流影响下图像序列的超分辨率,美国电气与电子工程师学会计算机视觉和模式识别学会,2008,1
‑
8.(Shimizu M,Yoshimura S,Tanaka M,et al.Super
‑
resolution from image sequence under influence of hot
‑
air optical turbulence[A]//IEEE Conference on Computer Vision and Pattern Recognition[C].Piscataway,NJ:IEEE,2008:1
‑
8.))。Anantrasirichai等人仅从高质量帧中选择感兴趣区域，然后对其他帧进行配准，最后利用基于双树复小波变换的区域级融合方法对湍流图像的几何畸变进行复原(参见文献:安纳特拉西里柴等,美国电气与电子工程师协会图像处理学报,2013,2398
‑
2408.(Anantrasirichai N,Achim A,Kingsbury N G,et al.Atmospheric turbulence mitigation using complex wavelet
‑
based fusion[J].IEEE Transactions on Image Processing,2013,22(6):2398
‑
2408.))。上述算法都建立在简化大气湍流效应的基础上，大多只针对静态场景的单一图像，往往对包含运动信息的湍流退化图像序列或视频的复原无能为力。目前针对湍流退化图像序列的重建算法主要采用的是复数域的滤波算法，如Zhang等人使用低通滤波器缓解视频中的畸变，并使用掩膜分离目标和背景，目的是保留视频中的运动信息(参见文献:张等,使用单基因信号稳定包含运动物体的大气湍流失真视频,信号处理：图像通信学报,(Zhang C,Zhou F,Xue B,et al.Stabilization of atmospheric turbulence
‑
disto本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于，具体步骤如下：步骤一：由湍流抑制模块产生重建序列；湍流抑制模块接收湍流红外序列，并输出湍流效应抑制后的重建序列；湍流抑制模块首先使用由3D卷积神经网络3D
‑
CNN组成的特征提取模块提取输入序列的特征，再通过以transformer为基本架构的特征融合模块提炼目标帧和其前后相邻2帧的有效特征，最后通过重建模块得到目标帧的湍流效应抑制后的结果，将每一帧的重建结果串联起来，得到红外序列的重建结果，即湍流效应抑制后的红外序列；步骤二：湍流参数测量模块测量湍流场参数及其二维分布；湍流参数测量模块接收原始输入序列和湍流去除网络输出的重建序列，并输出测量的湍流场参数数值的二维分布，湍流参数测量模块不包含卷积层，完全由transformer编码器组成，利用注意力机制有效获取输入序列的全局信息，进而准确解析湍流场物理参数；步骤三：构造损失函数对整个网络进行训练；结合湍流物理信息和湍流图像信息构造测量损失函数和重建损失函数，其中测量损失函数用于衡量网络输出的湍流参数与参数标签之间的误差，重建损失函数用于衡量重建序列与参考理想序列之间的误差；湍流抑制模块同时在测量损失函数与重建损失函数的作用下训练，湍流参数测量模块则只在测量损失函数作用下训练；输出：用训练好的网络处理湍流退化红外图像序列；在由湍流退化红外图像序列、参考理想序列和对应湍流参数标签组成的训练数据上对网络进行充分迭代训练，训练好的网络用于湍流退化红外图像序列中湍流效应的有效抑制和湍流参数的准确测量。2.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤一具体如下：1.1：使用特征提取模块提取输入序列的特征；使用3D卷积代替传统2D卷积，即将卷积核的维数扩展至3维，在进行卷积运算时将时间维度作为与图像宽、高等价的一个维度；输入序列经过数个由3D卷积层和残差连接组成的特征提取网络之后得到每一帧的特征图，用于后续理想序列的重建；1.2：使用特征融合模块提炼特征；使用特征融合模块，融合目标帧和相邻帧特征图，再利用Transformer编码器对特征进行提炼；1.3：使用重建模块得到抑制了湍流效应的重建序列；重建模块由数层转置卷积和残差块组成，对特征图进行解码，重建出抑制了湍流效应的理想红外图像，将每一帧的重建结果串联起来，得到整个输入的红外序列的重建结果。3.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤二具体如下：2.1：对重建序列与原始输入序列作差分，然后将图像按空间分块进行湍流参数测量；将原始输入图像块、重建图像块和差分图像块及它们的空间邻域图像按3个通道进行组合，作为输入到transformer的序列的一个元素；其中，引入空间邻域图像的目的是扩大湍流参数测量模块的感受野，提高湍流物理参数测量准确度；2.2：将组合后的图像展平至1维向量输入湍流参数测量模块，湍流参数测量模块只由Transformer编码器组成，目的是关注输入序列的全局信息，准确测量目标图像块对应湍流
物理参数，湍流参数测量模块输出的物理参数包括折射率结构常数温度T和温度结构常数4.根据权利要求1所述的一种物理信息驱动的红外图像湍流效应抑制方法，其特征在于：步骤三具体如下：3.1：物理信息驱动的深度神经网络PSDNN的损失函数包含两项：重建损失函数和测量损失函数；重建损失函数是指重建序列与参考理想序列之间差值的损失函数，包括像素损失函数和感知损失函数，像素损失函数定义为重建的图像序列与参考清晰图像序列之间每个像素灰度值之间的均方误差MSE；感知损失函数是指将重建图像与参考图像都输入到一个预先训练好的模型中，通过网络的输出获取二者的高维特征，再计算高维特征之间的均方误差MSE作为感知损失函数；测量损失函数是衡量参数...

【专利技术属性】
技术研发人员：白相志，王亚东，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：