红外成像的编码感知矩阵估计方法技术

本发明专利技术涉及红外成像技术领域，为提出一种新的红外成像方法，实现有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。为此，本发明专利技术采取的技术方案是，红外成像的编码感知矩阵估计方法，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换(FFT)估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。本发明专利技术主要应用于红外成像场合。

Coding perceptual matrix estimation method for infrared imaging

The invention relates to the field of infrared imaging technology, and proposes a new infrared imaging method to effectively reduce the loss of target and background details in the imaging process, and greatly improve the spatial and temporal resolution of the system to the target scene. To this end, the technical scheme adopted by the present invention is that the coding perception matrix estimation method of infrared imaging first uses a set of calibration test targets, uses the target captured by the camera and the corresponding truth map to estimate the point spread function of the camera through fast Fourier transform (FFT), and predicts that every pixel on the object plane passes through the system. The optical vibration on the imaging sensor is then restored by blind convolution to obtain a clear full focus image. The invention is mainly applied to infrared imaging occasions.

【技术实现步骤摘要】
红外成像的编码感知矩阵估计方法
本专利技术涉及红外成像
，具体讲，涉及红外成像的编码感知矩阵估计方法。
技术介绍
红外成像技术利用红外探测器捕获和跟踪目标自身辐射能量，具有抗干扰能力强、探测距离远、昼夜工作、烟雾穿透等优点，已成功应用于精确制导、战略预警与侦察监视等应用。在透射式/反射式红外成像系统中，光圈和快门分别是成像设备对场景在空间维度和时间维度的采样通道。因此，光圈和快门的配置直接影响红外成像性能。传统红外成像模式依据光学衍射原理，系统设计已经贴近衍射限和背景限，因此，在诸多实际工程应用条件约束的情况下，传统成像模式的固有特性成为了限制红外成像系统性能提升的根本原因。在空域上，成像系统观测到的红外图像是目标场景热辐射场与光圈所对应的冲击响应函数的卷积。传统红外成像系统采用(近似)圆形光圈，其冲击响应为二维钟型函数，等效于低通滤波器。从趋势来看，光圈越大，热辐射场的高频细节损失也就越大，分辨率也就越低。但是为了保证一定的信噪比，光圈不能太小。因此，高频细节不可避免地受到很大损失。此外，由于缺少必要的波前信息，传统的校正算法迭代次数过多，也严重影响了算法的实时性和最终图像处理效果。在近十几年的研究中，先前的研究者提出了很多种图像还原的方法来努力复原出清晰的全聚焦图像。造成图像降质的原因有很多，通常情况下该过程可以抽象为一个卷积运算形式。图像还原在本质上也是同样的。在上个世纪时候，很多研究者使用光学滤波来进行图像还原。因此，退化图像复原的关键要素就是成像系统的点扩散函数(PointSpreadFunction，简写为PSF)。点扩散函数表示点光源经过成像系统后的冲激响应情况，所以是评价成像系统的主要指标之一，在图像还原领域中扮演重要角色。图1给出了点扩散函数与目标图像生成拍摄图像的示意过程。一个点目标在成像后，其边缘变得模糊不清，发生了失焦模糊失真，这就是点扩散函数起到的作用。在理想的成像系统中，目标场景中的物体和成像传感器上的成像应该是点对点的映射关系。也就是说，像平面上的成像应该呈几何点排布，但如果点目标无法在像面上会聚成像，发散失焦模糊就会出现。大多数实际情况中是无法设计出理想的成像系统，那么模糊核的存在就会造成目标物体上的点出现一定程度的弥散。物平面上的一个点，在像平面上对应于一个重叠散斑。输入的图像信号在二维平面内进行了点的再叠加，并在像平面上形成了新的弥散点，这个叠加过程中不同目标点的作用的权重，就要取决于系统点扩散函数的分布模式。根据上面的论述，模糊核函数的确定是非常重要的。对于任何一种数字成像系统，已知系统的点扩散函数后，就可以根据成像模型求解出任意的输入图像信号的输出图像情况。因此估计点扩散函数也就成为编码光圈成像解码技术中极为重要的一环。主要有投影法、点光源拍摄测量法和菲涅尔衍射效应估计法之类的方法。随着数字图像处理的发展，计算机硬件的不断进步，其内存变革和计算速度的加快为图像还原的大规模数字运算打下了良好基础。与之同时，快速傅里叶变换(FFT)的使用也为解码处理提供先决条件。在编码光圈成像系统中，广义维纳滤波是一种比较好的选择。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种新的红外成像方法，实现有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。为此，本专利技术采取的技术方案是，红外成像的编码感知矩阵估计方法，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换(FFT)估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。具体步骤如下：1)拟设计一组具有特定热辐射分布的靶标真值场景，并且采用所构建的空域编码成像系统进行拍摄，得到相应的观测图像，靶标真值包括数字、笔画、汉字、英文字母，进而估计出各种成像情况下的点扩散函数PSF，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况；2)对拍摄到的图像进行滤波，去除拍摄过程中产生的摩尔纹以及坏元，具体通过多帧取平均的方法，对摩尔纹进行初步消除处理，然后对残留的一些竖条纹，针对其频域分布特点，进行匹配滤波，消除竖条纹的影响；3)对滤波后的图像进行背景均一化处理，首先利用阈值方法获取到图像中字的轮廓，然后将剩余区域求平均值作为背景像素值，然后对相机捕获到的图像和对应真值图进行归一化处理；4)对高分辨率的靶标真值做杂点滤除处理，首先构造一个卷积滤波器将图中的这些杂点和空洞选出来，然后再重新对这些点赋值，进而消除这些杂点和空洞；5)对齐靶标的高分辨率真值图和观测图，采用数学软件MATLAB自带的imrotate()和imtranslate()函数对高分辨率真值图进行旋转平移变换；6)通过针孔拍摄方法经测量得到编码光圈系统的点扩散函数：在完全不透光的材料上打一个小孔，保持针孔的中心和相机镜头的几何中心轴在同一条直线上，此时，点光源表示为：r为针孔的半径，rp为针孔成像的阈值，因此，针孔成像表示为：Ip＝qi(r)*h(2)h为模糊核函数，当针孔qi(r)相对于h视为冲击函数δ时：Ip＝h(3)以上过程说明点扩散函数和针孔函数是等价的，若针孔较大不可忽略时，则需要下面的式子进行修正：h＝F-1[F[Ip]/F[qi(r)]](4)其中F[·]表示傅里叶变换，F-1[·]表示傅里叶反变换，Ip表示相机拍摄到的靶标观测图像，qi(r)表示靶标的高分辨率真值图，进而通过式(3)或式(4)来获取成像系统点扩散函数；7)利用盲卷积原理将图像复原模型简化公式如下：c(x)为模糊图像，g(x)为点扩散函数，fi(x)为第i轮的复原图像，如果系统放入点扩散函数已知，只要有一个初始估计f(x)就可以进行迭代求解，因此盲卷积的复原分两步进行，即在第i轮，假设(i-1)轮的图像已知，再通过以上公式求解第i轮的点扩散函数gi(x)，随后再利用gi(x)求解第i轮的图像fi(x)，这样反复迭代，最后求得最终的g(x)求解f(x)，迭代公式如下：由以上迭代公式得到最终恢复的结果。本专利技术的技术特点及效果：本专利技术提出了一种新型红外成像技术架构，它是基于目前国际前沿的图像编码感知与计算摄像学理论，采用光学成像与数字信号处理相结合的方式，利用相机采集到的靶标图案和真值通过快速傅里叶反变换(FFT)准确地的估计出点扩散函数，进而用盲卷积的方法复原出清晰的全聚焦图像；有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。本专利技术具有以下特点：1、本文提出的算法主要创新点是对红外相机捕获到的图像做去噪处理，去除了拍摄造成的摩尔纹，经过处理后得到归一化背景的干净测试图，避免了拍摄过程的坏点和噪声对对齐和点扩散函数估计造成影响，这一过程在红外拍摄中具有普遍性和实用性。2、本文针对cad导出的高分辨率真值图边缘的空洞和杂点做了滤波处理，这对图像边缘优化具有普遍适用性。3、本文提出一个评估对齐的标准，通过残差图以及方差使对齐效果更佳，为后面psf的估计提供了一个可参考的标准。4、点扩散的估计一直都是图像复原中的一个难题，尤其是测试图和真值图的对齐处理，本文基于MATLAB自带的旋转平移函数，本文档来自技高网...

【技术保护点】
1.一种红外成像的编码感知矩阵估计方法，其特征是，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换FFT估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。

【技术特征摘要】
1.一种红外成像的编码感知矩阵估计方法，其特征是，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换FFT估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。2.如权利要求1所述的红外成像的编码感知矩阵估计方法，其特征是，具体步骤如下：1)拟设计一组具有特定热辐射分布的靶标真值场景，并且采用所构建的空域编码成像系统进行拍摄，得到相应的观测图像，靶标真值包括数字、笔画、汉字、英文字母，进而估计出各种成像情况下的点扩散函数PSF，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况；2)对拍摄到的图像进行滤波，去除拍摄过程中产生的摩尔纹以及坏元，具体通过多帧取平均的方法，对摩尔纹进行初步消除处理，然后对残留的一些竖条纹，针对其频域分布特点，进行匹配滤波，消除竖条纹的影响；3)对滤波后的图像进行背景均一化处理，首先利用阈值方法获取到图像中字的轮廓，然后将剩余区域求平均值作为背景像素值，然后对相机捕获到的图像和对应真值图进行归一化处理；4)对高分辨率的靶标真值做杂点滤除处理，首先构造一个卷积滤波器将图中的这些杂点和空洞选出来，然后再重新对这些点赋值，进而消除这些杂点和空洞；5)对齐靶标的高分辨率真值图和观测图，采用数学软件MATLAB自带的im...

【专利技术属性】
技术研发人员：杨敬钰，王新燕，李坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12