基于各向异性时空域全变分非均匀性校正的方法技术

本发明专利技术公开了一种基于各向异性时空域全变分非均匀性校正的方法。该方法通过建立起基于多帧图像的各向异性全变分模型，将去除红外图像非均匀性条纹噪声的问题转化为一个最小化全变分问题，之后采用分离布拉格曼（Split Bregman）方法进行最优化，帧间迭代出最优解，其最后一次迭代结果即为校正后的红外图像。本发明专利技术的创新点在于对传统的全变分模型进行了时空域扩展，同时针对非均匀条纹噪声水平方向全变分远大于竖直方向全变分的结构特点改进方程，使其能适用于红外图像非均匀性校正，利用Split Bregman方法代替最陡梯度下降法进行方程最优化处理，大大提升了处理速度，满足了视频处理的实时性要求，同时在帧间迭代时设置了阈值，防止物体快速运动时校正失真。

Method for correcting total variation nonuniformity based on anisotropic space-time domain

The invention discloses a method for correcting total variation nonuniformity based on anisotropic space-time domain. The method established based on anisotropic multi frame images based on total variation model, the removal of the infrared image nonuniformity stripe noise problem into a minimization of total variation, after separation by bragman (Split Bregman) method for inter iteration optimization, the optimal solution, the last time the iterative results after correction for infrared image. All of the traditional model of the space-time domain extension is the innovation point of the invention, aiming at the structure characteristics of non-uniform horizontal stripe noise total variation is far greater than the vertical direction of the whole variational equation is improved, so that it can be applied to infrared image nonuniformity correction, using Split Bregman method instead of the steepest gradient the equation optimization descent method, greatly improves the processing speed, meets the real-time requirement of video processing, and the threshold setting in inter iteration, to prevent the fast motion object distortion correction.

【技术实现步骤摘要】

本专利技术涉及红外视频图像的非均匀校正技术，具体涉及一种基于各向异性时空域全变分非均匀性校正的方法。
技术介绍
红外焦平面阵列器件(IRFPA)是当前最主流的红外探测器，广泛应用于各个领域，但由于制造工艺以及工作环境等因素影响，IRFPA的探测元的响应度不一致，具体表现为输出图像存在一定的非均匀固定条纹噪声(NUC-FPN)，严重影响成像质量。目前，国内外的非均匀校正(NUC)方法大致可分为两大类：基于定标的方法和基于场景的方法。其中基于定标的方法利用温度分布均匀的红外热源(诸如黑体)对探测器进行标定来解决非均匀性的问题，该类方法的准确度比较高，但是在发生温漂时需要重新标定来不断的修正校正参数，操作十分麻烦。基于场景的方法主要有基于统计的和基于配准的两大类。基于统计的方法通常对焦平面接收到的辐射量进行时间上以及空间上的统计假设，在此假设的基础上不断修正校正参数，完成非均匀性校正。其中代表性的有时域高通法、统计恒定法、神经网络法、恒定范围法及其相应的扩展形式。然而，由于图像场景千变万化，上述算法的假设并不能在任何场合均得到满足，因此这类校正算法通常伴随较为严重的鬼影。另一类是基于配准的方法，其假设前提为，在较短的时间间隔内，对相同的图像场景，如果不存在非均匀性，则每个像元的响应应该是相同的，因此这类技术需要对红外图像序列进行精准的配准。其中比较有代表性的有全景图积累法，代数校正法等。这类算法存在计算量与存储量大，校正误差易逐级累积并传播，无法处理旋转和缩放情况下相邻帧间配准等问题。基于全变分红外图像非均匀性校正方法最初由EstebanVera和PabloMeza提出(V.Esteban,M.Pablo,“Totalvariationapproachforadaptivenonuniformitycorrectioninfocal-planearrays,”OpticsLetters,36,172-174(2011))，通过将非均匀噪声视为固定噪声的一种，从单纯的图像角度进行去噪处理。具有实时性好，适用范围广，校正精度高等优点。缺点是论文中采用的变分模型是同时沿着x轴和y轴进行的，忽视了非均匀噪声在结构上表现为条纹噪声的特点。同时文中采用了L2范数进行正则约束，在滤去噪声的同时，也模糊了图像的细节，也没有考虑到视频图像帧间的相关性。因此，本专利在该篇论文的基础上提出了一种基于各向异性时空域全变分非均匀性校正的新方法，能在校正非均匀性条纹噪声的同时最大限度的保护图像细节。
技术实现思路
本专利技术的目的在于提供一种基于各向异性时空域全变分非均匀性校正的方法，可以在无需预先标定的情况下实时的进行非均匀性条纹噪声的去噪，在有效去除图像的固定条纹噪声的同时，最大程度的保留图像的细节信息，提高图像的质量。该方法具有除噪效果好，处理速度快等优点，能满足了视频处理的实时性要求。实现本专利技术目的的技术解决方案为：一种基于各向异性时空域全变分非均匀性校正的方法，包括以下步骤：步骤1、采集含非均匀性噪声的红外图像序列f(i,j,t)＝u(i,j,t)+n(i,j,t)，其中f(i,j,t)表示实际观察到的图像，u(i,j,t)表示理想的无噪图像，n(i,j,t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i,j)表示图像像素点的位置，t表示视频序列的第t帧图像。步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i,j,t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：其中f为f(i,j,t)的通用表示，u为u(i,j,t)的通用表示，H(u)为正则项；J(u)为图像能量泛函；为保真项；λ为平滑系数；Ω表示单帧图像像素点构成的空间。又对正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1(2)dx为图像时空域上对于像素点的x轴的一阶差分，dt为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数；其具体的表达式如下：ux(i,j,t)＝u(i+1,j,t)-u(i,j,t)(3)ut(i,j,t)＝u(i,j,t)-u(i,j,t+1)(4)将式(2)～(4)带入式(1)，更新图像的全变分模型J(u)：步骤3：通过SplitBregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal。上述步骤2中，采用全变分模型对上述含非均匀性噪声的红外图像序列f(i,j,t)建立图像的全变分模型，并对全变分模型进行更新，具体的步骤为：步骤2-1)输入视频图像序列f(i,j,t)＝u(i,j,t)+n(i,j,t)，读取相邻两帧图像ft1(M,N,t1)和ft2(M,N,t2)，其中M为图像的总行数，N为图像的总列数，t1和t2均代表帧数。步骤2-2)对于t1时刻的图像，对于像素点(i,j)建立图像噪声模型ft1(i,j,t1)＝u(i,j,t1)+n(i,j,t1)，其时空域x轴方向和帧间方向上t的一阶差分表示如下：对于x轴方向，当j＜M时，取ux(i,j,t1)＝u(i,j+1,t1)-u(i,j,t1)；对帧间方向：ut(i,j,t)＝u(i,j,t2)-u(i,j,t1)；对于图像边界处j＝M，取ux(i,M,t1)＝0；ux(i,M,t2)＝0；步骤2-3)将式(2)～(4)带入式(1)，得到全变分模型J(u)离散化表示：设置帧间阈值T，判断f(i,j,t2)-f(i,j,t1)是否大于T：当f(i,j,t2)-f(i,j,t1)≤T，保留式(5)中的ut(i,j,t1)项；当f(i,j,t2)-f(i,j,t1)>T，删除式(5)中的ut(i,j,t)项，此时J(u)退化为一个仅对图像空间域竖直方向进行校正的单帧模型：。进一步的，上述步骤3中，通过SplitBregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal，具体的步骤为：3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(7)；其中dx是图像水平方向的二次惩罚项，dt是时间方向的二次惩罚项，bx是引入图像水平方向的辅助变量，bt是引入的时间方向的辅助变量，α和β是方程的Bregman惩罚系数；3-2)将式(7)中u，dx，dy这三个未知变量进行分离，得到两个最优化子问题；对于变量u，分离后最优化子方程如下：对于变量dx和dt，分离后最优化子方程组如下：3-3)式(8)等价于一个基于线性算子的迭代过程，即式(10)：通过快速傅里叶变换，得到u的封闭解如下：其中F是快速傅里叶变换，F-1为傅里叶逆变换；3-4)采用shrink算子对式(9)的迭代最小化，得到；其中λ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取同理，对dt也采用如上处理方式；3-5)对于余下的未知数bx和by，采用代入法迭代求解：3-6)使用SplitBregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。本专利技术与现有技术相比，本文档来自技高网...

【技术保护点】
一种基于各向异性时空域全变分非均匀性校正的方法，其特征在于，包括以下步骤：步骤1、采集含非均匀性噪声的红外图像序列f(i,j,t)＝u(i,j,t)+n(i,j,t)，其中f(i,j,t)表示实际观察到的图像，u(i,j,t)表示理想的无噪图像，n(i,j,t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i,j)表示图像像素点的位置，t表示视频序列的第t帧图像；步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i,j,t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：J(u)=∫Ω[λH(u)+12(f-u)2]dxdy---(1)]]>其中f为f(i,j,t)的通用表示，u为u(i,j,t)的通用表示，H(u)为正则项；J(u)为图像能量泛函；为保真项；λ为平滑系数；Ω表示单帧图像像素点构成的空间；又对正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1          (2)dx为图像时空域上对于像素点的x轴的一阶差分，dt为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数；其具体的表达式如下：ux(i,j,t)＝u(i+1,j,t)‑u(i,j,t)             (3)ut(i,j,t)＝u(i,j,t)‑u(i,j,t+1)             (4)将式(2)～(4)带入式(1)，更新图像的全变分模型J(u)：J(u)=12||u-f||22+λ1||ux||1+λ2||ut||1---(5)]]>步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal。...

【技术特征摘要】
1.一种基于各向异性时空域全变分非均匀性校正的方法，其特征在于，包括以下步骤：步骤1、采集含非均匀性噪声的红外图像序列f(i,j,t)＝u(i,j,t)+n(i,j,t)，其中f(i,j,t)表示实际观察到的图像，u(i,j,t)表示理想的无噪图像，n(i,j,t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i,j)表示图像像素点的位置，t表示视频序列的第t帧图像；步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i,j,t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：J(u)=∫Ω[λH(u)+12(f-u)2]dxdy---(1)]]>其中f为f(i,j,t)的通用表示，u为u(i,j,t)的通用表示，H(u)为正则项；J(u)为图像能量泛函；为保真项；λ为平滑系数；Ω表示单帧图像像素点构成的空间；又对正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1(2)dx为图像时空域上对于像素点的x轴的一阶差分，dt为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数；其具体的表达式如下：ux(i,j,t)＝u(i+1,j,t)-u(i,j,t)(3)ut(i,j,t)＝u(i,j,t)-u(i,j,t+1)(4)将式(2)～(4)带入式(1)，更新图像的全变分模型J(u)：J(u)=12||u-f||22+λ1||ux||1+λ2||ut||1---(5)]]>步骤3：通过SplitBregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal。2.根据权利要求1所述的基于各向异性时空域全变分非均匀性校正的方法，其特征在于：上述步骤2中，采用全变分模型对上述含非均匀性噪声的红外图像序列f(i,j,t)建立图像的全变分模型，并对全变分模型进行更新，具体的步骤为：步骤2-1)输入视频图像序列f(i,j,t)＝u(i,j,t)+n(i,j,t)，读取相邻两帧图像ft1(M,N,t1)和ft2(M,N,t2)，其中M为图像的总行数，N为图像的总列数，t1和t2均代表帧数；步骤2-2)对于t1时刻的图像，对于像素点(i,j)建立图像噪声模型ft1(i,j,t1)＝u(i,j,t1)+n(i,j,t1)，其时空域x轴方向和帧间方向上t的一阶差分表示如下：对于x轴方向，当j＜M时，取ux(i,j,t1)＝u(i,j+1,t1)-u(i,j,t1)；对帧间方向：ut(i,j,t)＝u(i,j,t2)-u(i,j,t1)；对于图像边界处j＝M，取ux(i,M,t1)＝0；ux(i,M,t2)＝0；步骤2-3)将式(2)～(4)带入式(1)，得到全变分模型J(u)离散化表示：J(u)=12||u-f||22+λ1||u(i+1,j,t)-u(i,j,t)||1+λ2||u(i,j,t)-u(i,j,t+1)||1---(6)]]>设置帧间阈值T，判断f(i,j,t2)-f(i,j,t1)是否大于T：当f(i,j,t2)-f(i,j,t1)≤T，保留式(5)中的ut(i,j,t1)项；当f(i,j,t2)-...

【专利技术属性】
技术研发人员：顾国华，潘科辰，隋修宝，沈雪薇，陶远荣，匡小冬，吴健，张业伟，高航，刘源，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32