噪声环境下光流场快速稳健估计方法技术

本发明专利技术涉及一种噪声环境下光流场快速稳健估计方法。所提算法基于噪声环境下光流场估计方法（ML法），引入惩罚因子以增强光流计算稳健性，并在光流计算迭代公式中加入动量因子缩短光流计算收敛时间以加快光流场计算，而后基于变分方法极小化光流能量函数求解欧拉‑拉格朗日方程，最后通过迭代方法求得速度场。仿真结果表明，对视频中连续两帧图片加入不同高斯噪声后，与M算法及ML方法相比，所提算法可显著增强光流场计算稳健性，缩短光流计算收敛时间，加快光流场计算。

Fast and robust estimation method of optical flow in noisy environment

The invention relates to a fast and robust estimation method for optical flow in noisy environment. The proposed algorithm is based on the method of optical flow estimation under the noise environment (ML method). The penalty factor is introduced to enhance the robustness of the optical flow calculation, and the momentum factor is added in the iterative formula of the optical flow calculation to shorten the convergence time of the optical flow calculation to speed up the calculation of the optical flow field, and then the Euler lager lager based on the variational method is minimized. The Lagrangian equation is used. Finally, the velocity field is obtained by iterative method. The simulation results show that, compared with the M algorithm and the ML method, the proposed algorithm can significantly enhance the robustness of the optical flow field, shorten the convergence time of the optical flow calculation and accelerate the calculation of the optical flow field, after adding different Gauss noise to the two frames in the video.

【技术实现步骤摘要】
噪声环境下光流场快速稳健估计方法
本专利技术属于无人机视频监测领域，具体涉及一种噪声环境下光流场快速稳健估计方法。
技术介绍
光流的概念是Gibson于1950年提出的。光流是图像亮度模式的表观运动，表达了图像变化，由于它包含目标运动信息，因此可被观察者用来确定目标运动情况。光流技术在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复、模式识别等计算机视觉领域有着广泛应用。1981年，Horn和Schunck创造性地将二维速度场与灰度场结合，在光流基本约束方程基础上引入全局平滑约束，得到光流计算的基本方法(HS法)。HS法是在两组基本假设基础上建立起来的，其中，基本约束方程基于灰度恒定假设即在连续相邻图像上，对应物体上同一点的像素灰度值相同；全局平滑约束方程则基于光流平滑假设即光流场处处平滑。近些年，随着光流技术的广泛应用，众多学者致力于稳健性更好，速度更快的光流计算方法研究。继Horn和Schunck的HS光流算法之后，其他学者相继提出许多新的光流计算方法，如：Lucas-Kanade的局部平滑法(LK法)、金字塔LK光流法、局部与全局结合光流法、小波光流法等，使得光流计算得到进一步发展。然而，对于实际场景而言，上述方法所得光流场都存在较大误差，主要缘由在于灰度守恒假设的不合理性。实际上，多数应用场景中，即使光照条件不变，连续相邻图像上物体同一元面对应像素灰度仍有可能是变化的。基于以上原因，日本学者MUKAWA对光流基本约束方程进行修正，并根据物体运动、投影及光流模型对修正项表达式进行推导得到新的光流场计算方法(M法)。此方法通过对图像序列进行光流场估计，取得了优于传统方法的效果。然而，此修正依然是在理想图像环境中进行的，即没有考虑实际视频图像中噪声对光流计算的影响，因此该算法对噪声的鲁棒性较差。针对此问题，马龙等提出噪声环境下光流场估计方法(ML法)，即在M法基础上对基本方程做了进一步修正并加入噪声约束。仿真实验表明，ML方法所得光流较M法而言，对噪声有较好的鲁棒性，但所得光流稳健性较差且计算复杂度较高。
技术实现思路
本专利技术提出一种噪声环境下光流场快速稳健估计方法，以解决噪声影响下光流计算稳健性较差及收敛速度慢的问题。本专利技术为解决其技术问题所采用的技术方案为提供一种噪声环境下光流场快速稳健估计方法，该方法包括以下步骤：步骤1：光流约束方程假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，在Δt时间后该像素点亮度变为I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时可认为该点亮度不变，得到等式：将改写为Ix,Iy,It，并令则重写上式，得到光流计算的基本等式：Ixu+Iyv+It＝0(2)u,v表示速度场矢量的两个分量；步骤2：构建能量函数方程①光流约束方程修正设物体面元由位置P运动到位置P'，对应成像投影在像平面上由p移动到p'，假设物体表面为朗伯面，则p和p'的灰度分别为：其中，ρd为物体表面漫反射系数，Iq为入射光强度，设为常数；N和N'分别为物体面元在位置P和P'的单位法向量；L为入射光的单位方向向量；θ为N和L的夹角；θ'为N'和L的夹角；光流基本方程的修正项为：其中：ΔN表示曲面法线运动变化；从而将基本方程修正为：cI+Ixu+Iyv+It＝0(5)定义光流约束因子为：e≈(cI+Ixu+Iyv+It)2(6)其中，c为参量，连同u,v采用全部平滑约束；全部平滑约束用梯度模的平方和来测度；定义光流场的全局平滑约束因子为：定义参量c的全局平滑约束因子为:设I'(x,y,z)为I(x,y,z)受加性噪声n(x,y,z)污染后图像点(x,y)的实际灰度值，则：I(x,y,z)＝I(x,y,z)-n(x,y,z)(9)假设式(9)中的噪声n(x,y,z)是均值为0，方差为δ2的高斯白噪声，则：I(x,y,z)((x,y)∈Ω)未受噪声污染，故应满足全局平滑约束，定义灰度全局平滑约束因子为：②引入惩罚项引入二次项β2(u2+v2+c2)作为惩罚项：e4＝β2(u2+v2+c2)(13)噪声环境下光流场估计问题可转化为式(11)约束下极小化：其中，α1,α2,α3为调和4类约束因子的权参数；步骤3：求解光流场①光流求解迭代公式根据拉格朗日乘数法，式(11)约束下极小化式(14)即是极小化：令：F(x,y,I,u,v,c,Ix,Iy,ux,uy,vx,vy,cx,cy)＝e+α1e1+α2e2+α3e3+e4+λ(I-I')-λδ2(16)由变分法，式(15)取极小值的必要条件为：将式(16)带入式(17)，化简后可得：其中，为s分量的拉普拉斯算子，可采用下式估算：和si,j,k分别为tk时刻(xi,yi)处s分量的取值及其邻域平均值，K＝1；定义为：由式(18)式中(d)可得：(Ixu+Iyv+It+cI)＝α2(cxx+cyy)/I(21)化简得：其中：式(23)两端乘以(I-I')并在图像平面Ω上积分得：将式(11)带入式(24)可得:由式(22)和(25)进一步可得：②添加动量因子后的光流求解迭代公式在光流迭代公式中添加动量因子以加快光流场计算，即：其中：在对图像求x方向、y方向和t方向的导数时，采用的公式如下：步骤4：迭代求解根据式(28)，用Gauss-Seidel方法进行迭代，并计算两次迭代光流值的误差，如果小于0.005，或者迭代次数超过200次，则此时所得即为所求光流值。针对噪声影响下光流计算稳健性较差及收敛速度慢的问题，提出了一种噪声环境下光流场快速稳健估计方法，在ML算法基础上，引入惩罚因子以增强光流计算稳健性，在光流计算迭代公式中加入动量因子缩短光流计算收敛时间以加快光流场计算。附图说明图1为本专利技术实现的流程图。图2为运动引起的面元成像灰度变化图。图3为不同算法得到的光流图。具体实施方式以下结合附图和具体实施方式对本专利技术作进一步说明。如图1所示为本专利技术实现的流程图。该方法包括以下步骤：步骤1：光流约束方程假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，在Δt时间后该像素点亮度变为I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时可认为该点亮度不变，得到等式：将改写为Ix,Iy,It，并令则重写上式，得到光流计算的基本等式：Ixu+Iyv+It＝0(2)u,v表示速度场矢量的两个分量。计算光流的过程就是求解u,v的过程，两个参量只有一个等式，因此为欠估计问题，为了确定光流速度，必须加入其他约束进行求解。步骤2：构建能量函数方程①光流约束方程修正如图2所示，物体面元由位置P运动到位置P'，对应成像投影在像平面上由p移动到p'，假设物体表面为朗伯面，则p和p'的灰度分别为：其中，ρd为物体表面漫反射系数，Iq为入射光强度，设为常数；N和N'分别为物体面元在位置P和P'的单位法向量；L为入射光的单位方向向量；θ为N和L的夹角；θ'为N'和L的夹角；由于面元在位置P和P'时的表面法线朝向不同，因此Ip≠Ip'。通常应用中，即使光照条件不变，连续相邻图像上物体同一元面对应像素灰度仍有可能是变化的。MUKAWA根据物体运动、投影及光照模型证明灰度恒定假设在绝大多数情况下都不成立，并推导的基本方程的修正项为：其中：ΔN表示曲面法线运动变化；从而将基本方程修正本文档来自技高网...

【技术保护点】
噪声环境下光流场快速稳健估计方法，其特征在于，该方法包括以下步骤：步骤1：光流约束方程假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，在Δt时间后该像素点亮度变为I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时认为该点亮度不变，得到等式：

【技术特征摘要】
1.噪声环境下光流场快速稳健估计方法，其特征在于，该方法包括以下步骤：步骤1：光流约束方程假设图像上一点(x,y)在t时刻的亮度为I(x,y,t)，在Δt时间后该像素点亮度变为I(x+Δx,y+Δy,t+Δt)，当Δt趋于无穷小时认为该点亮度不变，得到等式：将改写为Ix,Iy,It，并令则重写上式，得到光流计算的基本等式：Ixu+Iyv+It＝0(2)u,v表示速度场矢量的两个分量；步骤2：构建能量函数方程①光流约束方程修正设物体面元由位置P运动到位置P'，对应成像投影在像平面上由p移动到p'，假设物体表面为朗伯面，则p和p'的灰度分别为：其中，ρd为物体表面漫反射系数，Iq为入射光强度，设为常数；N和N'分别为物体面元在位置P和P'的单位法向量；L为入射光的单位方向向量；θ为N和L的夹角；θ'为N'和L的夹角；光流基本方程的修正项为：其中：ΔN表示曲面法线运动变化；从而将基本方程修正为：cI+Ixu+Iyv+It＝0(5)定义光流约束因子为：e≈(cI+Ixu+Iyv+It)2(6)其中，c为参量，连同u,v采用全部平滑约束；全部平滑约束用梯度模的平方和来测度；定义光流场的全局平滑约束因子为：e1＝||▽u||2+||▽v||2＝(ux2+vx2+uy2+vy2)(7)定义参量c的全局平滑约束因子为:e2＝||▽c||2＝(cx2+cy2)(8)设I'(x,y,z)为I(x,y,z)受加性噪声n(x,y,z)污染后图像点(x,y)的实际灰度值，则：I(x,y,z)＝I(x,y,z)-n(x,y,z)(9)假设式(9)中的噪声n(x,y,z)是均值为0，方差为δ2的高斯白噪声，则：I(x,y,z)((x,y)∈Ω)未受噪声污染，故应满足全局平滑约束，定义灰度全局平滑约束因子为：e3＝||▽I||2＝(Ix2+Iy2)(12)②引入惩罚项引入二次项β2(u2+v2+c2)作为惩罚项：e4＝β2(u2+v2+c2)(13)噪声环境下光流场估计问题转化为式(11)约束下极小化：其中，α1,α2,α3为调和4类约束因子的权参数；步骤3：求解光流场①光流求解迭代公式根据拉格朗日乘数法，式(11)约束下极小化式(14)即是极小化：令：F(x,y,I,u,v,c,Ix,Iy,ux,uy,vx,vy,cx,cy)＝e+α1e1+α2e2+α3e3+e4+λ(I-I')-λδ2(16)由变分法，式(15)取极小值的必要条件为：将式(16)带入式(17)，化简后得：其中，sxx+syy＝▽2s(s＝I,u,v,c)为s分量的拉普拉斯算子，采用下式估算：和si,j,k分别为tk时刻(xi,yi)处s分量的取值及其邻域平均值，K＝1；定义为：由式(18)式中(d)可得：(Ixu+Iyv+It+cI)＝α2(cxx+cyy)/I(21)化简得：

【专利技术属性】
技术研发人员：王洪雁，郑佳，邱贺磊，
申请(专利权)人：大连大学，
类型：发明
国别省市：辽宁,21