一种改进的光流场模型算法制造技术

本发明专利技术公开了一种改进的光流场模型算法：采用局部互信息法求解参考图像和浮动图像之间初始位移场；构建参考图像和浮动图像的高斯金字塔图像层，在金字塔顶层图像，利用初始位移场矫正浮动图像层，最小化能量函数，求解参考图像层和浮动图像层之间运动位移场；将上一层运动位移场作为下一层初始位移场，利用光流方程计算下一层运动位移场；直到原始图像层，将获得的运动位移场作为最终运动位移场；根据最终运动位移场，对浮动图像校正，得到配准图像。本发明专利技术可以提高光流模型对非刚性图像大位移形变的估计精度，避免光流估计中的过平滑现象，提高光流估计的准确性，保留图像边缘特征，适用于物体的运动估计、目标识别、视频压缩等领域。

An improved optical flow field model algorithm

The invention discloses an improved optical flow field model algorithm: the local mutual information method is used to solve the initial displacement field between the reference image and the floating image; the Gauss Pyramid image layer of the reference image and the floating image is constructed. In the top layer image of Pyramid, the floating image layer is corrected by the initial displacement field, and the energy function is minimized. The motion displacement field between the reference image layer and the floating image layer is solved. The moving displacement field of the upper layer is used as the initial displacement field of the next layer, and the next motion displacement field is calculated by the light flow equation. The motion displacement field is obtained as the final motion displacement field until the original image layer is used, and the floating map is based on the final motion displacement field. Image registration is obtained as well as correction. This invention can improve the accuracy of the estimation of the large displacement of the non rigid image, avoid the oversmoothing in the estimation of the optical flow, improve the accuracy of the optical flow estimation, and retain the edge features of the image, and apply to the motion estimation of the object, the target recognition, the video compression and so on.

【技术实现步骤摘要】
一种改进的光流场模型算法
本专利技术属于计算机视觉领域，更具体的说，是涉及一种改进的光流场模型算法。
技术介绍
光流指的是空间运动物体在观察成像平面上的像素运动的瞬时速度，是通过图像序列中像素在时间域上的变化以及相邻帧之间的相关性，来寻找上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流不仅包含目标物体的大量运动信息，反映了图像的变化情况，还含有目标物体的三维结构等信息，被广泛地运用于运动估计、目标识别、视频检测、图像配准等领域。光流场模型算法主要分为4类：基于梯度的方法、基于特征匹配的方法、基于能量的方法、基于相位的方法。基于梯度的方法又称为微分法，它是利用时变图像灰度的梯度函数来计算像素的速度矢量，由于该方法计算简单，同时拥有较好的估计效果，因此被广泛采用。基于梯度方法的典型代表是Horn-Schunck光流方法，该方法在光流基本约束方程的基础上增加了全局平滑假设，进而计算出图像的光流场。值得注意的是：采用Horn-Schunck光流算法对图像进行配准时，能量函数必须满足亮度守恒和全局平滑一致性假设。然而，对于非刚性形变有时并不能够满足这两个假设条件。例如，当图像的光照变化不均匀时，采用亮度守恒估计的光流位移场的误差较大，不能很好的配准浮动图像；同时，当物体发生较大形变时，两幅图像之间的运动位移场可能会较大。此时，根据全局平滑一致性的假设，通过最小化能量函数，不能获得可靠的位移场，这会在很大程度上降低配准的准确度。另一方面，较强的全局平滑一致性假设也会导致光流的扩散在图像的边缘出现过平滑现象，不利于保持图像的边缘信息，因此，在图像的梯度信息变化较明显的地方，估计的运动位移场容易存在较大偏差。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足，提供了一种改进的光流场模型算法，利用初始位移场预先矫正浮动图像，可以提高光流模型对非刚性图像大位移形变的估计精度，同时，增加能量函数正则项的权重函数，避免光流估计中的过平滑现象，提高光流估计的准确性，保留图像的边缘特征。本专利技术的目的是通过以下技术方案实现的。一种改进的光流场模型算法，包括以下步骤：步骤一，采用局部互信息法求解参考图像和浮动图像之间的初始位移场；步骤二，构建参考图像和浮动图像的高斯金字塔图像层，在金字塔的顶层图像，利用得到的初始位移场预先矫正浮动图像层，然后最小化光流模型的能量函数，求解参考图像层和浮动图像层之间的运动位移场，向下传递位移场值；步骤三，将上一层得到的运动位移场作为下一层的初始位移场，再利用步骤二中采用的光流方程计算下一层的运动位移场，滤波后向下传递；步骤四，重复步骤三，直到原始图像层，将该层获得的运动位移场作为最终的运动位移场；步骤五，根据最终得到的运动位移场，对浮动图像进行校正，得到配准图像。步骤一中采用局部互信息法求解参考图像和浮动图像之间的初始位移场的主要流程为：1)对参考图像和浮动图像进行分块；2)对参考图像中的图像块N1，通过最大化局部互信息值，在浮动图像中找到最优匹配块N2，将它们之间的位移作为图像块N2中心点的位移值；3)重复步骤2)，直到得到浮动图像中所有图像块中心点的位移值；利用局部互信息法得到的光流位移场为稀疏光流场，通过数据插值方法，获得最终的初始位移场。局部互信息定义为：其中，N1和N2分别代表参考图像I1和浮动图像I2的图像块；W0＝(u0,v0)T是图像块N1和N2之间的位移场；u0代表水平位移，v0代表垂直位移；H(N1)和H(N2+W0)分别代表图像块N1和图像块N2+W0的独立熵；H(N1,N2+W0)代表图像块N1和图像块N2+W0之间的联合熵；代表图像块N1中像素值a的独立概率分布；代表图像块N2+W0中像素值b′的独立概率分布；代表图像块N1中像素值a和图像块N2+W0中像素值b′之间的联合概率分布；通过最大化局部互信息值得到稀疏光流场，具体公式如下所示：其中，代表图像块N1和N2之间的最优位移场。步骤二中最小化能量函数的过程为：改进的正则项如下式所示：ES(W)＝∫ΩΨ·β(W)·|▽W|2dX边缘特征匹配项定义为：Ematch(W)＝∫ΩΨ|W-Wf|2dX根据改进的正则项和边缘特征匹配项构建的能量函数为：E(W)＝ED(W)+αES(W)+λEmatch(W)其中，ED(W)＝Ecolor(W)+γEgrad(W)＝∫ΩΨ[|I2(X+W)-I1(X)|2+γ|▽I2(X+W)-▽I1(X)|2]dX将能量函数E(W)分别对u、v求导，并另其导数为0，得Euler-Lagrange方程，如下式所示：其中，其中，Ψ(s2)是惩罚函数，ε＝0.001，s＝(x,y)T关于横纵坐标x、y的变量；Ψ′(s2)是Ψ(s2)的一阶偏导；div(·)为散度；▽W＝(▽u,▽v)T,是空间梯度算子，u、v分表代表水平位移和垂直位移；W＝(u,v)T代表参考图像和浮动图像之间的位移场；X＝(x,y)T代表图像区域Ω中的一点；Wf＝(uf,vf)T是边缘匹配的位移场，uf、vf分表代表水平位移和垂直位移；γ是梯度守恒项和亮度守恒项之间的平衡系数，取0.3；α是正则项的权重系数，取0.8；λ是特征匹配项的权重系数，取0.3；I1、I2分别代表参考图像和浮动图像；u1、v1分表代表水平位移和垂直位移。是对x求偏导，是对y求偏导，是先对x求偏导再对y求偏导，是对y求两次偏导，是对x求两次偏导。与现有技术相比，本专利技术的技术方案所带来的有益效果是：(1)本专利技术在传统光流场的模型中，加入初始位移场，采用初始位移场预先矫正浮动图像，提高了光流估计的精度，有利于矫正非刚性图像的大位移形变，解决了传统光流场模型无法对发生大位移形变的非刚性图像进行有效配准的问题；(2)本专利技术将改进的正则项加入到传统光流模型的能量函数中，可以有效避免光流估计中的过平滑现象，有利于保留图像的边缘特征，避免光流过平滑现象，有着广泛的应用前景；(3)本专利技术将边缘特征匹配项加入到传统光流模型的能量函数中，可以较好地保留图像的内部细节特征。附图说明图1为本专利技术改进的光流场模型算法的流程图。图2为本专利技术中基于局部互信息法计算初始位移场的流程图。图3～图5为本专利技术针对几种非刚性图像测试图片的配准结果对比。其中，图3～图5中图(a)为参考图像及浮动图像；图(b)为采用Brox算法获得的配准结果及其差值图像；图(c)是利用LDOF算法获得的配准结果及差值图像；图(d)是利用Sun算法获得的配准结果及差值图像；图(e)是利用本专利技术算法获得的配准结果及差值图像。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步描述。为了解决
技术介绍
中存在的问题，本专利技术尝试利用局部互信息法求解初始位移场，对浮动图像做预处理矫正，以提高光流场算法对大位移形变的配准精度；同时利用增加的改进的正则项对光流估计进行约束，保留图像的边缘特征，避免过平滑现象。本专利技术改进的光流场模型算法，针对传统光流场模型无法对大位移形变进行有效配准，以及光流估计中容易出现过平滑问题进行了改进，具体过程如下：(一)采用局部互信息法求解参考图像和浮动图像之间的初始位移场，以矫正浮动图像的大位移形变，即通过估计初始位移场来替代原来由粗到细框本文档来自技高网...

【技术保护点】
一种改进的光流场模型算法，其特征在于，包括以下步骤：步骤一，采用局部互信息法求解参考图像和浮动图像之间的初始位移场；步骤二，构建参考图像和浮动图像的高斯金字塔图像层，在金字塔的顶层图像，利用得到的初始位移场预先矫正浮动图像层，然后最小化光流模型的能量函数，求解参考图像层和浮动图像层之间的运动位移场，向下传递位移场值；步骤三，将上一层得到的运动位移场作为下一层的初始位移场，再利用步骤二中采用的光流方程计算下一层的运动位移场，滤波后向下传递；步骤四，重复步骤三，直到原始图像层，将该层获得的运动位移场作为最终的运动位移场；步骤五，根据最终得到的运动位移场，对浮动图像进行校正，得到配准图像。

【技术特征摘要】
1.一种改进的光流场模型算法，其特征在于，包括以下步骤：步骤一，采用局部互信息法求解参考图像和浮动图像之间的初始位移场；步骤二，构建参考图像和浮动图像的高斯金字塔图像层，在金字塔的顶层图像，利用得到的初始位移场预先矫正浮动图像层，然后最小化光流模型的能量函数，求解参考图像层和浮动图像层之间的运动位移场，向下传递位移场值；步骤三，将上一层得到的运动位移场作为下一层的初始位移场，再利用步骤二中采用的光流方程计算下一层的运动位移场，滤波后向下传递；步骤四，重复步骤三，直到原始图像层，将该层获得的运动位移场作为最终的运动位移场；步骤五，根据最终得到的运动位移场，对浮动图像进行校正，得到配准图像。2.根据权利要求1所述的改进的光流场模型算法，其特征在于，步骤一中采用局部互信息法求解参考图像和浮动图像之间的初始位移场的主要流程为：1)对参考图像和浮动图像进行分块；2)对参考图像中的图像块N1，通过最大化局部互信息值，在浮动图像中找到最优匹配块N2，将它们之间的位移作为图像块N2中心点的位移值；3)重复步骤2)，直到得到浮动图像中所有图像块中心点的位移值；利用局部互信息法得到的光流位移场为稀疏光流场，通过数据插值方法，获得最终的初始位移场。3.根据权利要求2所述的改进的光流场模型算法，其特征在于，局部互信息定义为：其中，N1和N2分别代表参考图像I1和浮动图像I2的图像块；W0＝(u0,v0)T是图像块N1和N2之间的位移场；u0代表水平位移，v0代表垂直位移；H(N1)和H(N2+W0)分别代表图像块N1和图像块N2+W0的独立熵；H(N1,N2+W0)代表图像块N1和图像块N2+W0之间的联合熵；代表图像块N1中像素值a的独立概率分布；代表图像块N2+W0中像素值b′的独立概率分布；代表图像块N1中像素值a和图像块N2+W0中像素值b′之间的联合概率分布；通过最大化局部互信息值得到稀疏光流场，具体公式如下所示：其中，W0*＝(u0*,v0*)T代表图像块N1和N2之间的最优位移场。4.根据权利要求1所述的改进的光流场模型算法，其特征在于，步骤二中最小化能量函数的过程为：改进的正则项如下式所示：

【专利技术属性】
技术研发人员：何凯，闫佳星，魏颖，王阳，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12