一种基于分层最近邻域的变分光流确定方法及系统技术方案

本发明专利技术公开一种基于分层最近邻域的变分光流的确定方法及系统，所述方法包括：获取原始图像序列中的任意连续两帧图像，对两帧图像进行金字塔分层；采用决策树一致性近似邻域算法获取两帧图像中对应每层图像序列的最近邻域；识别每层图像序列的最近邻域的主要运动模式，依据主要运动模式和每层图像序列执行运动分割，得到每层运动分割光流；建立变分光流估计模型；将变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。本发明专利技术中的上述方法克服了针对大位移场景图像序列光流计算结果精度低的问题。

A variational optical flow determination method and system based on hierarchical nearest neighbor

The invention discloses a method and system for determining variational optical flow based on hierarchical nearest neighborhood. The method includes: acquiring any two consecutive frames of original image sequence, pyramidal layering of two frames of image; adopting decision tree consistency approximate neighborhood algorithm to obtain the most corresponding image sequence of each layer in two frames of image sequence. Near Neighborhood; Identify the main motion modes of the nearest neighborhood of each layer image sequence, and perform motion segmentation according to the main motion modes and each layer image sequence to obtain the optical flow of each layer motion segmentation; Establish a variational optical flow estimation model; Convert the variational optical flow estimation model into an image pyramid based on the progressive non-convex optimization scheme. Optical flow calculation model based on layered refinement optimization strategy, in which pseudo-Boolean function polynomial optimization algorithm is used to optimize the fusion of motion segmentation optical flow and variational optical flow in each layer, and the calculated optical flow results are obtained. The method overcomes the problem of low accuracy of optical flow calculation result for image sequence of large displacement scene.

【技术实现步骤摘要】
一种基于分层最近邻域的变分光流确定方法及系统
本专利技术涉及图像序列光流计算领域，特别是涉及一种基于分层最近邻域的变分光流确定方法及系统。
技术介绍
光流估计旨在计算两幅图像之间的像素位移场，是分析序列图像中运动目标的重要方法，图像中所有像素点光流矢量的集合则称为光流场。因其不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息，因此，对于变分光流的计算，是计算机视觉中最基础和深入研究的问题。变分光流，可用于各种视觉任务，如图像插值，超分辨率重建，目标分割与跟踪，动作识别和自主导航。近年来，随着光流估计方法的发展，针对简单场景图像序列光流估计技术已经取得较大进步，但是在针对图像序列包含诸如大位移运动，运动遮挡与间断，光照突变等具有挑战性的困难场景光流估计仍然具有较大误差。
技术实现思路
本专利技术的目的是提供一种基于分层最近邻域的变分光流确定方法及系统，来克服大位移场景图像序列光流计算结果精度较低的问题。为实现上述目的，本专利技术提供了如下方案：一种基于分层最近邻域的变分光流估计的确定方法，所述方法包括：获取原始图像序列中的任意连续两帧图像；对所述两帧图像进行金字塔分层；采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；识别并获取每层图像序列的最近邻域中的主要运动模式，并根据获取的主要运动模式和每层图像序列进行运动分割，得到每层运动分割结果；采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。可选的，所述运动分割过程具体包括：其中E(m)为运动分割结果，I1,I2为连续两帧图像，X＝(x,y)T为图像像素点坐标，X′＝(x′,y′)T为像素点X的邻域像素点坐标；m为运动模式，m∈{m1,m2,…mk}或P为从最近邻域中获得的主要运动模式的投影矩阵，为运动模式m周围的扰动偏差，为常数，m′∈Ω(mi)为实现I2(X+m′)-I1(X)|的最小匹配误差，m(X′)为以像素X′＝(x′,y′)T为中心的任意局部区域，和为非平方惩罚函数，ε为趋近于零的常数，β为常数。可选的，所述变分光流估计模型具体包括：其中，W＝(u,v)T表示图像序列帧间光流，u为光流水平分量，v为光流垂直分量，X＝(x,y)T为像素点坐标，为梯度算子，和为非平方惩罚函数，可选的，所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果具体包括：建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，光流数值化模型为：其中为光流计算模型数据项在第k层的偏导数，为光流计算模型平滑项在第k层图像的偏导数，表示第k层图像灰度I的空间偏导数，表示第k层图像灰度I的时间偏导数，div为散度，Wk＝(uk,vk)T表示第k层图像光流初始值，dWk＝d(uk,vk)表示第k层图像光流计算增量；根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值：Wk+1＝Wk+dWk；根据所述第k层光流额定计算值得到第n层的光流额定计算值：Wn+1＝Wn+dWn，1≤k≤n；将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1＝Wk+dWk，直到计算至第M阶段，得到第M阶段的光流额定计算值WM；将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法，再执行所述得到计算光流(u,v)T。本专利技术还另外提供一种基于分层最近邻域的变分光流估计的确定系统，所述系统包括：图像获取模块，用于获取原始图像序列中的任意连续两帧图像；金字塔分层模块，用于对所述两帧图像进行金字塔分层；最近邻域获取模块，用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；分割结果确定模块，用于识别每层图像序列的最近邻域的主要运动模式，并根据所述主要运动模式和每层图像序列进行运动分割，得到运动分割结果；分割光流获取模块，用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；变分光流估计模型获取模块，用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；计算光流结果获取模块，用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。可选的，所述计算光流结果获取模块具体包括：金字塔获取单元，用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；光流数值化模型获取单元，用于当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，获取光流数值化模型；第k层光流额定计算值获取单元，用于根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值；第n层的光流额定计算值获取单元，用于根据所述第k层光流额定计算值得到第n层的光流额定计算值；第M层光流额定计算值获取单元，用于将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值，并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1＝Wk+dWk，直到计算至第M阶段，得到第M阶段的光流额定计算值；计算光流结果获取单元，用于将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法，再执行所述得到计算光流(u，v)T。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术中采用分层最近邻域场作为变分光流计算先验模型的计算先验信息，并在优化过程中采用分层融合方法，克服了针对大位移场景图像序列光流计算结果精度较低的问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例基于分层最近邻域的变分光流计的确定方法流程图；图2为本专利技术实施例基于分层最近邻域的变分光流计的确定系统结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的目的是提供一种基于分层最近邻域的变分光流确定方法及系统，来克服本文档来自技高网...

【技术保护点】
1.一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述方法包括：获取原始图像序列中的任意连续两帧图像；对所述两帧图像进行金字塔分层；采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；识别并获取每层图像序列的最近邻域中的主要运动模式，并根据获取的主要运动模式和每层图像序列进行运动分割，得到每层运动分割结果；采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。

【技术特征摘要】
1.一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述方法包括：获取原始图像序列中的任意连续两帧图像；对所述两帧图像进行金字塔分层；采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域；识别并获取每层图像序列的最近邻域中的主要运动模式，并根据获取的主要运动模式和每层图像序列进行运动分割，得到每层运动分割结果；采用两阶段的伪布函数多项式优化算法优化所述运动分割结果，得到每层运动分割光流；根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型；将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果。2.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述运动分割过程具体包括：其中E(m)为运动分割结果，I1,I2为连续两帧图像，X＝(x,y)T为图像像素点坐标，X′＝(x′,y′)T为像素点X的邻域像素点坐标；m为运动模式，m∈{m1,m2,…mk}或P为从最近邻域中获得的主要运动模式的投影矩阵，为运动模式m周围的扰动偏差，为常数，m′∈Ω(mi)为实现|I2(X+m′)-I1(X)|的最小匹配误差，m(X′)为以像素X′＝(x′,y′)T为中心的任意局部区域，和为非平方惩罚函数，ε为趋近于零的常数，β为常数。3.根据权利要求2所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述变分光流估计模型具体包括：其中，W＝(u,v)T表示图像序列帧间光流，u为光流水平分量，v为光流垂直分量，X＝(x,y)T为像素点坐标，为梯度算子，和为非平方惩罚函数，4.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法，其特征在于，所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型，在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化，得到计算光流结果具体包括：建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔；当结合渐进非凸优化方案第一阶段时，所用金字塔图像为数值方案图像金字塔，光流数值化模型为：其中为光流计算模型数据项在第k层的偏导数，为光流计算模型平滑项在第k层图像的偏导数，表示第k层图像灰度I的空间偏导数，表示第k层图像灰度I的时间偏导数，div为散度，Wk＝(uk,vk)T表示第k层图像光流初始值，dWk＝d(uk,vk)表示第k层图像光流计算增量；根据所述第k层图像光流初始值Wk和所述第k层图像...

【专利技术属性】
技术研发人员：张聪炫，葛利跃，陈震，黎明，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：江西,36