针对运动边界的稠密光流快速计算方法、装置及电子设备制造方法及图纸

本发明专利技术属于机器视觉技术领域，公开了针对运动边界的稠密光流快速计算方法、装置及电子设备。所述方法包括：基于能量泛函变分求解图像金字塔第l层的稠密光流场；对所述稠密光流场进行运动边界区域N

【技术实现步骤摘要】
针对运动边界的稠密光流快速计算方法、装置及电子设备


[0001]本专利技术属于机器视觉
，具体涉及针对运动边界的稠密光流快速计算方法、装置及电子设备。

技术介绍

[0002]光流法是一种利用图像序列中像素在时间域中的变化，及相邻帧图像间相关性，以得到物体运行信息的估计方法。其在涉及目标追踪及运动获取的各种领域均具有广泛应用，例如实现智能机器人的视觉导航，无人机的位姿估计校准；以及通过云层变化进行气象分析预报，通过烟雾检测以获取森林火灾事故情况等。
[0003]依据光流场中二维矢量的疏密程度将光流法分为稠密光流法及稀疏光流法。其中，稠密光流法由于进行了图像逐点配准，具有配准效果更好的优点；因此其相较于稀疏光流法具有更广泛的使用场景。同时为了减小稠密光流计算过程中的噪声或异常值以提高最终的图像效果，还需要进行相应的滤波处理。
[0004]但基于现有的滤波手段进行稠密光流计算仍存在以下缺点：一方面，滤波处理的目的在于对整个图像序列进行优化，因此在具体的滤波过程中均针对整个光流场进行，而未考虑运动边界的特殊性，导致输出的图像常存在运动边界区域交叉混合的现象。进而导致光流计算结果无法在需要进行准确的目标及场景分割的领域具有良好的应用。另一方面，由于现有的滤波处理针对整个光流场进行，因此导致整个光流计算量较大；特别是稠密光流本身就具有计算量大的缺点。从而导致光流计算结果也无法实时性要求较高的实时导航或者物体检测等领域无法进行有效应用。

技术实现思路

[0005]本专利技术目的在于提供一种针对运动边界的稠密光流快速计算方法、装置及电子设备，以解决现有的稠密光流计算中无法快速准确的进行运动边界处理的技术问题。
[0006]为达成上述目的，本专利技术提出如下技术方案：
[0007]针对运动边界的稠密光流快速计算方法，包括：
[0008]基于能量泛函变分求解图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
；其中u
l
、v
l
分别为第l层图像的光流值的水平分量及及垂直分量；
[0009]对所述稠密光流场进行运动边界区域N
i
提取，并以所述运动边界区域中每个像素点i为中心设置邻域窗口；
[0010]建立非局部传播滤波器其中，W
i
为所述邻域窗口内中心像素点i处的光流场；W
i
’
为所述邻域窗口内任一像素点i
’
处的光流场；为所述邻域窗口内任一像素点i
’
相较于中心像素点i的权重，z
i
为确保所有权重之和为1的归一化因子；其中，Q(i
n
,i')表示i
n
和i
’
之间的相似性度量，i
n
为i至i
’
传播路径中的第n
个像素；P(i,i')表示i和i
’
之间的相似性度量；且所述Q(i
n
,i')与所述P(i,i')都与相应像素间的欧氏距离、亮度差值及光流散度同时相关；
[0011]基于所述非局部传播滤波器对所述第l层的稠密光流场进行处理以作为第l+1层的初始稠密光流场；
[0012]依次重复上述步骤直至得到最底层原始图像序列的光流场。
[0013]进一步的，所述基于能量泛函变分求解图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
之前，包括：
[0014]分别获取所述图像在水平方向上及垂直方向上的分辨率并判断高低；
[0015]对较高分辨率所在的方向进行下采样以构建图像分层，并计算每层在该方向上的分辨率；
[0016]对较低分辨率所在的方向依据上述分层结果进行下采样，以使每层在水平方向上及垂直方向上的分辨率相等。
[0017]进一步的，与所述图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
对应的能量函数为：
[0018][0019]其中，表示Charbonnier惩罚函数，和分别表示第l层图像中像素的亮度分别在对应方向的偏导数，表示空间梯度算子，λ表示平滑项系数因子。
[0020]进一步的，所述对所述稠密光流场进行运动边界区域N
i
提取，包括：
[0021]使用边缘检测器检测光流场的运动边界；
[0022]使用膨胀掩码扩展检测出的边界获取运动边界区域N
i
。
[0023]进一步的，所述Q(i
n
,i')与所述P(i,i')的表达式分别为：
[0024][0025][0026]其中，为像素点i
n
与像素点i
’
间的欧氏距离，σ
qs
为该项的优化参数；为像素点i
n
与像素点i
’
间的亮度差值，σ
qb
为该项的优化参数；为像素点i
n
与像素点i
’
间的光流散度，σ
qd
为该项的优化参数；
[0027]为像素点i与像素点i
’
间的欧氏距离，σ
ps
为该项的优化参数；
为像素点i与像素点i
’
间的亮度差值，σ
pb
为该项的优化参数；为像素点i与像素点i
’
间的光流散度，σ
pd
为该项的优化参数。
[0028]进一步的，对于所述各相应的优化参数，σ
qs
＞σ
ps
，σ
qb
＞σ
pb
，σ
qd
＞σ
pd
。
[0029]针对运动边界的稠密光流快速计算装置，包括：
[0030]输入模块，所述输入模块用于获取相邻两帧图像对应的图像金字塔；
[0031]光流计算模块，所述光流计算模块用于基于能量泛函变分对图像金字塔第l层的稠密光流场进行求解；
[0032]边界提取模块，所述边界提取模块用于对所述稠密光流场进行运动边界区域提取；
[0033]非局部传播滤波模块，所述非局部传播滤波模块用于对所述运动边界区域进行非局部传播滤波；
[0034]输出模块，所述输出模块用于对最底层原始图像的光流场进行输出。
[0035]进一步的，包括预处理模块，所述预处理模块用于对相邻两帧图像进行下采样得到图像金字塔。
[0036]进一步的，所述边界提取模块包括：
[0037]边缘检测器，所述边缘检测器用于检测光流场的运动边界；
[0038]膨胀掩码扩展器，所述膨胀掩码扩展器用于检测运动边界区域。
[0039]针对运动边界的稠密光流快速计算电子设备，包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.针对运动边界的稠密光流快速计算方法，其特征在于，包括：基于能量泛函变分求解图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
；其中u
l
、v
l
分别为第l层图像的光流值的水平分量及及垂直分量；对所述稠密光流场进行运动边界区域N
i
提取，并以所述运动边界区域中每个像素点i为中心设置邻域窗口；建立非局部传播滤波器其中，W
i
为所述邻域窗口内中心像素点i处的光流场；W
i
’
为所述邻域窗口内任一像素点i
’
处的光流场；为所述邻域窗口内任一像素点i
’
相较于中心像素点i的权重，z
i
为确保所有权重之和为1的归一化因子；其中，Q(i
n
,i')表示i
n
和i
’
之间的相似性度量，i
n
为i至i
’
传播路径中的第n个像素；P(i,i')表示i和i
’
之间的相似性度量；且所述Q(i
n
,i')与所述P(i,i')都与相应像素间的欧氏距离、亮度差值及光流散度同时相关；基于所述非局部传播滤波器对所述第l层的稠密光流场进行处理以作为第l+1层的初始稠密光流场；依次重复上述步骤直至得到最底层原始图像序列的光流场。2.根据权利要求1所述的针对运动边界的稠密光流快速计算方法，其特征在于，所述基于能量泛函变分求解图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
之前，包括：分别获取所述图像在水平方向上及垂直方向上的分辨率并判断高低；对较高分辨率所在的方向进行下采样以构建图像分层，并计算每层在该方向上的分辨率；对较低分辨率所在的方向依据上述分层结果进行下采样，以使每层在水平方向上及垂直方向上的分辨率相等。3.根据权利要求1所述的针对运动边界的稠密光流快速计算方法，其特征在于，与所述图像金字塔第l层的稠密光流场W＝(u
l
,v
l
)
T
对应的能量函数为：其中，表示Charbonnier惩罚函数，和分别表示第l层图像中像素的亮度分别在对应方向的偏导数，表示空间梯度算子，λ表示平滑项系数因子。4.根据权利要求1所述的针对运动边界的稠密光流快速计算方法，其特征在于，所述对所述稠密光流场进行运动边界区域N
i
提取，包括：使用边缘检...

【专利技术属性】
技术研发人员：董冲，方挺，韩家明，
申请(专利权)人：安徽工业大学科技园有限公司，
类型：发明
国别省市：