一种视频运动物体精确追踪方法技术

本发明专利技术公开了一种视频运动物体精确追踪方法，主要步骤如下：对待检测视频进行分帧；获取各帧物体分割掩膜；获得各帧的光流图；利用SLIC超像素分割算法，将各帧分割为2000个超像素；利用DBSCAN聚类方法以平均光流特征对2000个超像素进行自动聚类，确定属于背景的超像素，并去除属于背景的物体掩膜；在视频首帧标定需要精确追踪的物体内部一个像素点的坐标；利用光流信息将包含指定像素的物体掩膜进行双向传播并加以优化；将各帧RGB、HSV和CIELAB颜色空间图像，光流图以及优化后的物体掩膜送入浅层全卷积网络，获得最终像素级分割结果；本方面通过综合利用复合颜色空间特征及光流信息，提升了视频中特定运动物体的精确追踪准确率。确率。确率。

【技术实现步骤摘要】
一种视频运动物体精确追踪方法


[0001]本专利技术涉及计算机视觉和人工智能
，具体涉及一种视频运动物体精确追踪方法。

技术介绍

[0002]对视频中特定的运动物体进行像素级的精确追踪，需要对视频各帧中的每一个像素赋予标签，标示出像素属于需要精确追踪的前景物体或背景。视频中运动物体的精确追踪在工业生产、社会治理以及安防等领域具有重要作用，同时也可作为后续多种视频处理及计算机视觉应用的重要基础。因此，增强对视频中特定运动物体进行精确追踪的准确性，具有重要的研究意义与迫切的实际需求。
[0003]目前解决视频物体精确追踪问题的方法包括根据视频像素建立图模型，通过最小化能量函数来进行各像素分类。另外还有通过经验手工设计特征，并从视频中提取相关特征来进行各像素的方法。另一方面，随着近年来深度学习技术的发展，一系列基于深度神经网络的视频物体精确追踪技术也被提出。目前相关方法可分为无监督和有监督两大类。无监督视频物体精确追踪方法主要利用显著度或运动特性等进行前景物体的追踪，不需要提供其他信息。该类方法应用较为简便，但无法追踪视频中的特定物体。有监督视频物体精确追踪方法可对视频当中的特定物体进行追踪，但往往需要提供该物体在视频首帧的像素级完整掩膜，这在实际应用中往往难以实现。
[0004]由于现有的视频物体精确追踪方法自身仍存在一定局限性，同时还容易受到物体运动、光照变化、物体遮挡等影响，在实际应用当中仍然充满了挑战。

技术实现思路

[0005]为了解决现有技术中对视频特定运动物体精确追踪准确度仍有不足的缺陷，本专利技术提供了一种视频运动物体精确追踪方法。该方法利用了视频帧空域的颜色空间特征以及时域的光流信息，并将物体掩膜通过前向及后向传递进行修正，再通过神经网络获取最终的像素级精度追踪结果，具有较高的准确度。
[0006]本专利技术的目的可以通过采取如下技术方案达到：
[0007]一种视频运动物体精确追踪方法，其特征在于，包括以下步骤：
[0008]S1、对待检测视频进行分帧处理，得到各帧的帧图像，分别记为I0、I1、I2、
…
、I
N
‑1，其中N为视频总帧数；
[0009]S2、利用像素级物体分割方法，对每一幅帧图像进行检测，获得各帧的物体掩膜，分别记为M0、M1、M2、
…
、M
N
‑1；
[0010]S3、对于第i幅帧图像I
i
，选择其前后相邻的I
i
‑3、I
i
‑2、I
i
‑1、I
i+1
、I
i+2
及I
i+3
帧图像中的存在者，分别与I
i
组合计算获得对应的稠密光流图，并进一步计算每一个像素点的平均光流，得到于第i幅帧图像对应的平均光流图，记为水平分量光流图X
i
以及垂直分量光流图Y
i
，i∈{0，1，2，
…
，N
‑
1}；
[0011]S4、利用SLIC超像素分割算法将各幅帧图像分割为2000个超像素，将第i幅帧图像的第j个超像素记为S
ij
，其中j∈{0，1，2，
…
，1999}；
[0012]S5、计算每一个超像素中所有像素的平均光流，记为V
ij
；
[0013]S6、对于第i幅帧图像，以其中各超像素的平均光流V
ij
为特征，利用DBSCAN聚类方法对2000个超像素进行自动聚类，按类内超像素从多到少的顺序对类进行排列，将第i帧第k个类别中包含超像素的数量记为H
ik
；
[0014]S7、计算各类中所包含超像素的平均光流，将第i帧第k个类别的平均光流记为HV
ik
；
[0015]S8、将k＝0的类别作为背景，随后对k＝1的类别进行检验，若其满足下式：
[0016][0017]则将k＝1的类别也作为背景，并继续检验k＝2的类别，式中||||表示光流向量的长度，
·
表示两个向量的内积，重复上述过程，直至第k类和第k+1类之间不满足上式，则停止检验，将此时作为背景类别中的所有超像素在对应帧的物体掩膜中置为背景，获得新的物体掩膜M
’0、M
’1、M
’2、
…
、M
’
N
‑1；
[0018]S9、在第0帧的帧图像I0中标记出需要精确追踪的运动物体，以该物体在M
’0中的掩膜作为初步物体掩膜，计算掩膜内所有像素的平均光流OV
00
；
[0019]S10、检验所有与初步物体掩膜邻接或重叠的其他物体掩膜，计算其平均光流，将第l个相邻或重叠物体的平均光流记为OV
0l
，若满足：
[0020][0021]则认为第l个物体与选择物体可进行合并，最终得到第0帧中所有可以作为选择物体的掩膜，记为M
b0
，其中b∈O，O表示所有被选择的物体的集合；
[0022]S11、计算第0帧中处理后的需追踪物体掩膜，记为P0，其中P0(x，y)表示坐标(x，y)位置像素属于需追踪物体的概率，且有：
[0023][0024]S12、在获得第i
‑
1帧的需追踪物体掩膜后，计算从第i
‑
1帧到第i帧的光流，并将第i
‑
1帧的需追踪物体掩膜映射到第i帧，得到映射追踪掩膜PP
i
，且有：
[0025][0026]其中dx
x，y
表示在坐标(x，y)位置光流的水平分量，dy
x，y
表示在坐标(x，y)位置光流的垂直分量，表示向下取整；
[0027]S13、将M
’
i
中与PP
i
具有最大重合面积的物体作为第i帧的需追踪物体，其后按照S9至S11的步骤计算得到第i帧处理后的需追踪物体掩膜P
i
，其中在检验与初步物体掩膜邻接或重叠的其他物体掩膜时，需要进一步检验在PP
i
中大于0.5，但在M
’
i
中为背景的区域，最终
得到各帧的处理后需追踪物体掩膜P0、P1、P2、
…
、P
N
‑1；
[0028]S14、将第N
‑
1帧的处理后需追踪物体掩膜P
N
‑1作为待输入需追踪物体掩膜P
*N
‑1；
[0029]S15、在获得第i帧的待输入需追踪物体掩膜后，计算从第i帧到第i
‑
1帧的光流，按S12步骤将第i帧的待输入需追踪物体掩膜映射到第i
‑
1帧，并按照S9至S11的步骤计算得到第i
‑
1帧的待输入需追踪物体掩膜P
*i本文档来自技高网...

【技术保护点】

【技术特征摘要】
帧的需追踪物体掩膜映射到第i帧，得到映射追踪掩膜PP
i
，且有：其中dx
x,y
表示在坐标(x,y)位置光流的水平分量，dy
x,y
表示在坐标(x,y)位置光流的垂直分量，表示向下取整；S13、将M
’
i
中与PP
i
具有最大重合面积的物体作为第i帧的需追踪物体，其后按照S9至S11的步骤计算得到第i帧处理后的需追踪物体掩膜P
i
，其中在检验与初步物体掩膜邻接或重叠的其他物体掩膜时，需要进一步检验在PP
i
中大于0.5，但在M
’
i
中为背景的区域，最终得到各帧的处理后需追踪物体掩膜P0、P1、P2、
…
、P
N
‑1；S14、将第N
‑
1帧的处理后需追踪物体掩膜P
N
‑1作为待输入需追踪物体掩膜P
*N
‑1；S15、在获得第i帧的待输入需追踪物体掩膜后，计算从第i帧到第i
‑
1帧的光流，按S12步骤将第i帧的待输入需追踪物体掩膜映射到第i
‑
1帧，并按照S9至S11的步骤计算得到第i
‑
1帧的待输入需追踪物体掩膜P
*i
‑1，最后得到各帧的待输入需追踪物体掩膜P
*0
、P
*1
、P
*2
、
…
、P
*N
‑1；S16、对帧图像I0、I1、I2、
…
、I
N
‑1进行颜色空间变换，得到对应的HSV和CIELAB颜色空间，与原有的RGB颜色空间拼接得到9通道特征图，其中各通道的数值通过除以所在通道取值的最大值归一化至[0,1]的区间；S17、对于第i帧图像，将9通道颜色空间特征图，水平分量光流图X
i
，垂直分量光流图Y
...

【专利技术属性】
技术研发人员：王宇飞，廖广军，
申请(专利权)人：广东警官学院广东省公安司法管理干部学院，
类型：发明
国别省市：