基于光流和三维重建的鲁棒跟踪方法和装置制造方法及图纸

本申请公开了一种基于光流和三维重建的鲁棒跟踪方法和装置，涉及目标跟踪领域。该方法包括：为输入的视频数据创建连续的三维点云场景，利用光流法处理所述视频数据生成目标物体的2D轨迹，在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维重建，根据动态三维重建的结果对所述目标物体进行跟踪。该装置包括：创建模块、生成模块、重建模块和跟踪模块。本申请基于光流法结合点云的方式实现多目标跟踪，与以往的方法相比，具有较强的鲁棒性。

【技术实现步骤摘要】
基于光流和三维重建的鲁棒跟踪方法和装置
本申请涉及目标跟踪领域，特别是涉及一种基于光流和三维重建的鲁棒跟踪方法和装置。
技术介绍
多目标检测跟踪(MOT)的传统方法之一是对状态进行预测，即通过检测来实现多目标跟踪。多假设跟踪(MHT)和基于贝叶斯滤波的跟踪是最近在全球MOT方法中流行的方法。目前许多研究将MOT作为一个数据关联问题来进行探讨。Leal-Taixé提出通过分组行为来构建数据关联，将概率假设密度滤波器引入到多状态估计中，对数据关联进行线性决策。Zeyu等使用蒙特卡洛PHD滤波器，其中外观特征采用字典匹配的形式，使用RGB颜色直方图和HoG聚类定义。SarthakSharma等使用对象的形状、姿势、2D和3D定位信息以及深度学习的关键点匹配，然后进行匈牙利分配在其跟踪框架中用于提高检测精度。还有一些研究者将深度学习结构应用于数据关联中建立非线性建模，比如提出应用卷积神经网络产生的深度学习特性来提高跟踪性能。尽管基于深度学习的MOT方法可以产生准确的跟踪结果，但是与传统的基于手工特征的方法相比，通常很耗时并且需要大量的训练数据，本文档来自技高网...

【技术保护点】
1.一种基于光流和三维重建的鲁棒跟踪方法，其特征在于，包括：/n为输入的视频数据创建连续的三维点云场景；/n利用光流法处理所述视频数据生成目标物体的2D轨迹；/n在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维重建；/n根据动态三维重建的结果对所述目标物体进行跟踪。/n

【技术特征摘要】
1.一种基于光流和三维重建的鲁棒跟踪方法，其特征在于，包括：
为输入的视频数据创建连续的三维点云场景；
利用光流法处理所述视频数据生成目标物体的2D轨迹；
在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维重建；
根据动态三维重建的结果对所述目标物体进行跟踪。


2.根据权利要求1所述的方法，其特征在于，利用光流法处理所述视频数据生成2D轨迹，包括：
对所述视频数据的初始帧使用全卷积神经网络裁剪并调整由边框提供的图像区域，为每个边框输出一个分割蒙版，使用光流值将每个分割蒙版掩模的像素扭曲到下一帧，生成2D轨迹，在下一帧中对分割和扭曲后的像素集合进行计算，得到关联相似点，判断所述关联相似点是否满足指定的最小阈值，如果是，则合并到已有轨迹中，否则，将所述关联相似点作为新的轨迹。


3.根据权利要求2所述的方法，其特征在于，在下一帧中对分割和扭曲后的像素集合进行计算，得到关联相似点，包括：
在下一帧中利用每个点与其k个近邻的局部可达密度，计算局部离群因子并求取中值，在分割和扭曲后的像素集合中过滤掉离群因子高于所述中值的像素，对于保留的像素使用光流向量来进行相邻帧的关联，得到关联相似点。


4.根据权利要求1所述的方法，其特征在于，在所述三维点云场景中，将生成的所有2D轨迹融合为动态三维物体重建，包括：
在所述三维点云场景中，通过最小二乘法拟合出的最佳刚体变换，将所述2D轨迹中的目标物体，在每个时间步上的所有点云融合成一致的三维重建。


5.根据权利要求4所述的方法，其特征在于，根据动态三维重建的结果对所述目标物体进行跟踪，包括：
根据动态三维重建的结果，计算当前帧与相邻帧的平均马氏距离，如果均小于指定阈值，则确定所述当前帧中的目标物体与所述相邻帧的目标物体属于同一个目标物体...

【专利技术属性】
技术研发人员：宋旭博，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11