一种基于深度相机的动态目标追踪方法与系统技术方案

本发明专利技术公开了一种基于深度相机的动态目标追踪方法与系统，涉及目标检测和目标追踪领域，该方法包括利用若干深度相机采集覆盖动态目标360度方向的原始点云数据，并进行时间配准；对每台深度相机获取的原始点云数据进行预处理；判断预处理后的点云数据中是否包含目标信息，并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换，得到融合后的动态目标实时位置信息；基于融合后的动态目标实时位置信息，对动态目标进行跟踪。发明专利技术扩展了深度相机的适用场景，提高了动态目标追踪的精度。度。度。

【技术实现步骤摘要】
一种基于深度相机的动态目标追踪方法与系统


[0001]本专利技术涉及目标检测和目标追踪领域，特别是涉及一种基于深度相机的动态目标追踪方法与系统。

技术介绍

[0002]在自主导航、城市建模、机器人以及虚拟现实领域，通常需要识别和定位动态目标物体。传统摄像头的数据获取容易受到天气、光照等影响，而深度相机能在光照不足的情况下获取到空间信息丰富清晰的三维点云数据，这使得对深度相机三维点云数据的处理愈发重要。基于深度相机的动态目标检测与追踪方法能够更加精确地定位并表征出动态目标的形状，通常作为环境感知手段的首选。
[0003]目前，深度相机在目标追踪的应用主要有两个难点：一是单个相机需要不断移动相机采集物体表面数据。由于相机位置配准算法的限制，每帧数据之间的差异不能过大，导致相机只能缓慢移动，降低了采集效率。若对柔性物体进行追踪，物体形状可能发生变化，这会导致相机围绕物体移动时，前后采集的数据不一致，引起目标追踪的误差。二是由于相机视场角的限制，采集的点云数据不完整。针对这两个难点，本专利技术提供了一种多相机的目标追踪方法与系统，获取动态目标的多角度信息。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度相机的动态目标追踪方法与系统，扩展了深度相机系统的适应场景，提高了动态目标识别的精度和动态目标追踪的准确性。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于深度相机的动态目标追踪方法，包括以下步骤：
[0007]步骤1：利用若干深度相机采集覆盖动态目标360度方向的原始点云数据，并进行时间配准；
[0008]步骤2：对每台深度相机获取的原始点云数据进行预处理；
[0009]步骤3：判断预处理后的点云数据中是否包含目标信息，并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换，得到融合后的动态目标实时位置信息；
[0010]步骤4：基于融合后的动态目标实时位置信息，对动态目标进行跟踪。
[0011]进一步地，所述的步骤2具体为：
[0012]步骤2.1：通过直通滤波、半径滤波、高斯滤波对每台相机采集到的原始点云数据进行滤波处理；
[0013]步骤2.2：对每一台相机对应的滤波后的点云进行分割，将目标点云从环境中分割出来；
[0014]步骤2.3：采用最小二乘法对分割后的目标点云进行平滑处理，得到三维重建后的目标点云。
[0015]进一步地，所述的步骤3具体为：
[0016]步骤3.1：判断预处理后的点云数据中是否包含目标信息，剔除不包含目标信息的点云数据；
[0017]步骤3.2：采用ICP算法，将其余点云数据中存在范围重叠区域的点云数据进行配准；
[0018]步骤3.3：建立统一世界坐标系，将配准后的点云数据进行坐标转换，得到融合后的目标点云数据。
[0019]本专利技术还提出一种基于深度相机的动态目标追踪系统，用于实现上述的基于深度相机的动态目标追踪方法；所述的动态目标追踪系统包括：
[0020]深度相机组，其用于安装在动态目标四周，且能够覆盖动态目标360度方向的原始点云数据；
[0021]数据采集模块，其用于获取深度相机采集的原始点云数据；
[0022]数据融合模块，其用于对数据采集模块获取的原始点云数据进行融合处理，得到融合后的动态目标信息；
[0023]跟踪模块，其用于根据融合后的动态目标信息，对动态目标进行跟踪。
[0024]进一步地，所述的数据融合模块包括：
[0025]预处理单元，其用于对每台相机对应的原始点云数据进行预处理；
[0026]判断单元，其用于判断每台相机对应的预处理后的点云数据中是否含有动态目标信息；
[0027]点云配准单元，其用于对含有动态目标信息的点云数据进行配准及坐标转换，输出融合后的点云数据。
[0028]专利技术的有益效果如下：
[0029](1)本专利技术提出了基于多相机的目标追踪方案，提高了采集数据的效率，可用于柔性物体的目标追踪，拓宽了深度相机在目标追踪领域的应用范围。
[0030](2)本专利技术从多角度采集目标数据，解决了由于目标物体自遮挡和光照不足导致数据缺失的问题，提高了点云数据处理的效率，完善了点云融合的效果。
[0031](3)本专利技术提出了对深度相机采集的点云数据进行滤波、平滑和曲面重建等一系列预处理，然后采用ICP算法进行点云配准，采用区域增长算法进行点云分割，并进行点云融合，提高了目标识别的能力和目标追踪的精度。
附图说明
[0032]图1为本专利技术的四个深度相机的安装位置整体示意图；其中，1表示动态目标，2表示深度相机。
[0033]图2为四个深度相机安装位置俯视图；
[0034]图3为本专利技术示出的动态目标跟踪算法流程图；
[0035]图4为本专利技术示出的一种基于深度相机的动态目标追踪方法的流程图；
[0036]图5为本专利技术示出的一种基于深度相机的动态目标追踪系统的结构框图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]鉴于
技术介绍
的介绍，目前阶段需要多传感器融合以适用于低视觉场景和获得更精确的感知信息。由于深度相机的视角只有40
°
～70
°
。基于此，本专利技术提供了一种基于深度相机的动态目标追踪方法及装置，扩展了深度相机的适应场景，提高了动态目标追踪的精度。
[0039]实施例一
[0040]本实施例提供了一种基于深度相机的动态目标追踪方法，主要解决接触检测对动态目标状态的影响和实时追踪的准确性。本实施例搭建了传感器安装平台，利用四个深度相机解决不同传感器水平视角不一致问题。将多个深度相机融合后的检测信息作为输入，然后对检测到的动态目标进行跟踪进而得到更精确的动态目标信息，从而实现对动态目标进行稳定准确的检测和跟踪。
[0041]为实现上述功能，本实施例采用的技术方案如下，如图1
‑
3所示：
[0042]步骤一：深度相机安装。
[0043]按照固定位置安装好四个深度相机，并设置好网络通信，使外部主机能够接收到深度相机的数据。
[0044]一个示例为：在动态目标外部四个方向各安装一个支架，将四个深度相机安装在支架上，如图1所示，逆时针编号为1、2、3、4，并且4个深度相机均通过网线与外的处理系统交换数据。本实施例中，采用TOF相机作为深度相机。
[0045]由于每个TOF相机的近距离水平视角为40～70
°
，四个TOF相机水平视角叠加可覆盖到周围360
°
水平视角的动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机的动态目标追踪方法，其特征在于，包括以下步骤：步骤1：利用若干深度相机采集覆盖动态目标360度方向的原始点云数据，并进行时间配准；步骤2：对每台深度相机获取的原始点云数据进行预处理；步骤3：判断预处理后的点云数据中是否包含目标信息，并将包含有目标信息的预处理后的点云数据进行位置配准和坐标转换，得到融合后的动态目标实时位置信息；步骤4：基于融合后的动态目标实时位置信息，对动态目标进行跟踪。2.根据权利要求1所述的基于深度相机的动态目标追踪方法，其特征在于，所述的深度相机的数量为4，安装在动态目标的四周。3.根据权利要求1所述的基于深度相机的动态目标追踪方法，其特征在于，所述的步骤2具体为：步骤2.1：通过直通滤波、半径滤波、高斯滤波对每台相机采集到的原始点云数据进行滤波处理；步骤2.2：对每一台相机对应的滤波后的点云进行分割，将目标点云从环境中分割出来；步骤2.3：采用最小二乘法对分割后的目标点云进行平滑处理，得到三维重建后的目标点云。4.根据权利要求3所述的基于深度相机的动态目标追踪方法，其特征在于，所述的步骤2.1中，首先采用直通滤波法实现第一级滤波，通过设定点云在x,y,z方向上的范围定位动态目标，将目标和环境点云初步分割开；之后采用半径滤波法实现第二级滤波，计算给定的以某点为中心的圆内所包含的点的数量，若数量高于预设值，则保留圆内所有点；否则，删除圆内所有点，对点云的边缘离散点进行过滤；最后采用高斯滤波法实现第三级滤波，利用标准差去噪，对点云表面进行初步平滑。5.根据权利要求3所述的基于深度相机的动态目标追踪方法，其特征在于，所述的步骤2.2中，采用区域增长算法实现点云分割。6.根据权利要求1所述的基于深度相机的动态目标追踪方法，其特征...

【专利技术属性】
技术研发人员：黄腾超，杨钰邦，钱璐静，孙澍宇，车双良，
申请(专利权)人：浙江大学，
类型：发明
国别省市：