一种融合点云与图像信息的三维多目标跟踪方法技术

一种融合点云与图像信息的三维多目标跟踪方法，属于计算机视觉技术和图像处理领域，本发明专利技术将激光雷达和相机所检测的同一目标进行关联，基于三维目标检测器输出的三维检测框以输出的置信度分数高低进行排序，对于高分的三维检测框则直接进行基于坐标的数据关联，针对分数较低的三维检测框，会继续使用与该低分三维检测框所匹配的同一目标的二维检测框在特征提取网络的目标子区域及空间背景的特征来继续挖掘出场景中的遮挡目标，从而实现降低由于运动导致了跟踪目标与目标间和跟踪目标与场景物体间的相互遮挡所造成的目标丢失及频繁的身份切换问题。频繁的身份切换问题。频繁的身份切换问题。

【技术实现步骤摘要】
一种融合点云与图像信息的三维多目标跟踪方法


[0001]本专利技术涉及计算机视觉技术和图像处理领域，具体地，涉及了一种基于激光雷达点云数据和图像目标子区域及其空间背景信息融合的多目标跟踪方法。

技术介绍

[0002]基于检测的跟踪(Tracking
‑
by
‑
detection)是多目标跟踪(MOT)领域中最常见的三种框架之一，其直接从检测器中获取检测框跨帧构建轨迹并且为相同的目标分配ID。
[0003]目前多目标跟踪所面临的最主要问题就是场景中发生物体遮挡所造成的目标丢失或身份转换问题。基于检测的跟踪框架往往比较依赖于检测器的优劣，也就是说性能较差的目标检测器会直接污染到跟踪器的性能。由于在三维视觉跟踪任务中基于检测的跟踪框架大多仅使用单一的三维检测器，导致其所使用的点云数据虽然携带独特的深度信息，但并不具备图像所特有的纹理等语义信息。
[0004]目前大多数跟踪器进行跨帧匹配时使用匈牙利算法进行匹配，但是当物体发生遮挡时往往会伴随着检测框分数的下降从而使得跟踪器会根据人工设定的阈值而自动放弃这一部分分数低的检测框，很显然这种做法是不正确的，低分检测框并不意味着场景中目标的丢失。

技术实现思路

[0005]有鉴于此，本专利技术的目的是为了解决在三维场景下进行多目标跟踪时，由于运动导致了跟踪目标与目标间和跟踪目标与场景物体间的相互遮挡所造成的目标丢失问题，而提出了一种基于激光雷达点云数据和图像目标子区域及其空间背景信息融合的多目标跟踪方法。
[0006]本专利技术为实现上述目的采用的技术方案是：一种融合点云与图像信息的三维多目标跟踪方法，其特征在于，包括如下步骤：
[0007]步骤1、获取时间同步的目标空间的三维点云数据和二维图像数据；
[0008]步骤2、利用三维目标检测器提取点云数据特征以获取目标的三维检测框，以及利用二维目标检测器在所获取的二维图像上提取目标的二维检测框；
[0009]步骤3、关联来自同一目标的二维检测框和三维检测框，使得能够通过查找关联编号p的值来确定同一帧中来自同一目标的二维检测框和三维检测框；
[0010]步骤4、遍历二维目标检测器检测到的所有二维检测框，确定每个二维检测框在二维图像中所在帧，并在每个二维检测框对应的帧获取包含新背景的检测框，且包含新背景的检测框与所述二维检测框中心重合，包含新背景的检测框与其对应的二维检测框之间满足(W，H)＝α(w，h)，α表示放大倍数，W和H为包含新背景的检测框的宽和高，w和h为二维检测框的宽和高；并将获取的包含新背景的检测框输入已训练好的子区域及背景信息网中，对目标内子区域进行识别并提取特征，且对所识别的子区域进行特征编码，最后输出子区域特征向量R
j
，R
j
表示为第j个检测的子区域特征向量，以及对空间背景信息进行识别并提取
特征，且对识别的空间背景信息进行特征编码，输出背景特征向量S
j
，S
j
表示为第j个检测的背景特征向量；所述子区域及背景信息网为上下并行的对称网络结构，上行和下行网络结构均由依次设置的第一卷积层、第二卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和全连接层构成；
[0011]步骤5、将三维目标检测器检测到的三维检测框和步骤4中经子区域及背景信息网输出的特征送入目标跟踪网络中进行数据关联，具体为：
[0012]将三维目标检测器输出的所有三维检测框按照置信度分数高低进行排序，设定分数阈值划为高分检测框和低分检测框；
[0013]高分检测框采用3D GIOU来作为关联指标直接与轨迹进行基于坐标的数据关联；
[0014]对于低分检测框，首先判断是否存在有与其对应来自同一目标的二维检测框，若不存在，则将该低分检测框直接舍弃，若存在，则继续通过关联编号p查询其在子区域及背景信息网中输出的特征编码来进行基于外观特征的数据关联，具体表现为：
[0015]通过关联编号p查询该低分检测框在步骤4中子区域及背景信息网输出的子区域特征编码，使用子区域的特征编码对应的特征向量进行基于外观特征数据关联；具体关联方式为采用余弦距离D1(i,j)来作为衡量两帧之间的特征向量相似程度的指标，其中余弦距离D1(i,j)具体为：
[0016][0017]其中表示为检测目标i的特征向量，为跟踪目标j的特征向量；
[0018]采用匈牙利算法进行匹配，若目标中只要有一个子区域块特征相似度接近，那么则认为目标匹配成功仍对其使用卡尔曼滤波进行状态更新；
[0019]若无子区域匹配成功再搜索背景信息，利用步骤4中下行网络输出的背景特征编码，继续使用余弦距离作为特征相似度指标此时余弦距离D2(i,j)具体为
[0020][0021]其中表示为检测背景i的特征向量，为跟踪背景j的特征向量；
[0022]采用匈牙利算法进行背景信息匹配，若背景特征能够匹配上则认为该目标未发生移动或仅是被遮挡，继续使用卡尔曼滤波进行状态更新；
[0023]步骤6、使用3D卡尔曼滤波器进行状态更新
[0024]对于基于坐标的数据关联匹配成功的三维检测框直接将其状态送入卡尔曼滤波器中，其目标状态其中(x,y,z)为目标在三维空间中的坐标，θ为目标在xy平面的旋转角，l、w和h表示三维检测框的长宽高，v
x
,v
y
,v
z
表示目标在x,y,z三个方向上的速度；
[0025]对于基于外观特征的数据关联匹配成功的二维实例，依据关联编号p查询其对应的三维实例状态信息，使用其对应的三维实例状态信息来送入卡尔曼滤波器进行轨迹更
新，这样其目标状态同所述的基于坐标的数据关联的目标状态同为
[0026]利用三维目标检测器当前时刻的检测结果作为观测值来更新三维卡尔曼滤波状态，通过匹配检测更新对应轨迹的预测状态，得到最终t帧的匹配轨迹，3D卡尔曼最终的更新的轨迹为(x',y',z',θ',l',w',h',v
x
',v
y
',v
z
')；
[0027]步骤7：跟踪生命周期管理
[0028]设定如果目标在连续E帧中没有任何更新或者背景信息未匹配超出设定最大帧数，将视该目标离开场景；对于新进入场景的潜在新物体，如果连续检测N帧都有三维实例进行匹配，将视其为新加入场景的目标并为其分配轨迹。
[0029]进一步，所述二维图像由相机采集得到，三维点云数据由激光雷达采集得到。
[0030]进一步，所述步骤2具体包括：
[0031]利用三维目标检测器PV
‑
RCNN获取三维检测框，并且三维检测框输出特征为(x,y,z,θ,l,w,h,p)，其中(x,y,z)为目标在三维空间中的坐标，θ为目标在xy平面的旋转角，l、w和h表示三维检测框的长宽高，p用来表示关联编号；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合点云与图像信息的三维多目标跟踪方法，其特征在于，包括如下步骤：步骤1、获取时间同步的目标空间的三维点云数据和二维图像数据；步骤2、利用三维目标检测器提取点云数据特征以获取目标的三维检测框，以及利用二维目标检测器在所获取的二维图像上提取目标的二维检测框；步骤3、关联来自同一目标的二维检测框和三维检测框，使得能够通过查找关联编号p的值来确定同一帧中来自同一目标的二维检测框和三维检测框；步骤4、遍历二维目标检测器检测到的所有二维检测框，确定每个二维检测框在二维图像中所在帧，并在每个二维检测框对应的帧获取包含新背景的检测框，且包含新背景的检测框与所述二维检测框中心重合，包含新背景的检测框与其对应的二维检测框之间满足(W，H)＝α(w，h)，α表示放大倍数，W和H为包含新背景的检测框的宽和高，w和h为二维检测框的宽和高；并将获取的包含新背景的检测框输入已训练好的子区域及背景信息网中，对目标内子区域进行识别并提取特征，且对所识别的子区域进行特征编码，最后输出子区域特征向量R
j
，R
j
表示为第j个检测的子区域特征向量，以及对空间背景信息进行识别并提取特征，且对识别的空间背景信息进行特征编码，输出背景特征向量S
j
，S
j
表示为第j个检测的背景特征向量；所述子区域及背景信息网为上下并行的对称网络结构，上行和下行网络结构均由依次设置的第一卷积层、第二卷积层、最大池化层、第一残差模块、第二残差模块、第三残差模块、第四残差模块、平均池化层和全连接层构成；步骤5、将三维目标检测器检测到的三维检测框和步骤4中经子区域及背景信息网输出的特征送入目标跟踪网络中进行数据关联，具体为：将三维目标检测器输出的所有三维检测框按照置信度分数高低进行排序，设定分数阈值划为高分检测框和低分检测框；高分检测框采用3D GIOU来作为关联指标直接与轨迹进行基于坐标的数据关联；对于低分检测框，首先判断是否存在有与其对应来自同一目标的二维检测框，若不存在，则将该低分检测框直接舍弃，若存在，则继续通过关联编号p查询其在子区域及背景信息网中输出的特征编码来进行基于外观特征的数据关联，具体表现为：通过关联编号p查询该低分检测框在步骤4中子区域及背景信息网输出的子区域特征编码，使用子区域的特征编码对应的特征向量进行基于外观特征数据关联；具体关联方式为采用余弦距离D1(i,j)来作为衡量两帧之间的特征向量相似程度的指标，其中余弦距离D1(i,j)具体为：其中表示为检测目标i的特征向量，为跟踪目标j的特征向量；采用匈牙利算法进行匹配，若目标中只要有一个子区域块特征相似度接近，那么则认为目标匹配成功仍对其使用卡尔曼滤波进行状态更新；若无子区域匹配成功再搜索背景信息，利用步骤4中下行网络输出的背景特征编码，继续使用余弦距离作为特征相似度指标此时余弦距离D2(i,j)具体为
其中表示为检测背景i的特征向量，为跟踪背景j的特征向量；采用匈牙利算法进行背景信息匹配，若背景特征能够匹配上则认为该目标未发生移动或仅是被遮挡，继续使用卡尔曼滤波进行状态更新；步骤6、使用3D卡尔曼滤波器进行状态更新对于基于坐标的数据关联匹配成功的三维检测框直接将其状态送入卡尔曼滤波器中，其目标状态其中(x,y,z)为目标在三维空间中的坐标，θ为目标在xy平面的旋转角，l、w和h表示三维检测框的长宽高，v
x
,v
y
,v
z
表示目标在x,y,z三个方向上的速度；对于基于外观特征的数据关联匹配成功的二维实例，依据关联编号p查询其对应的三维实例状态信息，使用其对应的三维实例状态信息来送入卡尔曼滤波器进行轨迹更新，这样其目标状态同所述的基于坐标的数据关联的目标状态同为利用三维...

【专利技术属性】
技术研发人员：才华，郑延阳，付强，马智勇，王伟刚，李英超，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：