一种基于多源数据融合的3D目标追踪方法技术

本发明专利技术公开了一种基于多源数据融合的3D目标追踪方法，先通过激光雷达和相机获得目标的点云信息和图像信息，接着将2D图像信息输入到2D检测网络，检测网络输出目标在2D图像中的像素框位置和类别向量；再利用像素框边界条件和相机的投影矩阵对3D点云数据进行筛选，选择投影后在像素框内的点云作为兴趣点云，将兴趣点云和类别向量输入到点云分割网络，获得目标点云，接着将目标点云输入到T

【技术实现步骤摘要】
一种基于多源数据融合的3D目标追踪方法


[0001]本专利技术属于计算机视觉跟踪
，更为具体地讲，涉及一种基于多源数据融合的3D目标追踪方法。

技术介绍

[0002]目标追踪技术是计算机视觉领域十分重要的研究方向，在自动驾驶，自主导航、机器人以及虚拟现实等领域有着广泛的应用，随着人工智能技术与传感器技术的飞速发展、三维点云获取设备逐渐低成本化，视觉任务逐渐由2D转向3D，但是单一的传感器很难应对复杂多变的场景，多传感器融合成为研究的主流方案，期望通过融合不同传感器数据的特性，优势互补，以满足安全性与可靠性的要求。
[0003]过去十几年，基于图像的深度网络技术发展迅速，能够成熟的描述物体的形状、纹理、高级语义等特征，但是由于相机数据是2维平面数据，无法准确的获取目标的精确位置、大小等信息，而且传统摄像头的数据容易受到天气、光照等影响，然而激光雷达，由于自身传感器特性，能够准确的描述周围3D空间的真实空间信息、例如距离深度、表面形状等信息，而且不受光照影响。但是激光雷达由于设备特性，缺乏像图像的原始分辨率、高效的阵列结构，且不包含更多的语义信息，直接对其进行目标的识别和追踪有一定的难度，所以结合两种传感器特性的目标追踪方法能够互补两种传感器的短板，实现对目标精确的识别和追踪。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于多源数据融合的3D目标追踪方法，以实现对目标精准的位置姿态追踪。
[0005]为实现上述专利技术目的，本专利技术一种基于多源数据融合的3D目标追踪方法，其特征在于，包括以下步骤：
[0006](1)、在t时刻通过激光雷达采集追踪目标的3D点云数据通过单目相机拍摄追踪目标的2D图像
[0007](2)、将t时刻的2D图像输入至2D目标检测网络，输出2D目标检测框R
t
和目标类型向量I
t
；
[0008](3)、根据单目相机的出厂参数构建投影矩阵K；
[0009](4)、利用投影矩阵K将3D点云数据投影到2D图像上，若投影后的3D点云坐标位于2D目标检测框R
t
内，则认为是兴趣点云，记为P
1t
；否则认为不是兴趣点云；
[0010](5)、将兴趣点云P
1t
和目标类型向量I
t
输入至点云分割网络，从而输出概率值P
I
；根据概率值P
I
判断兴趣点云是否为目标点云，若P
I
＞0.5，则判断兴趣点云是目标点云，记为否则，判断为背景点云；
[0011](6)、将目标点云输入到坐标旋转网络T
‑
Net，通过T
‑
Net计算出目标点云的最
佳坐标朝向对应的旋转矩阵K'；
[0012](7)、将目标点云进行坐标变换，得到新坐标系下的点云数据
[0013][0014](8)、将坐标变换后的点云数据输入到目标框回归网络，得到追踪目标在t时刻的观测3D框其中，表示观测3D框距离激光雷达的位置坐标，表示追踪目标的宽长高，表示追踪目标的偏航角；
[0015](9)、根据追踪目标在的运动状态，构建运动模型矩阵M、观测模型矩阵H；
[0016](10)、设追踪目标在初始时刻t＝0时的目标状态Q0，计算追踪目标在t时刻的预测目标状态
[0017][0018]其中，Q
t
‑1表示追踪目标在t
‑
1时刻的最终目标状态；
[0019](11)、将观测3D目标框和预测目标状态输入至渐消因子卡尔曼滤波器中，获得追踪目标在t时刻的最终目标状态Q
t
；
[0020][0021]其中，F
t
为t时刻的卡尔曼增益矩阵，H为观测模型矩阵；
[0022](12)、判断时刻t是否为追踪目标的最终时刻，如果是，则结束追踪；否则跳转到(1)。
[0023]本专利技术的专利技术目的是这样实现的：
[0024]本专利技术基于多源数据融合的3D目标追踪方法，首先通过激光雷达和相机获得目标的点云信息和图像信息，接着将2D图像信息输入到2D检测网络，检测网络输出目标在2D图像中的像素框位置和类别向量。随后，利用像素框边界条件和相机的投影矩阵对3D点云数据进行筛选，选择投影后在像素框内的点云作为兴趣点云。之后，将兴趣点云和类别向量输入到点云分割网络，获得目标点云，接着将目标点云输入到T
‑
Net旋转网络，将目标点云转移到新坐标系下。之后将新坐标系下的目标点云输入到目标框回归网络，得到目标的3D框参数。最后对目标的运动状态进行建模，构建目标运动矩阵和观测矩阵，将网络的输出3D框参数作为观测变量，利用渐消因子卡尔曼滤波对目标进行追踪。
[0025]同时，本专利技术基于多源数据融合的3D目标追踪方法还具有以下有益效果：
[0026](1)、本专利技术使用2D检测网络确定目标区域点云与目标类型，充分利用了2D图像丰富的语义信息，减少了后续输入点云网络的点云数量，大大提高了网络的运行效率。
[0027](2)、分别利用点云分割网络和2D检测网络来对激光雷达点云数据和单目图像这两类异构数据进行独立的特征提取，充分利用了单个传感器的数据优势，实现了精确的位置估计、大小估计和类型判断。
[0028](3)、本专利技术通过新息协方差估计值来提高渐消因子的求取精度，使得算法在模型失配和噪声不匹配的情况下，能够有效提高目标跟踪精度，防止了滤波发散，进一步提高了算法的鲁棒性。
附图说明
[0029]图1是本专利技术基于多源数据融合的3D目标追踪方法流程图；
[0030]图2是本专利技术中点云分隔网络的结构示意图；
[0031]图3是本专利技术中目标框回归网络的结构示意图。
[0032]图4是本专利技术中T
‑
Net网络的结构示意图。
具体实施方式
[0033]下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。
[0034]实施例
[0035]图1是本专利技术基于多源数据融合的3D目标追踪方法流程图。
[0036]在本实施例中，如图1所示，本专利技术一种基于多源数据融合的3D目标追踪方法，包括以下步骤：
[0037]S1、在t时刻通过激光雷达采集追踪目标的3D点云数据通过单目相机拍摄追踪目标的2D图像
[0038]S2、将t时刻的2D图像输入至2D目标检测网络，输出2D目标检测框R
t
和目标类型向量I
t
；
[0039]在本实施例中，2D目标检测网络可以选用SSD、YOLO、FCOS等。
[0040]S3、根据单目相机的出厂参数构建投影矩阵K；
[0041]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源数据融合的3D目标追踪方法，其特征在于，包括以下步骤：(1)、在t时刻通过激光雷达采集追踪目标的3D点云数据通过单目相机拍摄追踪目标的2D图像(2)、将t时刻的2D图像输入至2D目标检测网络，输出2D目标检测框R
t
和目标类型向量I
t
；(3)、根据单目相机的出厂参数构建投影矩阵K；(4)、利用投影矩阵K将3D点云数据投影到2D图像上，若投影后的3D点云坐标位于2D目标检测框R
t
内，则认为是兴趣点云，记为P
1t
；否则认为不是兴趣点云；(5)、将兴趣点云P
1t
和目标类型向量I
t
输入至点云分割网络，从而输出概率值P
I
；根据概率值P
I
判断兴趣点云是否为目标点云，若P
I
＞0.5，则判断兴趣点云是目标点云，记为否则，判断为背景点云；(6)、将目标点云输入到坐标旋转网络T
‑
Net，通过T
‑
Net计算出目标点云的最佳坐标朝向对应的旋转矩阵K'；(7)、将目标点云进行坐标变换，得到新坐标系下的点云数据进行坐标变换，得到新坐标系下的点云数据(8)、将坐标变换后的点云数据输入到目标框回归网络，得到追踪目标在t时刻的观测3D框其中，表示观测3D框距离激光雷达的位置坐标，表示追踪目标的宽长高，表示追踪目标的偏航角；(9)、根据追踪目标在的运动状态，构建运动模型矩阵M、观测模型矩阵H；(10)、设追踪目标在初始时刻t＝0时的目标状态Q0，计算追踪目标在t时刻的预测目标状态状态其中，Q
t
‑1表示追踪目标在t
‑
1时刻的最终目标状态；(11)、将观测3D目标框和预测目标状态输入至渐消因子卡尔曼滤波器中，获得追踪目标在t时刻的最终目标状态Q
t
；其中，F
t
为t时刻的卡尔曼增益矩阵，H为观测模型矩阵；(12)、判断时刻t是否为追踪目标的最终时刻，如果是，则结束追踪；否则跳转到(1)。2.根据权利要求1所述的一种基于多源数据融合的3D目标追踪方法，其特征在于，所述观测3D框中各个参数的计算方法为：(2.1)、将t时刻的点云数据和目标类型向量I
t
输入到目标框回归网络；(2.2)、目标框回归网络中的分类网络将偏航角分为η个类别，通过分类网络输出偏航角的类别C
θ
和追踪目标的大小类别C
(w,h,l)
，其中，类别C
θ<...

【专利技术属性】
技术研发人员：闫琛皓，石磊，邵晋梁，麻壮壮，程玉华，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：