一种基于车载多传感器融合的交通目标检测与跟踪方法技术

本发明专利技术公开了一种基于车载多传感器融合的交通目标检测与跟踪方法，包括以下步骤：对车载摄像头采集的图像使用语义分割算法获得图像的语义信息；将激光雷达采集点云信息投影到图像平面来获取对应位置的语义信息；根据左右视角的语义信息进行融合校正；将校正后的语义信息添加到点云中得到扩展的带有语义信息的点云数据；使用点云目标检测器检测交通目标的位置、速度、宽高、朝向信息；在获得交通目标信息的基础上，使用匈牙利算法关联轨迹和传感器的观测的检测信息；使用关联后的检测信息，依据卡尔曼滤波更新车辆目标的状态，从而得出交通目标的形状、运动、轨迹信息，以提高自动驾驶车辆环境感知的精确性和实时性。驶车辆环境感知的精确性和实时性。驶车辆环境感知的精确性和实时性。

【技术实现步骤摘要】
一种基于车载多传感器融合的交通目标检测与跟踪方法


[0001]本专利技术属于自动驾驶感知领域，涉及一种基于车载多传感器融合的交通目标检测与跟踪方法。

技术介绍

[0002]在自动驾驶的车辆上往往安装多种传感器，不同的传感器在感知能力方面有各自的优势和劣势。比如，像单目摄像头这样的基于RGB的视觉传感器已经得到广泛应用，其数据经过处理可以高效准确地进行目标检测。但这种类型的传感器易受周边环境的影响，比如天气、光照等条件，并且其在速度、距离感知等方面精度不高。像激光雷达等3D传感器可以克服易受天气、光照影响的缺点，并且在目标的距离、速度测量方面精度也较高。但是他们不能感知一些颜色、纹理等视觉属性。因此，每种类型的传感器感知能力有限，都有各自的优劣势。与此同时，多传感器融合可以将各自的优势最大化并且可以有效规避不足，具体来说，多传感器融合具有如下优势：1、增强系统的生存能力，多传感器的测量信息之间有一定的冗余度；2、扩展空间覆盖范围；3、扩展时间覆盖范围；4、提高可信度和降低信息模糊性；5、改进探测性能和提高空间分辨率。在自动驾驶场景中，必须实时准确地感知车辆周围的交通目标以及轨迹，才能进行正确合理的决策。也就是说要准确地检测到交通目标的信息以及行驶轨迹，因此将多传感器信息有效融合是交通目标准确感知和跟踪的必要条件。为了达到上述目标，需要对多传感器数据信息进行合理提取，并且实现高效的融合与跟踪方法达到实时性的要求。
[0003]如今，面向自动驾驶的多源传感器器融合感知的研究已经取得了很多研究成果。然而还存在以下问题：1、多源传感器融合感知方法的计算复杂度高，实时性难以满足；2、在多传感器融合感知的流程过于复杂，拓展性和鲁棒性差，不便于实际部署。

技术实现思路

[0004]为解决上述问题，本专利技术公开了一种基于车载多传感器融合的交通目标检测与跟踪方法，对车载摄像头采集的图像使用语义分割算法获得图像的语义信息图，再将激光雷达采集点云信息投影到语义信息图上获取对应位置的信息，并对从不同视角获得的语义信息进行校正，再将信息扩展到点云数据上，以此作为点云目标检测器的输入，检测交通目标的位置、速度、宽高、朝向信息。在获得交通目标信息的基础上，使用匈牙利算法关联轨迹和传感器的观测的检测信息，依据卡尔曼滤波更新车辆目标的状态，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
[0005]为达到上述目的，本专利技术的技术方案如下：
[0006]一种基于车载多传感器融合的交通目标检测与跟踪方法，该方法包括如下步骤：
[0007]1、使用语义分割网络DeepLab V3+，分别对左侧和右侧车载摄像头采集的图像进行分割，得到图片上每个像素对应的类别信息；
[0008]2、将激光雷达采集的点云分别投影到左右摄像头的图像平面，来获取左右图片中
对应投影位置的类别置信度；
[0009]3、使用证据理论作为融合校正方法，针对不同视角类别信息存在偏差的问题，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，得出更准确的类别信息；
[0010]4、根据PointPainting融合流程，将从图像平面得到的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息；
[0011]5、对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息；
[0012]6、根据步骤4得到的交通目标信息和步骤5得到的轨迹信息，使用匈牙利算法关联轨迹和传感器的观测的检测信息；对于未关联的轨迹，若超过时间阈值则删除；对于未关联的检测信息，创建新的轨迹。已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。
[0013]进一步的，步骤1中从语义分割网络DeepLab V3+得出左右视角图像各像素的语义信息，主要有以下的步骤：
[0014]1)首先从车载的左前和右前摄像头采集的图片队列中，查找对应时间戳的两张图片；
[0015]2)使用KITTI数据集训练DeepLab V3+模型，从而对模型进行微调，使其适用于交通目标图像分割；
[0016]3)将相同时间戳的左前视角和右前视角的图片作为网络输入，得到分割后的图像，过程表达为：
[0017]S＝Seg(l
img
)
ꢀꢀꢀꢀ
(1)
[0018]其中l
img
∈R
W,H,3
为宽为W，高为H的RGB图片，S∈R
W,H,C
为输出的分割图，分割图和原图像宽高一致，C为交通目标类别总数。
[0019]进一步的，步骤2中，将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度，主要有以下的步骤：
[0020]1)从激光雷达采集的点云队列中选择对应时间戳的点云数据；
[0021]2)将点云数据投影到对应的图像平面，具体而言，先将点云的点从激光雷达坐标系变换到相机坐标系下，再根据具体视角的相机作15
°
以内的旋转，最后再将三维空间的点投影到相机平面，完整的投影过程表达为以下形式：
[0022]p
c
(i)＝P
rect
R
rect
T
L2c
p
L
(i)
ꢀꢀꢀꢀꢀꢀ
(2)
[0023]其中，p
L
(i)＝(x
i
,y
i
,z
i
,r
i
),为点云的N个点中的任意一点，T
L2c
为从车载激光雷达到摄像头的变换矩阵，R
rect
为不同视角相机的旋转矩阵，P
rect
为向相机平面投影的投影矩阵；
[0024]3)根据2)得到的映射位置，在语义图中索引对应位置的类别置信度，索引过程表述为：
[0025]s(i)＝S[p
c
(i)[0],p
c
(i)[1]]ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0026]类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、汽车、行人、非机动车等的可能性。
[0027]进一步的，步骤3中，使用基于证据理论的融合校正方法，针对左前视角和右前视角图片的类别信息置信度不一致的情况，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，具体分为以下步骤：
[0028]1)针对所有可能的类别假设，构建证据假设Ω＝{背景,机动车,行人,非机动车}和基本信度分布(Basic Belief Assignments)，简称BB本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：包括如下步骤：S1，使用语义分割网络DeepLab V3+，分别对左侧和右侧车载摄像头采集的图像进行分割，得到图片上每个像素对应的类别信息；S2，将激光雷达采集的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度；S3，使用证据理论作为融合校正方法，针对不同视角类别信息存在偏差的问题，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，得出更准确的类别信息；S4，根据PointPainting融合流程，将从图像平面得到的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息；S5，对现有轨迹使用卡尔曼滤波预测下个时刻轨迹对应的状态信息；S6，根据步骤S4得到的交通目标信息和步骤S5得到的轨迹信息，使用匈牙利算法关联轨迹和传感器的观测的检测信息；对于未关联的轨迹，若超过时间阈值则删除；对于未关联的检测信息，创建新的轨迹；已经关联的轨迹和观测用于更新车辆目标卡尔曼滤波的状态参数，从而得出交通目标的形状、运动、轨迹信息以提高自动驾驶车辆环境感知的精确性和实时性。2.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S1中从语义分割网络DeepLab V3+得出左右视角图像各像素的语义信息，具体有以下的步骤：1)首先从车载的左前和右前摄像头采集的图片队列中，查找对应时间戳的两张图片；2)使用KITTI数据集训练DeepLab V3+模型，从而对模型进行微调，使其适用于交通目标图像分割；3)将相同时间戳的左前视角和右前视角的图片作为网络输入，得到分割后的图像，过程表达为：S＝Seg(l
img
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中l
img
∈R
W,H,3
为宽为W，高为H的RGB图片，S∈R
W,H,C
为输出的分割图，分割图和原图像宽高一致，C为交通目标类别总数。3.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S2中，将激光雷达采集的同一时间戳的点云分别投影到左右摄像头的图像平面，来获取左右图片中对应投影位置的类别置信度，具体有以下的步骤：1)从激光雷达采集的点云队列中选择对应时间戳的点云数据；2)将点云数据投影到对应的图像平面，具体而言，先将点云的点从激光雷达坐标系变换到相机坐标系下，再根据具体视角的相机作15
°
以内的角度旋转，最后再将三维空间的点投影到相机平面，完整的投影过程表达为以下形式：p
c
(i)＝P
rect
R
rect
T
L2c
p
L
(i)
ꢀꢀꢀꢀ
(2)其中，为点云的N个点中的任意一点，T
L2c
为从车载激光雷达到摄像头的变换矩阵，R
rect
为不同视角相机的旋转矩阵，P
rect
为向相机平面投影的投影
矩阵；3)根据2)得到的映射位置，在语义图中索引对应位置的类别置信度，索引过程表述为：s(i)＝S[p
c
(i)[0]，p
c
(i)[1]]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)类别置信度s(i)为点云中的第i个点投影后的像素所在目标为背景、汽车、行人、非机动车的可能性。4.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S3中，使用基于证据理论的融合校正方法，针对左前视角和右前视角图片的类别信息置信度不一致的情况，根据左右视角的像素类别及其置信度设计证据框架以及基本信度分配，采用Dempster融合规则实现图像像素融合校正，具体分为以下步骤：1)针对所有可能的类别假设，构建证据假设Ω＝{背景，机动车，行人，非机动车}和基本信度分布；第i个点的基本信度分布定义为：2)将来自左前视角和右前视角的摄像头的像素语义信息看成两组证据m
l
(
·
)和m
r
(
·
)，根据视觉相似性，考虑存在不确定性的复合类别：机动车∪非机动车，行人∪非机动车，从而确定识别框架为车，从而确定识别框架为3)使用Dempster融合规则，将两组证据m
l
(
·
)和m
r
(
·
)进行融合校正，得出融合后的基本信度分布，如下所示：其中K为折扣系数，计算方式如下：5.根据权利要求1所述的基于车载多传感器融合的交通目标检测与跟踪方法，其特征在于：步骤S4中，根据PointPainting融合流程，与点云中各点对应的类别语义信息添加到点云的信息中，再使用点云目标检测网络PointPillar去检测交通目标的位置、速度、宽高、朝向信息，具体地，分为以下步骤：1)将采用证据理论融合校正后的结果与原点云的点向量相连接，扩充原点云数据的维度，扩充后的点云记为p
painted
(
·
)，扩充后点云中的任意一点表示为p
painted
(i)＝(p
L
(i)[0]，...，s(i)[0]，...)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)2)使用PointPillar网络对扩充后的点云进行目标检测，得到交通目标的位置、速度、宽高、朝向信息；PointPillar的具体实现分为三个步骤：(a)将点云转换成伪图像；(b)使用2D backbone网络学习高层次的表征；(c)任务网络实现3D Box的检测和回归任务；对于点云到伪图像的转换，首先按照点云所在的X和Y轴位置，将点云划分为一个个的
网格，所有划分在同一个网格中的点云点数据构成了一个Pillar；扩展后的点云需要进一步处理，表示D＝13维的向量(x，y，z，r，x
c
，y
c
，z
c
，x
p
，y
p
，s)，其中x
c
，y
c
，z
c
为该点云所在的pillar的所有点的几何中心，x
p
＝x
‑
x
c
，y
p<...

【专利技术属性】
技术研发人员：华国栋，刘德祥，陈雪莹，莫磊，
申请(专利权)人：东南大学，
类型：发明
国别省市：