一种基于激光雷达的交通目标检测系统技术方案

本发明专利技术公开了一种基于激光雷达的交通目标检测系统，涉及交通目标检测系统技术领域；包括雷达体素

【技术实现步骤摘要】
一种基于激光雷达的交通目标检测系统


[0001]本专利技术涉及交通目标检测系统
，尤其涉及一种基于激光雷达的交通目标检测系统。

技术介绍

[0002]随着激光雷达点云进行3D目标检测在自动驾驶领域的快速发展，智能驾驶系统中的环境感知不断扩展。实际应用中，障碍物检测功能是环境感知系统中的基本功能，障碍物类型主要包括行人、车辆、自行车等结构化道路上的常见物体。激光雷达可以直接探测目标的真实距离和尺寸，是自动驾驶方案中的主要传感器，激光雷达与摄像头不同，可以直接测量目标的真实尺寸和距离。
[0003]但是激光雷达产生的点云数据是无序的数据，而且点云数据相比图像更稀疏，随着距离的增加点云数据密度逐渐降低。针对激光雷达点云数据的稀疏性和无序性特点，现有voxel
‑
based和poin
‑
based两种雷达点云特征处理方式。
[0004]然而，voxel_based方式由于使用体素来聚集点集特征，不可避免地带来了信息损失，point_based方式则由于需要逐点处理特征带来了计算效率低下的问题。所以亟需一种基于激光雷达的交通目标检测系统来克服上述不足之处。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于激光雷达的交通目标检测系统。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于激光雷达的交通目标检测系统，包括雷达体素
‑
点集特征提取网络，所述雷达体素
‑
点集特征提取网络包括：
[0008]基于体素的多尺度稀疏卷积网络；
[0009]基于关键点采样的特征提取网络；
[0010]感兴趣区域的特征池化网络；
[0011]所述雷达体素
‑
点集特征提取网络的特征提取修正方法包括如下步骤：
[0012]S1：首先，通过点云场景划分体素并将其送入多尺度的3D系数卷积网络来提取体素特征并将其转换到BEV视角特征，进行目标类别和目标框的预测并生成proposal；
[0013]S2：然后，采用FPS的方式采样关键点，并使用VSA模块为关键点提取多尺度的体素，原始点云以及BEV特征；
[0014]S3：最后，将基于体素的多尺度稀疏卷积网络得到的proposal划分为多个网格，通过池化操作将关键点特征提取到网格点上，进而利用该特征进行目标框的精细化修正。
[0015]优选的：所述检测系统中，将3D稀疏卷积网络进行体素的特征提取方法，作为backbone并生成3D proposal；其中：
[0016]3D体素CNN网络；将点云输入P划分成L
×
H
×
W个体素网格，其中非空的体素网格特
征为体素内所包含多个点的特征平均值；体素化后的点云特征通过一系列多尺度的3D卷积网络聚集点云局部特征以及全局特征，其3D卷积网络的下采样尺度分别为1
×
，2
×
，4
×
，8
×
；
[0017]3Dproposal生成；将8
×
下采样的3D体素特征沿着Z轴进行堆叠得到L/8
×
W/8的BEV特征图表示；之后，为点云场景中多种目标生成候选锚框，每一类目标有2
×
L/8
×
W/8的3D的锚框，其尺寸为该类目标的平均尺寸大小，0
°
，90
°
两个方向。
[0018]进一步的：所述检测系统中，提出将多尺度的提速特征聚集到少量的关键点，使得关键点成为3D体素特征和proposal精细化调整网络之间的桥梁；
[0019]通过Furthest
‑
Point
‑
Sampling(FPS)算法从点云场景中选择n个关键点k＝{p1，p2，...，pn}；采用FPS算法进行关键点采样能够使得关键点遍布整个点云场景，以确保关键点特征能够表示整个场景的特征信息；
[0020]以关键点位置为参考点，使用SVA模块来聚集关键点周围体素特征。
[0021]进一步优选的：所述检测系统中，F
(lk)
＝{f
1(lk)
,...,f
Nk(lk)
}表示第K个尺度的3D体素特征；V()＝{v
1(lk)
,...,v
Nk(lk)
}表示对应提速特征的3D坐标，该坐标是通过体素索引以及对应尺度体素的尺寸大小计算所得，Nk表示第k尺度中非空体素的数量；对于每一个关键点pi而言，首先通过rk来确定它的邻近非空体素，将其表示为：
[0022][0023]在这个过程中，将pi于v
j(lk)
的相对坐标与voxel特征合并到一起以表示两者间的相对位置关系；通过Pointblock模块来生成关键点pi的特征表示：
[0024][0025]M表示从S
i(lk)
中随机采样Tk个体素的特征以达到节省计算量的目的；G表示用于编码体素特征和相对关系MLP网络；同时选择多个半径距离进行VSA操作；将多个尺度的体素特征聚集到关键点上，关键点pi的特征表示：
[0026][0027]作为本专利技术一种优选的：所述检测系统中，扩展的VSA模块：除了在关键点上聚集多尺度的体素特征外，还将原始点云的以及八倍下采样所得BEV的特征聚集到关键点上，将关键点pi投影到BEV视图上，然后通过双线性插值的方法将邻近BEV特征fi(BEV)聚集到关键点上；最后，关键点特征表示所下式所示：
[0028][0029]作为本专利技术进一步优选的：所述检测系统中，通过Predicted Keypoint Weighting模块进行关键点的权重预测；PKW模块以3Dbounding box的标注为监督，包含在3D目标框内关键点的监督标签就是前景关键点；最终，经过权重预测网络处理，关键点特征
如下式所示：
[0030][0031]其中，A表示用于前景置信度预测的三层MLP网络和sigmoid函数；PKW网络通过focal loss进行训练。
[0032]作为本专利技术再进一步的方案：所述检测系统中，用感兴趣区域的池化网络将关键点的特征按多个接受域同时聚集到感兴趣区域网格点上；将3D proposal划分成6
×6×
6个网格点，如下式表示：
[0033]G＝{g1，
……
，g
216
}
[0034]通过下式来确定每个网格点的邻近关键点：
[0035][0036]其中，pj
‑
gi用于保留网格点与邻近关键点pj之间的相对位置关系；进而采用PointNet模块将邻近关键点特征聚集编码到网格点gi上：
[0037][0038]采用多种半径r来聚集不同接受域的关键点特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达的交通目标检测系统，其特征在于，包括雷达体素
‑
点集特征提取网络，所述雷达体素
‑
点集特征提取网络包括：基于体素的多尺度稀疏卷积网络；基于关键点采样的特征提取网络；感兴趣区域的特征池化网络；所述雷达体素
‑
点集特征提取网络的特征提取修正方法包括如下步骤：S1：首先，通过点云场景划分体素并将其送入多尺度的3D系数卷积网络来提取体素特征并将其转换到BEV视角特征，进行目标类别和目标框的预测并生成proposal；S2：然后，采用FPS的方式采样关键点，并使用VSA模块为关键点提取多尺度的体素，原始点云以及BEV特征；S3：最后，将基于体素的多尺度稀疏卷积网络得到的proposal划分为多个网格，通过池化操作将关键点特征提取到网格点上，进而利用该特征进行目标框的精细化修正。2.根据权利要求1所述的一种基于激光雷达的交通目标检测系统，其特征在于，所述检测系统中，将3D稀疏卷积网络进行体素的特征提取方法，作为backbone并生成3D proposal；其中：3D体素CNN网络；将点云输入P划分成L
×
H
×
W个体素网格，其中非空的体素网格特征为体素内所包含多个点的特征平均值；体素化后的点云特征通过一系列多尺度的3D卷积网络聚集点云局部特征以及全局特征，其3D卷积网络的下采样尺度分别为1
×
，2
×
，4
×
，8
×
；3Dproposal生成；将8
×
下采样的3D体素特征沿着Z轴进行堆叠得到L/8
×
W/8的BEV特征图表示；之后，为点云场景中多种目标生成候选锚框，每一类目标有2
×
L/8
×
W/8的3D的锚框，其尺寸为该类目标的平均尺寸大小，0
°
，90
°
两个方向。3.根据权利要求2所述的一种基于激光雷达的交通目标检测系统，其特征在于，所述检测系统中，提出将多尺度的提速特征聚集到少量的关键点，使得关键点成为3D体素特征和proposal精细化调整网络之间的桥梁；通过Furthest
‑
Point
‑
Sampling(FPS)算法从点云场景中选择n个关键点k＝{p1，p2，...，pn}；采用FPS算法进行关键点采样能够使得关键点遍布整个点云场景，以确保关键点特征能够表示整个场景的特征信息；以关键点位置为参考点，使用SVA模块来聚集关键点周围体素特征。4.根据权利要求3所述的一种基于激光雷达的交通目标检测系统，其特征在于，所述检测系统中，F
(lk)
＝{f
1(lk)
,...,f
Nk(lk)
}表示第K个尺度的3D体素特征；V()＝{v
1(lk)
,...,v
Nk(lk)
}表示对应提速特征的3D坐标，该坐标是通过体素索引以及对应尺度体素的尺寸大小计算所得，Nk表示第k尺度中非空体素的数量；对于每一个关键点pi而言，首先通过rk来确定它的邻近非空体素，将其表示为：在这个过程中，将pi于v
j(lk)
的相对坐标与voxel特征合并到一起以表示两者间的相对
位置关系；通过Pointblock模块来生成关键点pi的特征表示：M表示从S
i(lk)
中随机采样Tk个体素的特征以达到节省计算量的目的；G表示用于编码体素特征和相对关系MLP网络；同时选择多个半径距离进行VSA操作；将多个尺度的体素特征聚集...

【专利技术属性】
技术研发人员：王秉路，张磊，胡世超，李宁，王小旭，赵永强，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：