跨模态监督学习下多传感器融合检测的卡车智驾感知方法技术

本发明专利技术涉及自动驾驶技术领域，具体公开了一种跨模态监督学习下多传感器融合检测的卡车智驾感知方法，包括：通过相机传感器获取自车周围的图像数据，以及通过激光雷达传感器获取自车周围的点云数据；将自车周围的图像数据和点云数据采用多传感器融合检测算法进行特征融合，根据特征融合结果对自车周围的障碍物进行检测；完成障碍物检测后，采用匈牙利匹配算法进行前景障碍物的跟踪，以及采用

【技术实现步骤摘要】
跨模态监督学习下多传感器融合检测的卡车智驾感知方法


[0001]本专利技术涉及自动驾驶
，尤其涉及一种跨模态监督学习下多传感器融合检测的卡车智驾感知方法
。

技术介绍

[0002]货物运输在现代经济中起着至关重要的作用
。
然而，长途货运面临着驾驶员疲劳
、
驾驶风险
、
人为错误和人力成本等挑战
。
重型卡车自动驾驶的引入能够解决这些问题，提高运输效率和货运行业的安全性
。
随着自动驾驶技术的飞速发展，许多公司和研究机构开始探索将自动驾驶技术应用于货车
。
通过使用激光雷达
、
相机
、
毫米波雷达等传感器，以及强大的计算平台和深度学习算法，能够实时监测和识别道路上的障碍物
、
行人
、
交通标志和信号，并做出智能的驾驶决策，实现重型卡车的自动驾驶
。
[0003]重型卡车自动驾驶应用中，由于重型卡车的尺寸较大且存在盲区，单一传感器能采集的卡车周围的环境数据有限，仅仅使用基于单一传感器数据进行障碍物检测的算法，难以获得准确且全面的障碍物感知结果
。
因此传感器的安装数量也更多，布局也更为复杂，最终导致障碍物的感知变得困难
。
[0004]相机传感器用于获取自车周围的图像数据，图像数据中包含了丰富的纹理
、
色彩信息，这些信息对于障碍物的分类至关重要，但图像中缺少深度信息，又导致难以精确定位障碍物的位置，并且相机会受到过曝，低光照等情况影响，使得拍摄的图像数据质量变差
。
[0005]激光雷达传感器用于获取自车周围的点云数据，点云数据天然包含深度信息和丰富的障碍物结构信息，但其缺少纹理和颜色信息，因此基于点云数据的检测算法对于障碍物的定位和分类，前者的效果要更好
。
同样的激光雷达也会受外部因素的干扰，如在大雪天气，或因障碍物表面材质的原因，会使得激光的反射率很低，从而影响点云数据的采集
。
[0006]现有的方案仅仅是将来自车端和路端不同传感器的多模态数据分别进行特征提取，然后变换到统一的
BEV
空间下进行特征融合，该方案优于基于单一传感器数据进行感知的方案，一定程度上提升了感知效果
。
但是该方案未考虑多模态数据各自的特点以及它们之间的互补性，没有做到充分融合，仅仅只是独立的对不同模态的数据进行特征提取再融合，对检测结果来说难以有较大的提升
。
同时较多车身传感器
、
路端传感器数据的特征融合也难以保证感知的实时性，增加了系统的计算量
。

技术实现思路

[0007]本专利技术的目的在于克服现有技术中存在的不足，提供了一种跨模态监督学习下多传感器融合检测的卡车智驾感知方法，以解决现有技术中存在的重型卡车车身体积大
、
盲区更多，障碍物的检测跟踪更为困难的问题
。
[0008]作为本专利技术的第一个方面，提供一种跨模态监督学习下多传感器融合检测的卡车智驾感知方法，所述跨模态监督学习下多传感器融合检测的卡车智驾感知方法包括：步骤
S1
：通过相机传感器获取自车周围的图像数据，以及通过激光雷达传感器获
取自车周围的点云数据；步骤
S2
：将所述自车周围的图像数据和所述自车周围的点云数据采用多传感器融合检测算法进行特征融合，根据特征融合结果对自车周围的障碍物进行检测；步骤
S3
：完成障碍物检测后，采用匈牙利匹配算法进行前景障碍物的跟踪，以及采用
GNN
算法进行背景障碍物的跟踪；步骤
S4
：输出前景障碍物的跟踪结果和背景障碍物的跟踪结果
。
[0009]进一步地，所述通过相机传感器获取自车周围的图像数据，以及通过激光雷达传感器获取自车周围的点云数据，还包括：通过8个相机传感器获取自车周围的图像数据，以及通过4个激光雷达传感器获取自车周围的点云数据；其中，4个激光雷达传感器分为1个主激光雷达传感器和3个补盲激光雷达传感器，主激光雷达传感器安装在卡车驾驶室顶部前端，用于获取卡车行驶路线前方
、
两侧较远距离的点云数据，3个补盲激光雷达传感器分别位于卡车车头两侧以及卡车车尾顶端，用于获取卡车两侧盲区
、
车尾较远距离的点云数据；2个相机传感器安装在卡车驾驶室顶部前端的主激光雷达传感器下，上下排列，一颗朝向卡车前方，用于获取卡车行驶路线前方较远距离的图像数据，另一颗角度向下，用于获取卡车前方盲区的图像数据；2个相机传感器安装在卡车车尾顶部，左右排列，功能与驾驶室顶部前端的2个相机传感器相同；2个相机传感器分别安装在卡车车头两侧，2个相机传感器分别安装在卡车车尾两侧，8个相机实现对卡车周围
360
度范围内的监控；通过
CROON
算法将3个补盲激光雷达传感器坐标系分别标定到主激光雷达传感器坐标系下，通过
CRLF
算法将8个相机传感器坐标系分别标定到所述主激光雷达传感器坐标系下；通过标定结果，对多个激光雷达传感器采集的自车周围点云数据进行拼接，以得到完整点云数据；对多个相机传感器采集的自车周围图像数据进行图像预处理，以得到预处理后的多个视角图像数据
。
[0010]进一步地，所述将所述自车周围的图像数据和所述自车周围的点云数据采用多传感器融合检测算法进行特征融合，根据特征融合结果对自车周围的障碍物进行检测，还包括：点云分支：采用基于
VoxelNet
的特征提取网络对所述完整点云数据进行特征提取，以得到
BEV
空间下的点云特征；图像分支：采用基于
Swin
‑
Transformer
的特征提取网络对所述预处理后的多个视角图像数据分别进行特征提取，以对应得到多个视角图像特征，随后通过
FPN
网络聚合多个视角图像特征，得到包含丰富语义信息的融合图像特征，最后采用
LSS
算法进行特征投影以得到
BEV
空间下的图像特征；将所述
BEV
空间下的点云特征和所述
BEV
空间下的图像特征进行拼接
、
卷积操作，以得到
BEV
空间下的融合特征，然后将所述
BEV
空间下的融合特征送入
3D
检测头进行障碍物检测，以得到障碍物检测结果
。
[0011]进一步地，所述障碍物检测结果包括障碍物的位置
、
速度和包围框信息
。
[0012]进一步地，所述多传感器融合检测算法的训练过程包括：首先将所述完整点云数据分别投影到所述预处理后的各个视角图像数据上，得到
各个视角图像中每个像素的深度信息，该深度信息作为图像分支中
...

【技术保护点】

【技术特征摘要】
1.
一种跨模态监督学习下多传感器融合检测的卡车智驾感知方法，其特征在于，所述跨模态监督学习下多传感器融合检测的卡车智驾感知方法包括：步骤
S1
：通过相机传感器获取自车周围的图像数据，以及通过激光雷达传感器获取自车周围的点云数据；步骤
S2
：将所述自车周围的图像数据和所述自车周围的点云数据采用多传感器融合检测算法进行特征融合，根据特征融合结果对自车周围的障碍物进行检测；步骤
S3
：完成障碍物检测后，采用匈牙利匹配算法进行前景障碍物的跟踪，以及采用
GNN
算法进行背景障碍物的跟踪；步骤
S4
：输出前景障碍物的跟踪结果和背景障碍物的跟踪结果
。2.
根据权利要求1所述的跨模态监督学习下多传感器融合检测的卡车智驾感知方法，其特征在于，所述通过相机传感器获取自车周围的图像数据，以及通过激光雷达传感器获取自车周围的点云数据，还包括：通过8个相机传感器获取自车周围的图像数据，以及通过4个激光雷达传感器获取自车周围的点云数据；其中，4个激光雷达传感器分为1个主激光雷达传感器和3个补盲激光雷达传感器，主激光雷达传感器安装在卡车驾驶室顶部前端，用于获取卡车行驶路线前方
、
两侧较远距离的点云数据，3个补盲激光雷达传感器分别位于卡车车头两侧以及卡车车尾顶端，用于获取卡车两侧盲区
、
车尾较远距离的点云数据；2个相机传感器安装在卡车驾驶室顶部前端的主激光雷达传感器下，上下排列，一颗朝向卡车前方，用于获取卡车行驶路线前方较远距离的图像数据，另一颗角度向下，用于获取卡车前方盲区的图像数据；2个相机传感器安装在卡车车尾顶部，左右排列，功能与驾驶室顶部前端的2个相机传感器相同；2个相机传感器分别安装在卡车车头两侧，2个相机传感器分别安装在卡车车尾两侧，8个相机实现对卡车周围
360
度范围内的监控；通过
CROON
算法将3个补盲激光雷达传感器坐标系分别标定到主激光雷达传感器坐标系下，通过
CRLF
算法将8个相机传感器坐标系分别标定到所述主激光雷达传感器坐标系下；通过标定结果，对多个激光雷达传感器采集的自车周围点云数据进行拼接，以得到完整点云数据；对多个相机传感器采集的自车周围图像数据进行图像预处理，以得到预处理后的多个视角图像数据
。3.
根据权利要求2所述的跨模态监督学习下多传感器融合检测的卡车智驾感知方法，其特征在于，所述将所述自车周围的图像数据和所述自车周围的点云数据采用多传感器融合检测算法进行特征融合，根据特征融合结果对自车周围的障碍物进行检测，还包括：点云分支：采用基于
VoxelNet
的特征提取网络对所述完整点云数据进行特征提取，以得到
BEV
空间下的点云特征；图像分支：采用基于
Swin
‑
Transformer
的特征提取网络对所述预处理后的多个视角图像数据分别进行特征提取，以对应得到多个视角图像特征，随后通过
FPN
网络聚合多个视角图像特征，得到包含丰富语义信息的融合图像特征，最后采用
LSS
算法进行特征投影以得到
BEV
空间下的图像特征；将所述
BEV
空间下的点云特征和所述
BEV
空间下的图像特征进行拼接
、
卷积操作，以得到
BEV
空间下的融合特征，然后将所述
BEV
空间下的融合特征送入
3D
检测头进行障碍物检测，以得到障碍物检测结果
。
4.
根据权利要求3所述的跨模态监督学习下多传感器融合检测的卡车智驾感知方法，其特征在于，所述障碍物检测结果包括障碍物的位置
、
速度和包围框信息
。5.
根据权利要求3所述的跨模态监督学习下多传感器融合检测的卡车智驾感知方法，其特征在于，所述多传感器融合检测算法的训练过程包括：首先将所述完整点云数据分别投影到所述预处理后的各个视角图像数据上，得到各个视角图像中每个像素的深度信...

【专利技术属性】
技术研发人员：袁豆豆，梁艳菊，潘焱，
申请(专利权)人：无锡物联网创新中心有限公司，
类型：发明
国别省市：