一种基于栅格坐标系下多特征融合的高效障碍物检测方法技术

本发明专利技术公开了一种基于栅格坐标系下多特征融合的高效障碍物检测方法，包括：(1)从时序激光雷达点云数据与相机数据中获取同帧数据；(2)将激光雷达点云数据通过手工制作特征得到栅格坐标系下的激光雷达栅格特征；(3)将同一时刻的多视角相机数据进行特征提取得到二维图像特征I；(4)通过注意力投射模块，利用激光雷达栅格特征将二维图像特征I投影到三维空间，转换成相机栅格特征；(5)将步骤(2)和(4)得到的激光雷达栅格特征和相机栅格特征进行融合得到混合特征；(6)将步骤(5)得到的混合特征通过语义分割网络实现最终的栅格地图下的障碍物检测。本发明专利技术不仅很好地保留了几何和语义的信息，同时大大减少了障碍物检测时间。同时大大减少了障碍物检测时间。同时大大减少了障碍物检测时间。

【技术实现步骤摘要】
一种基于栅格坐标系下多特征融合的高效障碍物检测方法


[0001]本专利技术属于自动驾驶领域，尤其是涉及一种基于栅格坐标系下多特征融合的高效障碍物检测方法。

技术介绍

[0002]在自动驾驶中，对象为中心的感知方式比以栅格为中心的感知方式更加普遍应用。对象为中心的感知通过识别和定位图像或传感器数据中特定目标(如车辆、行人和自行车)来检测障碍物，从而准确地感知高度动态的室外交通场景。然而，在开放世界的交通环境中，对象为中心的技术存在无法检测形状或外观没有明确定义的障碍物的问题，并且依赖于标注信息。
[0003]最新工业和学术研究表明，以栅格为中心的感知技术展现出令人瞩目的优势。这种技术不仅能够提供全面而详细的环境描述，还能够更好地处理各种遮挡情况，从而增强鲁棒性。此外，基于栅格的感知方法还能够高效地融合多个传感器数据，将不同来源的信息整合并利用，进一步提升感知系统性能。因此，以栅格为中心的感知被认为是一个很有前途的解决方案。它可以在不知道物体情况下，提供障碍物在二维或三维空间中占据情况。具体而言，该方法基于对环境的离散化划分，将连续的传感器数据转换为栅格地图。通过预处理和算法映射，原始数据被转化为一个由网格(即栅格)组成的二维或三维地图。
[0004]例如，在基于雷达的栅格映射方面，《Multi
‑
View 3D Object Detection Network for Autonomous Driving》(2017年国际计算机视觉与模式识别会议IEEE Conference on Computer Vision and Pattern Recognition)发现激光雷达点云的稀疏性和可变性导致卷积神经网络效率低下，因此使用手工制作的特征对每个栅格单元进行编码。同样，《PIXOR:Real
‑
time 3D Object Detection from Point Clouds》(2018年国际计算机视觉与模式识别会议IEEE Conference on Computer Vision and Pattern Recognition)保留了高度信息，通过将二维反射率图与三维张量组合来表示栅格特征。另一种方法是通过将激光雷达与相机特征进行多传感器融合，实现更高层次的三维特征交互。《TransFusion:Robust LiDAR
‑
Camera Fusion for 3D Object Detection with Transformers》(2022年国际计算机视觉与模式识别会议IEEE Conference on Computer Vision and Pattern Recognition)重新审视了融合过程，并将焦点从硬关联转移到软关联，以提高对退化图像质量和传感器错位的鲁棒性。该方法利用LiDAR BEV特征和图像引导生成物体查询，并将这些查询与图像特征进行融合。为了简化和增强稳健性，一种简单策略是统一应用融合操作于BEV特征上。此外，还有其他方法可以进一步改进融合效果，例如考虑传感器不确定性、引入时序信息并结合全局自注意力机制以提高预测准确性等。这些创新方法为多传感器融合领域带来了新的突破和发展前景。
[0005]然而，之前的方法存在一些限制。(1)难以有效地整合激光雷达和摄像机的表征，而且由于摄像机难以感知几何信息，导致融合语义信息时摄像机分支的影响有限；(2)使用全局自注意力机制整合时空信息会增加计算负担和复杂性；(3)缺乏高效聚合特征的方法。
这些限制导致使用多模态传感器数据进行准确物体检测和跟踪面临挑战。更重要的是，目前还没有简单有效的检测方法针对基于栅格的障碍物感知，无法满足车辆实时检测的需求。

技术实现思路

[0006]本专利技术提供了一种基于栅格坐标系下多特征融合的高效障碍物检测方法，不仅很好地保留了几何和语义的信息，同时大大减少了障碍物检测时间。
[0007]一种基于栅格坐标系下多特征融合的高效障碍物检测方法，包括：
[0008](1)从时序激光雷达点云数据与相机数据中获取同帧数据；
[0009](2)将激光雷达点云数据通过手工制作特征得到栅格坐标系下的激光雷达栅格特征G
LiDAR
；
[0010](3)将同一时刻的多视角相机数据进行特征提取得到二维图像特征I；
[0011](4)通过注意力投射模块，利用激光雷达栅格特征G
LiDAR
将二维图像特征I投影到三维空间，转换成相机栅格特征G
Camera
；
[0012](5)将步骤(2)和(4)得到的激光雷达栅格特征G
LiDAR
和相机栅格特征进行融合得到混合特征；
[0013](6)将步骤(5)得到的混合特征通过语义分割网络实现最终的栅格地图下的障碍物检测。
[0014]本专利技术将点云激光雷达和多视角图像分别进行特征提取投射到栅格地图坐标下，并进行特征融合。最终，将混合得到的特征通过语义分割网络，得到栅格地图下障碍物检测结果。
[0015]步骤(1)中，由于本专利技术获取的输入数据是时序数据，需要通过数据流获取不同传感器时间戳最相近的数据。通过从时序激光点云数据和相机数据中获取同帧数据，并将它们进行融合，充分利用不同传感器的优势，并提高系统在复杂环境下的感知能力和决策性能。
[0016]步骤(2)中，由于激光雷达点云数据都是在自车坐标系下，通过以下公式得到栅格坐标系和自车坐标系的转换关系：
[0017][0018]其中，coord表示栅格块右下角的坐标，corner表示其右下角在自车坐标系下的坐标，scale为单个栅格在x和y方向上的尺寸，offset是栅格地图原点坐标相对于自车坐标在x和y方向的偏移量。
[0019]步骤(2)中，对于N个激光雷达点云数据流P∈R
N
×3，通过手工制作特征，转换为统一的栅格坐标下特征G
LiDAR
∈R
X
×
Y
×
C
，其中X，Y，C表示栅格地图网格大小和特征维度，手工制作特征由高度图、密度图和标准化后的X，Y坐标图组成。
[0020]步骤(3)中，通过图像特征处理主干模块进行特征提取，得到的二维图像特征为其中，N
c
、C、H、W分别表示相机个数、特征维度、图像高度和宽度。
[0021]栅格特征图通过鸟瞰的方式，用肉眼可以分辨的方式可视化检测结果，并做直观的评估。本专利技术以激光雷达为原点，车行进方向为x轴的正向，以车左侧为y轴的正向，地面
向上的方向为z轴的正轴。以边长为0.5x0.3m的小方格将鸟瞰图进行划分。栅格特征图由深度为8，由5张高度图、1张密度图和2张标准化之后的x,y坐标组成。每张高度图、密度图和标准化坐标图的尺寸一致。其中，高度图中每个网格中的最大点高度作为高度特征进行记录。为了编码更多的高度信息，我们将点云分成5层，并计算每层对应的高度图，从而获得了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于栅格坐标系下多特征融合的高效障碍物检测方法，其特征在于，包括：(1)从时序激光雷达点云数据与相机数据中获取同帧数据；(2)将激光雷达点云数据通过手工制作特征得到栅格坐标系下的激光雷达栅格特征G
LiDAR
；(3)将同一时刻的多视角相机数据进行特征提取得到二维图像特征I；(4)通过注意力投射模块，利用激光雷达栅格特征G
LiDAR
将二维图像特征I投影到三维空间，转换成相机栅格特征G
Camera
；(5)将步骤(2)和(4)得到的激光雷达栅格特征G
LiDAR
和相机栅格特征进行融合得到混合特征；(6)将步骤(5)得到的混合特征通过语义分割网络实现最终的栅格地图下的障碍物检测。2.根据权利要求1所述的基于栅格坐标系下多特征融合的高效障碍物检测方法，其特征在于，步骤(2)中，由于激光雷达点云数据都是在自车坐标系下，通过以下公式得到栅格坐标系和自车坐标系的转换关系：其中，coord表示栅格块右下角的坐标，corner表示其右下角在自车坐标系下的坐标，scale为单个栅格在x和y方向上的尺寸，offset是栅格地图原点坐标相对于自车坐标在x和y方向的偏移量。3.根据权利要求1所述的基于栅格坐标系下多特征融合的高效障碍物检测方法，其特征在于，步骤(2)中，对于N个激光雷达点云数据流P∈R
N
×3，通过手工制作特征，转换为统一的栅格坐标下特征G
LiDAR
∈R
X
×
Y
×
C
，其中X，Y，C表示栅格地图网格大小和特征维度，手工制作特征由高度图、密度图和标准化后的X，Y坐标图组成。4.根据权利要求1所述的基于栅格坐标系下多特征融合的高效障碍物检测方法，其特征在于，步骤(3)中，通过图像特征处理主干模块进行特征提取，得到的二维图像特征为其中，N
c
、C、H、W分别表示相机个数、特征维度、图像高度和宽度。5.根据权利要求1所述的基于栅格坐标系下多特征融合的高效障碍物检测方法，其特征在于，步骤(4)的具体过程如下：首先需要对相机栅格特征进行初始化，以表示第一阶段的初始化相机栅格特征；注意力投射模块在每次迭代中将上一阶段的相机栅格特征G
Camera
和激光雷达栅格特征G
LiDAR
按通道方向进行拼接得到查询特征Q，生成公式如下：Q＝f(G
LiDAR
，G
Camera
)其中，查询特征Q作为注意力投射模块...

【专利技术属性】
技术研发人员：何方政，王闻箫，林彬彬，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：