一种基于混合注意力机制的图像-激光雷达数据融合方法技术

本发明专利技术公开了一种基于混合注意力机制的图像

【技术实现步骤摘要】
一种基于混合注意力机制的图像
‑
激光雷达数据融合方法


[0001]本专利技术涉及自动驾驶
，提出了一种基于混合注意力机制的图像
‑
激光雷达数据融合方法。

技术介绍

[0002]随着计算机科学和辅助驾驶技术的高速发展，自动驾驶技术俨然成为了人类交通的重要发展方向。感知作为自动驾驶系统中的关键技术，使用车载雷达、激光测距仪等感知设备捕获数据，借助交通规则、道路网络等先验知识估计车辆的运动状态，包括红绿灯识别、3D目标检测等等。为了确保自动驾驶的安全性，自动驾驶车辆需要获取大量的环境信息，并通过筛选和相关处理实现对车辆的精准控制。
[0003]检测三维空间中的物体是建立一个自动驾驶感知系统的基本要求，关系到自动驾驶车辆后续路径的规划和控制。在实际工作中，一辆自动驾驶的汽车需要从例如摄像机、激光雷达等传感器中获取原始数据，然后进行处理，以实现对周围环境的感知和表达，包括对对象的分类、检测和定位。
[0004]目前，国内外已经有了大量工作研究3D目标检测，主要包括基于激光雷达的方法、基于单目视觉的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合注意力机制的图像
‑
激光雷达数据融合方法，所述方法包括：步骤1)同时接收激光雷达点云数据和摄像机图像；步骤2)基于球面映射，将点云数据转化为不同尺度的二维距离图像，并存储映射关系；步骤3)基于激光雷达空间到2D相机空间的投影矩阵，对摄像机图像进行预处理；步骤4)将不同尺度的二维距离图像和预处理后的摄像机图像输入预先建立和训练好的阶梯融合网络，得到融合后具有图像语义的点云特征；步骤5)根据映射关系，将融合后的点云特征投影到原始激光点云数据中，并输入3D目标检测器实现目标检测；所述阶梯融合网络通过单独提取两个模态的深层特征，在不同尺度上利用注意力机制实现多模态融合。2.根据权利要求1所述的基于混合注意力机制的图像
‑
激光雷达数据融合方法，其特征在于，所述步骤2)具体包括：对于坐标个数为N，强度为4的点云数据，对任一点(x，y，z)，根据下式计算得到该点对应的二维距离图像的像素坐标(u，v)：其中，是该点的距离，f＝f
up
+f
down
表示激光传感器的垂直视野，f
up
和f
down
分别表示垂直视野的最高处和最低处，h和w分别表示期待的二维距离图像的高度和宽度；存储(N，4)的点云数据与N个二维距离图像的像素坐标(u，v)的映射关系。3.根据权利要求2所述的基于混合注意力机制的图像
‑
激光雷达数据融合方法，其特征在于，所述步骤3)具体包括：根据3D激光雷达空间到2D相机空间的投影矩阵P∈R3×4，R表示实数，对于点云中的任一3D点(x，y，z，1)
T
，根据下式得到在第i个摄像机图像上对应的像素点位置(u，v，1)
T
：[u，v，1]
T
＝P[x，y，z，1]
T
其中，T表示转置。4.根据权利要求3所述的基于混合注意力机制的图像
‑
激光雷达数据融合方法，其特征在于，所述阶梯融合网络采用编解码模型，包括编码模块和解码融合模块，其中，所述编码模块，用于分别提取摄像机图像的图像语义信息，以及不同尺度的二维距离图像的特征图，得到具有语义的特征图；所述解码融合模块，用于将具有语义的特征图恢复至预设的最大距离图像尺寸，在不同的尺寸上对编码模块提取的特征进行自适应融合。5.根据权利要求4所述的基于混合注意力机制的图像
‑
激光雷达数据融合方法，其特征在于，所述解码融合模块包括解码子模块和多模态融合子模块，其中，所述解码子模块，用于将具有语义的特征图恢复为H
×
W
×
8输出，H和W分别为预设的最大二维距离图像的高度和宽度；所述多模态融合子模块，用于在不同尺度上运用二维距离图像引导实现多模态融合。6...

【专利技术属性】
技术研发人员：张新钰，于海洋，余贵珍，任毅龙，孙振韬，王云鹏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：