一种制造技术

本申请涉及一种

【技术实现步骤摘要】
一种BEV感知方法、装置及车辆


[0001]本申请属于车辆
，尤其涉及一种
BEV
感知方法
、
装置及车辆
。

技术介绍

[0002]目前面向智能驾驶的
BEV
感知技术，根据输入传感器的类型主要分为三类：基于多视角相机的
BEV
感知技术
(BEVcamera)、
基于激光雷达的
BEV
感知技术
(BEVlidar)
和基于多种传感器混合的
BEV
感知技术
(BEVfusion)。
其中，
BEVfusion
利用来自多个传感器的数据作为输入，如相机采集的图像数据
、
激光雷达采集的点云数据，通过设计融合机制对不同模态进行信息融合，能够得到更加丰富的
BEV
特征，以提升
BEV
感知的精度和鲁棒性
。
[0003]然而，目前
BEVfusion
大多基于点级融合，即使用图像特征来增强点云特征，但是，图像特征到点云特征的投影抛弃了图像特征的语义密度，阻碍了融合的有效性，降低了
BEV
感知的精度及鲁棒性，尤其在面对语义任务时
(
如
3D
场景分割
)
，无法适应多任务的处理，感知精度和鲁棒性很难达到要求
。

技术实现思路

[0004]针对上述技术问题，本申请提供一种/>BEV
感知方法
、
装置及车辆，能够提高对车辆周围环境进行
BEV
感知的精度及鲁棒性，并提升驾驶安全性
。
[0005]本申请提供了一种
BEV
感知方法，包括：获取车辆周围环境的图像数据及点云数据，并提取所述图像数据及所述点云数据的特征，以确定图像特征及点云特征；对所述图像特征及所述点云特征进行处理，确定所述图像特征与所述点云特征的目标融合
BEV
特征；其中，所述处理包括特征融合及时序特征增强；根据所述目标融合
BEV
特征，对所述车辆周围环境进行目标检测及道路分割，确定所述车辆周围环境的
BEV
感知结果
。
[0006]在一实施方式中，所述对所述图像特征及所述点云特征进行处理，确定所述图像特征与所述点云特征的目标融合
BEV
特征，包括：对当前时刻的图像特征及当前时刻的点云特征进行第一特征融合，得到当前时刻的图像增强特征及当前时刻的点云增强特征；对所述当前时刻的图像增强特征进行转换，确定当前时刻的图像
BEV
特征；将所述当前时刻的点云增强特征投影到
BEV
平面，确定当前时刻的点云
BEV
特征；对所述当前时刻的图像
BEV
特征及所述当前时刻的点云
BEV
特征进行时序特征增强，以确定所述目标融合
BEV
特征
。
[0007]在一实施方式中，所述对当前时刻的图像特征及当前时刻的点云特征进行第一特征融合，得到当前时刻的图像增强特征及当前时刻的点云增强特征的步骤，包括：基于第一交叉注意力机制，采用所述当前时刻的点云特征中的深度信息，对所述当前时刻的图像特征中的深度信息进行增强，得到所述当前时刻的图像增强特征；基于第二交叉注意力机制，采用所述当前时刻的图像特征中的语义信息，对所述当前时刻的点云特征中的语义信息进行增强，得到所述当前时刻的点云增强特征
。
[0008]在一实施方式中，所述对所述当前时刻的图像增强特征进行转换，确定所述当前时刻的图像
BEV
特征的步骤，包括：将所述当前时刻的点云增强特征对应的点云投影到所述
当前时刻的图像增强特征对应的图像所在的平面，以确定所述当前时刻的图像增强特征的深度信息；基于所述深度信息，对所述当前时刻的图像增强特征进行视角转换，确定所述当前时刻的图像
BEV
特征
。
[0009]在一实施方式中，所述对所述当前时刻的图像
BEV
特征及所述当前时刻的点云
BEV
特征进行时序特征增强，以确定所述目标融合
BEV
特征的步骤，包括：基于上一时刻的图像
BEV
特征，对所述当前时刻的图像
BEV
特征进行时序特征增强，确定当前时刻增强后的图像
BEV
特征；基于上一时刻的点云
BEV
特征，对所述当前时刻的点云
BEV
特征进行时序特征增强，确定当前时刻增强后的点云
BEV
特征；对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增强后的点云
BEV
特征进行第二特征融合，以确定所述目标融合
BEV
特征
。
[0010]在一实施方式中，所述基于上一时刻的图像
BEV
特征，对所述当前时刻的图像
BEV
特征进行时序特征增强，确定当前时刻增强后的图像
BEV
特征的步骤，包括：基于车辆从上一时刻到当前时刻的位移，对所述上一时刻的图像
BEV
特征进行优化；对所述当前时刻的图像
BEV
特征与优化后的所述上一时刻的图像
BEV
特征进行卷积，确定所述当前时刻增强后的图像
BEV
特征
。
[0011]在一实施方式中，所述对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增强后的点云
BEV
特征进行第二特征融合，以确定所述目标融合
BEV
特征的步骤，包括：对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增强后的点云
BEV
特征进行第二特征融合，确定当前时刻的融合
BEV
特征；基于上一时刻的融合
BEV
特征，对所述当前时刻的融合
BEV
特征进行时序特征增强，确定当前时刻增强后的融合
BEV
特征；对所述当前时刻增强后的融合
BEV
特征进行处理，确定所述目标融合
BEV
特征
。
[0012]在一实施方式中，所述对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增强后的点云
BEV
特征进行第二特征融合，确定当前时刻的融合
BEV
特征的步骤，包括：确定所述当前时刻增强后的图像
BEV
特征与所述当前时刻增强后的点云
BEV
特征的空间错位信息；根据所述空间错位信息，对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
BEV
感知方法，其特征在于，包括：获取车辆周围环境的图像数据及点云数据，并提取所述图像数据及所述点云数据的特征，以确定图像特征及点云特征；对所述图像特征及所述点云特征进行处理，确定所述图像特征与所述点云特征的目标融合
BEV
特征；其中，所述处理包括特征融合及时序特征增强；根据所述目标融合
BEV
特征，对所述车辆周围环境进行目标检测及道路分割，确定所述车辆周围环境的
BEV
感知结果
。2.
如权利要求1所述的方法，其特征在于，所述对所述图像特征及所述点云特征进行处理，确定所述图像特征与所述点云特征的目标融合
BEV
特征，包括：对当前时刻的图像特征及当前时刻的点云特征进行第一特征融合，得到当前时刻的图像增强特征及当前时刻的点云增强特征；对所述当前时刻的图像增强特征进行转换，确定当前时刻的图像
BEV
特征；将所述当前时刻的点云增强特征投影到
BEV
平面，确定当前时刻的点云
BEV
特征；对所述当前时刻的图像
BEV
特征及所述当前时刻的点云
BEV
特征进行时序特征增强，以确定所述目标融合
BEV
特征
。3.
如权利要求2所述的方法，其特征在于，所述对当前时刻的图像特征及当前时刻的点云特征进行第一特征融合，得到当前时刻的图像增强特征及当前时刻的点云增强特征的步骤，包括：基于第一交叉注意力机制，采用所述当前时刻的点云特征中的深度信息，对所述当前时刻的图像特征中的深度信息进行增强，得到所述当前时刻的图像增强特征；基于第二交叉注意力机制，采用所述当前时刻的图像特征中的语义信息，对所述当前时刻的点云特征中的语义信息进行增强，得到所述当前时刻的点云增强特征
。4.
如权利要求2所述的方法，其特征在于，所述对所述当前时刻的图像增强特征进行转换，确定所述当前时刻的图像
BEV
特征的步骤，包括：将所述当前时刻的点云增强特征对应的点云投影到所述当前时刻的图像增强特征对应的图像所在的平面，以确定所述当前时刻的图像增强特征的深度信息；基于所述深度信息，对所述当前时刻的图像增强特征进行视角转换，确定所述当前时刻的图像
BEV
特征
。5.
如权利要求2所述的方法，其特征在于，所述对所述当前时刻的图像
BEV
特征及所述当前时刻的点云
BEV
特征进行时序特征增强，以确定所述目标融合
BEV
特征的步骤，包括：基于上一时刻的图像
BEV
特征，对所述当前时刻的图像
BEV
特征进行时序特征增强，确定当前时刻增强后的图像
BEV
特征；基于上一时刻的点云
BEV
特征，对所述当前时刻的点云
BEV
特征进行时序特征增强，确定当前时刻增强后的点云
BEV
特征；对所述当前时刻增强后的图像
BEV
特征及所述当前时刻增强后的点云
BEV
特征进行第二特征融合，以确定所...

【专利技术属性】
技术研发人员：孙云鹏，
申请(专利权)人：宁波路特斯机器人有限公司，
类型：发明
国别省市：