BEV感知模型、构建方法、装置、设备、车辆及存储介质制造方法及图纸

本发明专利技术提供了BEV感知模型、构建方法、装置、设备、车辆及存储介质，属于自动驾驶技术领域。它解决了现有的BEV感知模型感知效果不佳的问题。BEV感知模型包括图像视角编码器、映射模块、三维骨干网络、三维目标检测头、用于遥感图像和鸟瞰视图以及遥感图像与鸟瞰视图融合后形成的融合图像进行鸟瞰图特征提取的BEV编码器、用于将雷达BEV特征和相机BEV特征融合的融合模块。BEV感知模型构建方法包括A、训练数据准备和加载；B、划分数据集；C、构建BEV网络模型；D、训练模型；E、模型评估；F、模型预测。本发明专利技术还给出BEV感知模型的装置、设备、车辆及存储介质。本发明专利技术利用即时遥感星座获取地面情况得到天然的BEV视角，融入到BEV模型中提升感知效果。

【技术实现步骤摘要】

本专利技术属于自动驾驶，涉及bev感知模型、构建方法、装置、设备、车辆及存储介质。

技术介绍

1、近年来，自动驾驶技术逐渐成为汽车领域的研究热点，而感知技术作为自动驾驶领域的重中之重，可根据传感器获取的车辆周围的环境信息，结合预设的算法，帮助车辆对周围环境进行理解和决策，完成车辆自动驾驶的路径规划和车辆行为控制。基于环车身多摄视角图像特征融合的鸟瞰图的bev(bird'seyeview)感知模型，是当前车辆感知技术的主流。

2、目前，bev感知模型中，主要是将摄像头和激光雷达这两种传感器获得的前向数据转换成bev模式。但是，这两种传感器的转换各有自己不足。摄像头获取的是二维图像，在视角变换的转换过程中，容易发生图像特征失真和变形的问题，进而需要进行深度估计，这又会增加计算量和误差。而激光雷达获取的点云数据虽然是三维的，却存在数据稀疏的问题，需要考虑数据集、基准、算法等重建缺失的三维信息，这又会影响最终的转换效果。

3、为此，中国专利申请(申请号：202210114639.7)公开了基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法，同本文档来自技高网...

【技术保护点】

1.一种BEV感知模型，包括图像视角编码器(1)，用于对车辆的图像感知模块输入的原始图像数据进行特征提取输出具有语义信息的图像多视角特征，其特征在于，本结合即时遥感的BEV感知模型还包括：

2.根据权利要求1所述的BEV感知模型，其特征在于，遥感图像与鸟瞰视图在进入BEV编码器(3)前采用PCA变换的方式进行融合形成融合图像。

3.根据权利要求1或2所述的BEV感知模型，其特征在于，BEV编码器(3)内遥感图像、鸟瞰视图以及融合图像采用图像数据矩阵叠加的方式进行数据融合。

4.根据权利要求1所述的BEV感知模型，其特征在于，本结合即时遥感的BEV感知模...

【技术特征摘要】

1.一种bev感知模型，包括图像视角编码器(1)，用于对车辆的图像感知模块输入的原始图像数据进行特征提取输出具有语义信息的图像多视角特征，其特征在于，本结合即时遥感的bev感知模型还包括：

2.根据权利要求1所述的bev感知模型，其特征在于，遥感图像与鸟瞰视图在进入bev编码器(3)前采用pca变换的方式进行融合形成融合图像。

3.根据权利要求1或2所述的bev感知模型，其特征在于，bev编码器(3)内遥感图像、鸟瞰视图以及融合图像采用图像数据矩阵叠加的方式进行数据融合。

4.根据权利要求1所述的bev感知模型，其特征在于，本结合即时遥感的bev感知模型还包括：

5.根据权利要求4所述的bev感知模型，其特征在于，本结合即时遥感的bev感知模型还包括：三维目标检测头(6)，用于获取融合模块(5)发送的多模态bev特征并输出。

6.根据权利要求4或5所述的bev感知模型，其特征在于，所述的图像视角编码器(1)包括二维骨干网络(1a)和颈部模块(2a)，车辆的图像感知模块输入的原始图像数据经过二维骨干网络(1a)和颈部模块(2a)后输出具有语义信息的图像多视角特征。

7.一种bev感知模型构建方法，其特征在于，本方法包括以下步骤：

8.根据权利要求7所述的bev感知模型构建方法，其特征在于，在步骤a中训练数据还包括激光感知模块检测的数据，在步骤c中，bev感知模型还包括三维骨干网络(4)、融合模块(5)和三维目标检测头(6)。

9.根据权利要求8所述的bev感知模型构建方法，其特征在于，在步骤e中，预测值与真实值之间的差异大于预设的差异阈值时判断需要进行迭代训练，进入步骤d，预测值与真实值之间的差异小于预设的差异阈值时通过评估指标对模型指标进行评估，在评估不合格时，判断需要进行迭代训练进入步骤d，在评估...

【专利技术属性】
技术研发人员：王泓清，刘勇，
申请(专利权)人：浙江时空道宇科技有限公司，
类型：发明
国别省市：