【技术实现步骤摘要】
本专利技术涉及智能驾驶，尤其涉及一种数据预处理方法、装置、设备及存储介质。
技术介绍
1、三维目标检测对于智能驾驶感知任务至关重要。现有三维目标检测一般都是基于周视图像的感知方案进行检测，一般分为bevdepth和bevformer两种建模方法。bevdepth利用单目深度估计网络预测像素深度并利用深度预测聚合成俯瞰图特征作为初始查询特征，而bevformer则是利用三维空间中预先生成的固定格网点投影到周视图像上并取相应位置的特征聚合成俯瞰图特征作为初始查询特征。
2、现有建模方法中，由于单目深度估计存在深度预测不准确而造成错误位置检测，而固定格网对于射线上深度不同的位置无法区分而造成射线上的散射现象。
技术实现思路
1、本专利技术的主要目的在于解决现有建模方法存在深度预测不准确以及不同深度位置无法区分的技术问题。
2、本专利技术第一方面提供了一种数据预处理方法，应用于车辆周围环境的三维目标检测，所述数据预处理方法包括：
3、获取当前车辆周围环境的多个点云数据与多个图像数据；
4、生成各所述点云数据对应的动态稀疏三维格网以及生成各所述图像数据对应的周视图像特征图；
5、将所述动态稀疏三维格网以及预置固定稠密三维格网分别投影至所述周视图像特征图并进行特征聚合，对应得到第一俯瞰特征图与第二俯瞰特征图；
6、将所述第一俯瞰特征图与所述第二俯瞰特征图进行叠加，得到第三俯瞰特征图；
7、将所述第三俯瞰特征图与
8、在本专利技术第一方面的第一种实现方式中，所述数据预处理方法还包括：
9、将所述第四俯瞰特征图输入预置检测模型进行处理，输出当前车辆周围环境中的三维目标检测框。
10、在本专利技术第一方面的第二种实现方式中，所述生成各所述点云数据对应的动态稀疏三维格网包括：
11、对各所述点云数据进行体素化处理，得到多个体数据；
12、基于各所述体数据，生成车辆周围环境的俯瞰图对应的深度先验；
13、基于所述深度先验，生成各所述点云数据对应的动态稀疏三维格网。
14、在本专利技术第一方面的第三种实现方式中，所述生成各所述图像数据对应的周视图像特征图包括：
15、将各所述图像数据输入预置深度神经网络进行特征提取，得到当前车辆周围环境对应的周视图像特征图。
16、在本专利技术第一方面的第四种实现方式中，所述将所述动态稀疏三维格网以及预置固定稠密三维格网分别投影至所述周视图像特征图并进行特征聚合，对应得到第一俯瞰特征图与第二俯瞰特征图包括：
17、将所述动态稀疏三维格网的中心点坐标投影至所述周视图像特征图，得到第一特征图；
18、采用双线性插值法对所述第一特征图进行放大，并通过所述深度神经网络对放大后的所述第一特征图进行区域特征聚合，得到第一俯瞰特征图；
19、将预置固定稠密三维格网的中心点坐标投影至所述周视图像特征图，得到第二特征图；
20、采用双线性插值法对所述第二特征图进行放大，并通过所述深度神经网络对放大后的所述第二特征图进行区域特征聚合，得到第二俯瞰特征图。
21、在本专利技术第一方面的第五种实现方式中，所述将所述第三俯瞰特征图与所述周视图像特征图进行空间特征提取，得到第四俯瞰特征图包括：
22、通过所述深度神经网络，对所述第三俯瞰特征图与所述周视图像特征图进行多层空间交叉注意力特征提取，并对特征提取结果进行全连接与归一化处理，输出第四俯瞰特征图。
23、在本专利技术第一方面的第六种实现方式中，采用车载激光雷达生成所述点云数据，采用多个不同朝向的车载摄像头生成所述图像数据。
24、本专利技术第二方面提供一种数据预处理装置，所述数据预处理装置包括：
25、获取模块，用于获取当前车辆周围环境的多个点云数据与多个图像数据；
26、生成模块，用于生成各所述点云数据对应的动态稀疏三维格网以及生成各所述图像数据对应的周视图像特征图；
27、聚合模块，用于将所述动态稀疏三维格网以及预置固定稠密三维格网分别投影至所述周视图像特征图并进行特征聚合，对应得到第一俯瞰特征图与第二俯瞰特征图；
28、叠加模块，用于将所述第一俯瞰特征图与所述第二俯瞰特征图进行叠加，得到第三俯瞰特征图；
29、提取模块，用于将所述第三俯瞰特征图与所述周视图像特征图进行空间特征提取，得到第四俯瞰特征图。
30、在本专利技术第二方面的第一种实现方式中，所述数据预处理装置还包括：
31、检测模块，用于将所述第四俯瞰特征图输入预置检测模型进行处理，输出当前车辆周围环境中的三维目标检测框。
32、在本专利技术第二方面的第二种实现方式中，所述生成模块具体用于：
33、对各所述点云数据进行体素化处理，得到多个体数据；
34、基于各所述体数据，生成车辆周围环境的俯瞰图对应的深度先验；
35、基于所述深度先验，生成各所述点云数据对应的动态稀疏三维格网。
36、在本专利技术第一方面的第三种实现方式中，所述生成模块还用于：
37、将各所述图像数据输入预置深度神经网络进行特征提取，得到当前车辆周围环境对应的周视图像特征图。
38、在本专利技术第二方面的第四种实现方式中，所述聚合模块具体用于：
39、将所述动态稀疏三维格网的中心点坐标投影至所述周视图像特征图，得到第一特征图；
40、采用双线性插值法对所述第一特征图进行放大，并通过所述深度神经网络对放大后的所述第一特征图进行区域特征聚合，得到第一俯瞰特征图；
41、将预置固定稠密三维格网的中心点坐标投影至所述周视图像特征图，得到第二特征图；
42、采用双线性插值法对所述第二特征图进行放大，并通过所述深度神经网络对放大后的所述第二特征图进行区域特征聚合，得到第二俯瞰特征图。
43、在本专利技术第二方面的第五种实现方式中，所述提取模块具体用于：
44、通过所述深度神经网络，对所述第三俯瞰特征图与所述周视图像特征图进行多层空间交叉注意力特征提取，并对特征提取结果进行全连接与归一化处理，输出第四俯瞰特征图。
45、在本专利技术第二方面的第六种实现方式中，采用车载激光雷达生成所述点云数据，采用多个不同朝向的车载摄像头生成所述图像数据。
46、本专利技术第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的数据预处理方法。
47、本专利技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据预处理方法。
48、本专利技术提供的技术方案中本文档来自技高网...
【技术保护点】
1.一种数据预处理方法，应用于车辆周围环境的三维目标检测，其特征在于，所述数据预处理方法包括：
2.根据权利要求1所述的数据预处理方法，其特征在于，所述数据预处理方法还包括：
3.根据权利要求1所述的数据预处理方法，其特征在于，所述生成各所述点云数据对应的动态稀疏三维格网包括：
4.根据权利要求1所述的数据预处理方法，其特征在于，所述生成各所述图像数据对应的周视图像特征图包括：
5.根据权利要求4所述的数据预处理方法，其特征在于，所述将所述动态稀疏三维格网以及预置固定稠密三维格网分别投影至所述周视图像特征图并进行特征聚合，对应得到第一俯瞰特征图与第二俯瞰特征图包括：
6.根据权利要求4所述的数据预处理方法，其特征在于，所述将所述第三俯瞰特征图与所述周视图像特征图进行空间特征提取，得到第四俯瞰特征图包括：
7.根据权利要求1所述的数据预处理方法，其特征在于，采用车载激光雷达生成所述点云数据，采用多个不同朝向的车载摄像头生成所述图像数据。
8.一种数据预处理装置，其特征在于，所述数据预处理装置包括：<...
【技术特征摘要】
1.一种数据预处理方法，应用于车辆周围环境的三维目标检测，其特征在于，所述数据预处理方法包括：
2.根据权利要求1所述的数据预处理方法，其特征在于，所述数据预处理方法还包括：
3.根据权利要求1所述的数据预处理方法，其特征在于，所述生成各所述点云数据对应的动态稀疏三维格网包括：
4.根据权利要求1所述的数据预处理方法，其特征在于，所述生成各所述图像数据对应的周视图像特征图包括：
5.根据权利要求4所述的数据预处理方法，其特征在于，所述将所述动态稀疏三维格网以及预置固定稠密三维格网分别投影至所述周视图像特征图并进行特征聚合，对应得到第一俯瞰特征图与第二俯瞰特征图包括：
6...
【专利技术属性】
技术研发人员：万锐，邹晓艺，曹通易，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。