【技术实现步骤摘要】
本专利技术涉及汽车安全领域，尤其涉及一种占用网格地图生成方法及其相关设备。
技术介绍
1、在传统的感知系统中，雷达和视觉传感器被广泛应用于目标检测和跟踪。然而，单一传感器的应用常常受到环境条件和目标特性的限制。雷达系统具有较强的穿透能力和适应性，但对目标的详细识别能力相对较弱；而视觉系统则在目标识别方面表现出色，但容易受到天气、光照等因素的干扰。因此，为了提高感知系统的鲁棒性和准确性，将雷达和视觉信息进行融合成为一种有效的手段。
2、然而，现有的雷达视觉融合方法仍存在一些问题。一方面，常见的方法通常忽略了占用网格地图的特性，导致在复杂环境下目标位置和形状的识别不够准确；另一方面，在自动驾驶场景中，除了识别出固定种类的目标外，还需要识别很多不知种类的物体(包括但不限于各种障碍物)，现有的目标识别算法就不够用了，这个时候就需要生成占用网格地图，以此来检测空间中的所有物体。
3、现有的占用网格地图生成方法基本都是使用纯视觉的方案，例如，特斯拉对自动驾驶环境感知的解决方案就是使用8个摄像头采集到的图像作为模型的输入，再利用模型推理能力生成占用网格地图。但是纯视觉方案的局限性在于对距离和速度的估计存在缺陷，精度不高，特别是在环境可见度低或传感器被遮挡的情况下，精度大幅下降，这在自动驾驶场景是非常危险的。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种占用网格地图生成方法及其相关设备，旨在解决现有技术中占用网格地图精度低的技术问题。
2、第一方面，本
3、获取指定量的图像数据以及雷达点云数据；
4、使用第一网络模型处理图像数据，生成目标检测框和指定量图像特征图；
5、使用第二网络模型处理雷达点云数据，生成指定量的雷达点云特征图；
6、基于目标检测框，使用transformer深度学习模型关联指定量的图像特征图和雷达点云特征图，生成增强雷达点云特征图；
7、基于增强雷达点云特征图，使用transformer深度学习模型推理，生成占用网格地图。
8、优选地，使用第一网络模型处理图像数据，生成目标检测框和指定量图像特征图的步骤，包括：
9、使用目标检测算法从图像数据中提取目标检测框和图像特征图，其中，目标检测算法包括fcos3d、centernet、yolo3d、mono3d中的任意一种或几种。
10、优选地，使用第二网络模型处理雷达点云数据，生成指定量的雷达点云特征图的步骤，包括：
11、使用3d点云特征提取方法提取雷达点云数据，生成指定量的雷达点云特征图，其中，3d点云特征提取方法包括pointnet、pointnet++、pointnext、point transformer、pointvector、pointmlp中的任意一种或几种。
12、优选地，基于目标检测框，使用transformer深度学习模型关联指定量的图像特征图和雷达点云特征图，生成增强雷达点云特征图的步骤，包括：
13、获取目标检测框，依据目标检测框，在雷达点云特征图中保留指定范围内的雷达点云数据，过滤指定范围外的雷达点云数据，生成待处理雷达点云数据；
14、将图像特征图编码为k矩阵和v矩阵，将待处理雷达点云数据编码为q矩阵，经过transformer深度学习模型推理，输出增强雷达点云特征图。
15、优选地，基于增强雷达点云特征图，使用transformer深度学习模型推理，生成占用网格地图的步骤，包括：
16、创建一空白占用网格地图，依据增强雷达点云特征图，将点云特征插入至指定网格位置，生成预备占用网格地图；
17、将预备占用网格地图编码为k矩阵、q矩阵和v矩阵，使用transformer深度学习模型推理，生成占用网格地图。
18、优选地，获取指定量的图像数据以及雷达点云数据的步骤之前，训练第一网络模型、第二网络模型和transformer深度学习模型的步骤，包括：
19、获取训练数据；
20、将训练数据分别输入至第一网络模型和第二网络模型，以提取训练图像特征图和训练雷达点云数据特征图；
21、使用transformer深度学习模型关联指定量的训练图像特征图和训练雷达点云特征图，生成训练增强雷达点云特征图；
22、基于训练增强雷达点云特征图，使用transformer深度学习模型推理，生成训练占用网格地图；
23、根据训练占用网格地图计算损失值，根据损失值相对于第一网络模型、第二网络模型和transformer深度学习模型中各个参数的梯度，更新第一网络模型、第二网络模型和transformer深度学习模型的各个参数，循环往复上述训练过程，直至符合指定条件，训练结束。
24、优选地，根据训练占用网格地图计算损失值，根据损失值相对于第一网络模型、第二网络模型和transformer深度学习模型中各个参数的梯度，更新第一网络模型、第二网络模型和transformer深度学习模型的各个参数，循环往复上述训练过程，直至符合指定条件，训练结束的步骤，包括：
25、使用均方根损失函数lossvel计算第一损失值，其中，均方根损失函数lossvel的公式为：
26、
27、其中，n为网格的数量，表示预测的第i个网格的速度矢量，表示第i个网格的速度矢量的真值；
28、使用交叉熵函数losscls计算第二损失值，其中，交叉熵函数losscls的公式为：
29、
30、其中，n为网格的数量，m为类别的数量，pic为网格i属于类别c的预测概率，yi,c是一个符号函数(0或1)，如果网格i的真实类别等于c时取1，否则取0；
31、根据第一损失值和第二损失值计算总损失值。
32、第二方面，本专利技术提供一种占用网格地图生成装置，包括：
33、获取模块，用于获取指定量的图像数据以及雷达点云数据；
34、第一提取模块，用于使用第一网络模型处理图像数据，生成目标检测框和指定量图像特征图；
35、第二提取模块，用于使用第二网络模型处理雷达点云数据，生成指定量的雷达点云特征图；
36、融合模块，用于基于目标检测框，使用transformer深度学习模型关联指定量的图像特征图和雷达点云特征图，生成增强雷达点云特征图；
37、地图生成模块，用于基于增强雷达点云特征图，使用transformer深度学习模型推理，生成占用网格地图。
38、第三方面，本专利技术提供一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述方法。
39、第四方面，本专利技术提供一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如本文档来自技高网...
【技术保护点】
1.一种占用网格地图生成方法，其特征在于，包括：
2.根据权利要求1所述的占用网格地图生成方法，其特征在于，所述使用第一网络模型处理所述图像数据，生成目标检测框和指定量图像特征图的步骤，包括：
3.根据权利要求2所述的占用网格地图生成方法，其特征在于，所述使用第二网络模型处理所述雷达点云数据，生成指定量的雷达点云特征图的步骤，包括：
4.根据权利要求3所述的占用网格地图生成方法，其特征在于，所述基于所述目标检测框，使用Transformer深度学习模型关联指定量的所述图像特征图和所述雷达点云特征图，生成增强雷达点云特征图的步骤，包括：
5.根据权利要求4所述的占用网格地图生成方法，其特征在于，所述基于所述增强雷达点云特征图，使用所述Transformer深度学习模型推理，生成占用网格地图的步骤，包括：
6.根据权利要求5所述的占用网格地图生成方法，其特征在于，所述获取指定量的图像数据以及雷达点云数据的步骤之前，训练所述第一网络模型、所述第二网络模型和所述Transformer深度学习模型的步骤，包括：
7.根
8.一种占用网格地图生成装置，其特征在于，包括：
9.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种占用网格地图生成方法，其特征在于，包括：
2.根据权利要求1所述的占用网格地图生成方法，其特征在于，所述使用第一网络模型处理所述图像数据，生成目标检测框和指定量图像特征图的步骤，包括：
3.根据权利要求2所述的占用网格地图生成方法，其特征在于，所述使用第二网络模型处理所述雷达点云数据，生成指定量的雷达点云特征图的步骤，包括：
4.根据权利要求3所述的占用网格地图生成方法，其特征在于，所述基于所述目标检测框，使用transformer深度学习模型关联指定量的所述图像特征图和所述雷达点云特征图，生成增强雷达点云特征图的步骤，包括：
5.根据权利要求4所述的占用网格地图生成方法，其特征在于，所述基于所述增强雷达点云特征图，使用所述transformer深度学习模型推理，生成占用网格地图的步骤，包括：
6.根据权利要求5所述的占用网格地图生成方法，其特征在于，所述获取指定量的图像数据以及雷达点云数据的步骤之...
【专利技术属性】
技术研发人员：陈承文，周珂，蔡堉伟，
申请(专利权)人：深圳承泰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。