基于多模态的自动驾驶任务处理方法及系统技术方案

本发明专利技术公开了基于多模态的自动驾驶任务处理方法及系统，包括以下步骤：获取多个感知传感器采集的模态数据，并提取模态数据的体素特征；将提取的体素特征统一特征维度和分辨率后，进行特征融合，得到自适应地融合不同模态的第一类型体素特征；获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆感知、周围物体动作预测以及驾驶行为规划的任务。既能够有效减少多个独立模型的方式会带来训练成本增加和深度学习模型部署难度，又能充分利用感知、预测和规划任务之间的关联性来获得性能上相互提升的效果。之间的关联性来获得性能上相互提升的效果。之间的关联性来获得性能上相互提升的效果。

【技术实现步骤摘要】
基于多模态的自动驾驶任务处理方法及系统


[0001]本专利技术涉及自动驾驶
，尤其涉及基于多模态的自动驾驶任务处理方法及系统。

技术介绍

[0002]自动驾驶（Autonomous Driving）技术带来了汽车工业的产业革命，它的发展离不开自动驾驶感知、预测和规划技术的不断创新和进步。随着感知传感器技术和相关人工智能算法的不断提高，自动驾驶车辆可以获得更加准确、全面的场景信息，完成自动驾驶感知（Perception）、预测（Prediction）和规划（Planning）任务，从而实现更加安全、高效的行驶。感知是自动驾驶车辆的“视觉系统”，预测和规划是自动驾驶车辆的“大脑”，是构建智慧城市中智能交通、智能化城市的关键技术，对未来中国智慧城市建设具有重要的技术支撑作用。
[0003]感知传感器技术主要涉及激光雷达、毫米波雷达和摄像头，当前主流自动驾驶技术使用多个独立的深度学习模型，利用来自这三种主流感知传感器的多模态数据，分别完成感知、预测和规划任务。这种方法存在以下弊端：1）从多模态数据提取特征是各个任务共有的深度学习网络结构，并且是模型结构的主要组成之一，这在使用多个独立模型的方式中会带来训练成本的增加；2）感知、预测和规划任务之间存在相互关联性，独立模型无法利用这种关联性提升自身任务的准确性；3）多个独立模型增加了深度学习模型的实际部署成本。

技术实现思路

[0004]为解决
技术介绍
中存在的技术问题，本专利技术提出基于多模态的自动驾驶任务处理方法及系统。
[0005]本专利技术提出的基于多模态的自动驾驶任务处理方法，包括以下步骤：S1、获取多个感知传感器采集的模态数据，并提取模态数据的体素特征；S2、将提取的体素特征统一特征维度和分辨率后，进行特征融合，得到自适应地融合不同模态的第一类型体素特征；S3、获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆感知、周围物体动作预测以及驾驶行为规划的任务。
[0006]优选地，所述Transformer模型具体包括：自动驾驶感知Transformer网络、周围物体动作预测Transformer网络、驾驶行为规划Transformer网络；“S3”具体包括：获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入自动驾驶感知Transformer网络后，经由感知任务输出头完成相应的自动驾驶车辆感知任务，并获得感知输出结果；
利用感知输出结果构建感知相关的Key与Value；将感知输出结果输入体素特征筛选器，得到稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value；将感知相关的Key与Value和第一类型Key与Value同时输入周围物体动作预测Transformer网络，获得动作预测相关的第二类型Key与Value，之后经由周围物体动作预测输出头完成相应的自动驾驶车辆周围物体动作预测的任务；将第二类型Key与Value同时输入驾驶行为规划Transformer网络后，经由驾驶行为规划输出头完成相应的自动驾驶车辆驾驶行为规划的任务。
[0007]优选地，所述多个感知传感器采集的模态数据具体包括：摄像头传感器采集的图像、激光雷达传感器采集的点云、毫米波雷达传感器采集的点云。
[0008]优选地，所述自动驾驶的感知任务包括但不限于三维目标检测、三维目标跟踪、三维语义分割、三维空间占用预测、在线地图生成。
[0009]优选地，“将感知输出结果输入体素特征筛选器，得到稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value”具体包括：将感知输出结果输入体素特征筛选器，体素特征筛选器通过感知输出结果对第一类型体素特征进行感兴趣体素特征选择，选出稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value。
[0010]优选地，所述驾驶行为规划的任务包括但不限于保持直行、左转、右转、加速、减速及停车。
[0011]基于多模态的自动驾驶任务处理系统，包括：特征提取模块，用于获取多个感知传感器采集的模态数据，并提取模态数据的体素特征；特征融合模块，用于将提取的体素特征统一特征维度和分辨率后，进行特征融合，得到自适应地融合不同模态的第一类型体素特征；任务处理模块，获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆感知、周围物体动作预测以及驾驶行为规划的任务。
[0012]优选地，所述任务处理模块包括：自动驾驶感知处理单元、周围物体动作预测处理单元、驾驶行为规划处理单元、体素特征筛选单元；自动驾驶感知处理模块用于获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入自动驾驶感知Transformer网络后，经由感知任务输出头完成相应的自动驾驶车辆感知任务，获得感知输出结果，并利用感知输出结果构建感知相关的Key与Value；体素特征筛选模块用于将感知输出结果输入体素特征筛选器，得到稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value；周围物体动作预测处理模块用于将感知相关的Key与Value和第一类型Key与Value同时输入周围物体动作预测Transformer网络，获得动作预测相关的第二类型Key与Value，之后经由周围物体动作预测输出头完成相应的自动驾驶车辆周围物体动作预测的任务；驾驶行为规划处理模块用于将第二类型Key与Value同时输入驾驶行为规划
Transformer网络后，经由驾驶行为规划输出头完成相应的自动驾驶车辆驾驶行为规划的任务。
[0013]优选地，所述多个感知传感器采集的模态数据具体包括：摄像头传感器采集的图像、激光雷达传感器采集的点云、毫米波雷达传感器采集的点云；所述自动驾驶的感知任务包括但不限于三维目标检测、三维目标跟踪、三维语义分割、三维空间占用预测、在线地图生成。
[0014]优选地，所述驾驶行为规划的任务包括但不限于保持直行、左转、右转、加速、减速及停车。
[0015]本专利技术中，所提出的基于多模态的自动驾驶任务处理方法及系统，在多模态体素特征生成阶段，能够处理多种传感器数据，将其融合到统一的体素空间，既可以灵活支持传感器数量的增删，还可以满足后续多种任务的特征需求。在多任务输出阶段，结合了感知、预测及规划等多阶段任务，既能够有效减少多个独立模型的方式会带来训练成本增加和深度学习模型部署难度，又能充分利用感知、预测和规划任务之间的关联性来获得性能上相互提升的效果。
附图说明
[0016]图1为本专利技术提出的基于多模态的自动驾驶任务处理方法工作流程的结构示意图；图2为本专利技术提出的基于多模态的自动驾驶任务处理方法操作流程的结构示意图；图3为本专利技术提出的基于统一大模型的多模态自动驾驶算法系统构成的结构示意图；图4为本专利技术提出的基于统一大模型的多模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态的自动驾驶任务处理方法，其特征在于，包括以下步骤：S1、获取多个感知传感器采集的模态数据，并提取模态数据的体素特征；S2、将提取的体素特征统一特征维度和分辨率后，进行特征融合，得到自适应地融合不同模态的第一类型体素特征；S3、获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入预先建立和训练好的自动驾驶的Transformer模型，完成自动驾驶车辆感知、周围物体动作预测以及驾驶行为规划的任务。2.根据权利要求1所述的基于多模态的自动驾驶任务处理方法，其特征在于，所述Transformer模型具体包括：自动驾驶感知Transformer网络、周围物体动作预测Transformer网络、驾驶行为规划Transformer网络；“S3”具体包括：获取自动驾驶的感知任务，将第一类型体素特征和感知任务输入自动驾驶感知Transformer网络后，经由感知任务输出头完成相应的自动驾驶车辆感知任务，并获得感知输出结果；利用感知输出结果构建感知相关的Key与Value；将感知输出结果输入体素特征筛选器，得到稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value；将感知相关的Key与Value和第一类型Key与Value同时输入周围物体动作预测Transformer网络，获得动作预测相关的第二类型Key与Value，之后经由周围物体动作预测输出头完成相应的自动驾驶车辆周围物体动作预测的任务；将第二类型Key与Value同时输入驾驶行为规划Transformer网络后，经由驾驶行为规划输出头完成相应的自动驾驶车辆驾驶行为规划的任务。3.根据权利要求1所述的基于多模态的自动驾驶任务处理方法，其特征在于，所述多个感知传感器采集的模态数据具体包括：摄像头传感器采集的图像、激光雷达传感器采集的点云、毫米波雷达传感器采集的点云。4.根据权利要求1所述的基于多模态的自动驾驶任务处理方法，其特征在于，所述自动驾驶的感知任务包括但不限于三维目标检测、三维目标跟踪、三维语义分割、三维空间占用预测、在线地图生成。5.根据权利要求2所述的基于多模态的自动驾驶任务处理方法，其特征在于，“将感知输出结果输入体素特征筛选器，得到稀疏感兴趣的第二类型体素特征，并通过第二类型体素特征构建体素环境相关的第一类型Key与Value”具体包括：将感知输出结果输入体素特征筛选器，体素特征筛选器通过感知输出结果对第一类型体素特征进行感兴趣体素特征选择，选出稀疏感兴趣的第二类型体素特征，并...

【专利技术属性】
技术研发人员：丁勇，刘瑞香，戴行，
申请(专利权)人：合肥海普微电子有限公司，
类型：发明
国别省市：