【技术实现步骤摘要】
本专利技术属于智能网联汽车环境感知领域，特别涉及了一种面向三维目标检测及跟踪任务的高性能松耦合多模态数据融合系统及车载设备。
技术介绍
1、随着智能驾驶技术的逐步落地，智能网联汽车的安全行驶问题引发了越来越多的关注。环境感知作为智能驾驶系统的首要任务，是后续决策规划及控制执行任务的基础和前提。当前，基于多模态数据融合的环境感知方法已逐步成为主流，即通过相机、激光雷达以及毫米波雷达等多种类型的车载传感器对周围环境进行综合感知。融合感知方法能够一定程度上克服单一传感器的不足，实现多传感器数据的协调优化和综合处理，提升环境感知系统在复杂交通场景及恶劣天气下的适应能力。
2、不同类型的车载传感器工作原理不同，有着各自的优势与劣势。相机图像包含着稠密的颜色和纹理信息，但是易受曝光度影响，导致图像语义失真；激光点云能够精准的描绘周边环境的三维结构信息，但是也存在着稀疏性和无序性；毫米波雷达穿透能力强，几乎不受恶劣天气的影响，但是也存在角分辨率低、虚警以及杂波干扰问题。仅仅依靠单一模态信息必然会导致在某些场景中感知失准。相反，基于多模态数据融合的感知方法能够的利用相机图像、激光点云以及毫米波点云中的有效信息，抑制环境噪声的干扰，实现精准可靠的感知。
3、然而，想要尽可能的发挥多模态数据融合的优势并非易事。不同传感器描绘环境的方式不尽相同，存在着显著的差异性。简单的将不同模态数据进行融合不仅会破坏原有的数据结构，导致互相干扰，也会增加数据维度，以致网络理解困难。因此，学者们在融合感知领域做了大量的探索，试图揭示多模态数据
4、特征级数据融合策略广泛应用于融合检测任务中。该策略首先使用主干对多模态数据进行特征提取，之后将得到的多模态特征图进行融合。其本质为多传感器数据硬关联融合，即多模态特征的拼接融合。然而，该方法也存在局限性。由于多模态数据的异质特性，在相同空间位置的异构特征表达出的语义信息并不总是一致的。简单的对多模态特征进行硬关联融合不仅会引入大量的环境噪声，甚至一定程度上抑制了单一模态中包含的潜在信息。
5、而目标级融合策略则广泛应用于跟踪任务中。该策略首先对不同传感器的感知结果进行数据关联，随后使用卡尔曼滤波进行状态预测。尽管这种融合方法简单直观，能够通过多路观测降低被跟踪目标的不确定度，但也不可避免的造成了大量信息损失。一方面，该方法忽略了多模态特征提供的大量的外观特征(颜色、纹理以及形状特征)，显著增加了数据关联的难度；另一方面，该方法也未对被跟踪目标建立精准的运动学模型，也导致了空间运动信息的低效利用。
技术实现思路
1、本专利技术旨在克服上述现有技术方案的缺陷，提出一种高性能松耦合多模态数据融合系统及车载设备，显著改善环境感知系统在复杂交通场景及恶劣天气下的准确性、鲁棒性和适应性，保障智能网联汽车的全工况安全运行。
2、为了实现上述目的，本专利技术针对性的提出了模态独立特征交互策略以及运动-外观特征级联耦合数据关联策略。在充分考虑多源信息异质特性的前提下，显著提升融合特征的表征能力和利用率，进而有效发挥多模态数据互补融合优势。系统搭建主要包括以下步骤：
3、步骤1、选取包含复杂交通场景的vod(view of delft)数据集以及包含多种恶劣天气的k-radar数据集，用以训练、验证以及测试所提方法的综合性能；
4、步骤2、构建基于模态独立特征交互策略的融合检测模型；
5、步骤3、构建基于运动-外观特征级联耦合数据关联策略的融合跟踪模型；
6、步骤4、应用tensorrt加速推理模型，量化部署于车载计算测试平台。
7、具体地，所述vod数据集需按交通场景(校园、郊区、城区以及高架等)等比划分为训练集、验证集以及测试集；k-radar数据集需按天气状况(多云、阴雨、雾霾、以及暴雪等)等比划分为训练集、验证集以及测试集；数据集参考系统统一设置为车体坐标系，坐标原点设置为毫米波雷达安装处；采用全局缩放数据增强方法。
8、所述基于模态独立特征交互策略的融合检测模型由多模态特征提取及鸟瞰图特征生成模块、模态独立目标查询初始化模块以及基于可变形transformer的多模态特征融合模块构成；模型基于detr架构构建，采用二分图最优匹配损失进行监督训练。
9、所述基于运动-外观特征级联耦合数据关联策略的融合跟踪模型由连续帧多模态外观特征生成模块、基于多类别多模型状态预测的一级数据关联模块、基于多模态时间记忆外观特征的二级数据关联模块以及航迹管理模块构成；模型采用tbd架构，无需设置额外的外观特征提取器。
10、所述模型量化环节包括权重剪枝以及模型蒸馏；模型部署基于ros系统提供的节点及通信功能实现。
11、本专利技术的有益效果：
12、本专利技术提出的高性能松耦合多模态数据融合架构能够有效提升智能驾驶环境感知系统的准确性与可靠性，并且兼容几乎所有的主流传感器部署方案；
13、本专利技术提出的模态独立特征交互策略能够在保留单一模态潜在信息的前提下，充分发挥多路观测优势，实现多源异构信息的高效互补融合，显著改善融合检测算法性能；
14、本专利技术提出的运动-外观特征级联耦合数据关联策略能够综合考虑空间运动信息与多模态外观特征，提升数据关联的完整性与成功率，显著改善融合跟踪算法性能；
15、4、本专利技术提出的多传感器融合感知系统能够有效应对复杂交通场景及恶劣天气等极端工况，保障智能网联汽车的安全运行。
本文档来自技高网...【技术保护点】
1.面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，包括：基于模态独立特征交互策略的融合检测模型，将激光雷达点云、相机图像以及毫米波雷达点云转化为统一的鸟瞰图特征，并进行多模态融合；
2.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于模态独立特征交互策略的融合检测模型包括多模态特征提取及鸟瞰图特征生成模块、模态独立目标查询初始化模块以及基于可变形Transformer的多模态特征融合模块；模型基于DETR架构构建，采用二分图最优匹配损失进行监督训练。
3.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述多模态特征提取及鸟瞰图特征生成模块，将多模态特征统一转换至共享鸟瞰图空间，多模态信息在特征提取过程保持相互独立；具体如下：
4.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述模态独立目标查询初始化模块：首先，将多模态特征提取及鸟瞰图特征生成模块获得的多模态鸟瞰图特征并行送入占有预测
5.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于可变形Transformer的多模态特征融合模块：
6.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于运动-外观特征级联耦合数据关联策略的融合跟踪模型包括：连续帧多模态外观特征生成模块、基于多类别多模型状态预测的一级数据关联模块、基于多模态时间记忆外观特征的二级数据关联模块以及航迹管理模块；模型采用TBD架构，无需设置额外的外观特征提取器。
7.根据权利要求6所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，，所述基于多类别多模型状态预测的一级数据关联模块，引入多个二次非线性运动模型，为不同类别交通参与者建立精准的运动学模型，具体如下：
8.根据权利要求6所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于多模态时间记忆外观特征的二级数据关联模块：首先，设置时间记忆缓存器存储所有航迹一段时间内的外观特征；其次，对于在一级数据关联模块中未完成匹配的航迹，计算其长短期记忆聚合特征，与当前帧临近的几帧(包含当前帧)定义为短时记忆，而缓存器中存储的所有帧则定义为长时记忆；随后，通过短时跨模态注意力与长时跨模态注意力分别编码短时与长时的时序外观特征，其中，当前帧特征作为查询，而短时记忆与长时记忆作为键与值；随后，对编码得到的短时与长时时序外观特征取均值，即可得到最终的长短期记忆聚合特征；编码与聚合过程可以表示为：
9.根据权利要求6所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述航迹管理模块：对于匹配成功的航迹，根据无损卡尔曼滤波，当前帧的检测作为后验更新航迹状态信息；对于未完成匹配的检测，在达到最小命中次数后，进行航迹初始化；对于未完成匹配的航迹，使用二次运动模型的预测结果更新航迹状态信息，在达到最大生命周期后进行航迹消亡处理。
10.一种智能驾驶车载设备，其特征在于，该车载设备内部署权利要求1所述的基于模态独立特征交互策略的融合检测模型和基于运动-外观特征级联耦合数据关联策略的融合跟踪模型。
...【技术特征摘要】
1.面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，包括：基于模态独立特征交互策略的融合检测模型，将激光雷达点云、相机图像以及毫米波雷达点云转化为统一的鸟瞰图特征，并进行多模态融合；
2.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于模态独立特征交互策略的融合检测模型包括多模态特征提取及鸟瞰图特征生成模块、模态独立目标查询初始化模块以及基于可变形transformer的多模态特征融合模块；模型基于detr架构构建，采用二分图最优匹配损失进行监督训练。
3.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述多模态特征提取及鸟瞰图特征生成模块，将多模态特征统一转换至共享鸟瞰图空间，多模态信息在特征提取过程保持相互独立；具体如下：
4.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述模态独立目标查询初始化模块：首先，将多模态特征提取及鸟瞰图特征生成模块获得的多模态鸟瞰图特征并行送入占有预测网络，得到多模态热力图，多模态鸟瞰图特征与热力图仅在形式上堆叠，在处理过程中保持相互独立；其次，通过阈值设定，将热力图中置信度高于阈值的高响应区筛选出来，作为候选区域，在构建目标查询嵌入时，将其划分为位置嵌入和语义嵌入，多模态候选区域本身包含潜在目标的空间位置信息，通过多层感知机将其编码为位置嵌入；上述过程可以表示为：
5.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于可变形transformer的多模态特征融合模块：
6.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于运动-外观特征级联耦合数据...
【专利技术属性】
技术研发人员：王海，张成，蔡英凤，陈龙，李祎承，刘擎超，张桂荣，董浩然，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。