【技术实现步骤摘要】
本专利技术属于智能网联汽车环境感知领域，特别涉及了一种面向三维目标检测及跟踪任务的高性能松耦合多模态数据融合系统及车载设备。
技术介绍
1、随着智能驾驶技术的逐步落地，智能网联汽车的安全行驶问题引发了越来越多的关注。环境感知作为智能驾驶系统的首要任务，是后续决策规划及控制执行任务的基础和前提。当前，基于多模态数据融合的环境感知方法已逐步成为主流，即通过相机、激光雷达以及毫米波雷达等多种类型的车载传感器对周围环境进行综合感知。融合感知方法能够一定程度上克服单一传感器的不足，实现多传感器数据的协调优化和综合处理，提升环境感知系统在复杂交通场景及恶劣天气下的适应能力。
2、不同类型的车载传感器工作原理不同，有着各自的优势与劣势。相机图像包含着稠密的颜色和纹理信息，但是易受曝光度影响，导致图像语义失真；激光点云能够精准的描绘周边环境的三维结构信息，但是也存在着稀疏性和无序性；毫米波雷达穿透能力强，几乎不受恶劣天气的影响，但是也存在角分辨率低、虚警以及杂波干扰问题。仅仅依靠单一模态信息必然会导致在某些场景中感知失准。相反，基于多模态数...
【技术保护点】
1.面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，包括：基于模态独立特征交互策略的融合检测模型，将激光雷达点云、相机图像以及毫米波雷达点云转化为统一的鸟瞰图特征，并进行多模态融合；
2.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于模态独立特征交互策略的融合检测模型包括多模态特征提取及鸟瞰图特征生成模块、模态独立目标查询初始化模块以及基于可变形Transformer的多模态特征融合模块；模型基于DETR架构构建，采用二分图最优匹配损失进行监督训练。
3.根据权利要求2所...
【技术特征摘要】
1.面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，包括：基于模态独立特征交互策略的融合检测模型，将激光雷达点云、相机图像以及毫米波雷达点云转化为统一的鸟瞰图特征，并进行多模态融合；
2.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于模态独立特征交互策略的融合检测模型包括多模态特征提取及鸟瞰图特征生成模块、模态独立目标查询初始化模块以及基于可变形transformer的多模态特征融合模块；模型基于detr架构构建，采用二分图最优匹配损失进行监督训练。
3.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述多模态特征提取及鸟瞰图特征生成模块，将多模态特征统一转换至共享鸟瞰图空间，多模态信息在特征提取过程保持相互独立；具体如下：
4.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述模态独立目标查询初始化模块：首先，将多模态特征提取及鸟瞰图特征生成模块获得的多模态鸟瞰图特征并行送入占有预测网络，得到多模态热力图，多模态鸟瞰图特征与热力图仅在形式上堆叠，在处理过程中保持相互独立；其次，通过阈值设定，将热力图中置信度高于阈值的高响应区筛选出来，作为候选区域，在构建目标查询嵌入时，将其划分为位置嵌入和语义嵌入，多模态候选区域本身包含潜在目标的空间位置信息，通过多层感知机将其编码为位置嵌入；上述过程可以表示为：
5.根据权利要求2所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于可变形transformer的多模态特征融合模块：
6.根据权利要求1所述的面向智能驾驶环境感知系统的高性能松耦合多模态数据融合系统，其特征在于，所述基于运动-外观特征级联耦合数据...
【专利技术属性】
技术研发人员：王海，张成，蔡英凤，陈龙，李祎承，刘擎超，张桂荣，董浩然，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。