【技术实现步骤摘要】
一种基于多模态融合的自主系统感知方法及系统
[0001]本专利技术涉及汽车自动驾驶
，特别涉及一种基于多模态融合的自主系统感知方法和系统。
技术介绍
[0002]随着传感器技术的飞速发展，自动驾驶汽车也越来越普及，在自动驾驶车辆感知周围环境过程中，在保障其实时性及感知准确性的需求下，还需要解决单个自动驾驶车辆视野局限性，自动驾驶汽车计算机视觉的基本挑战之一是在不同的道路、天气、照明和工作条件下实现高精度的各种应用，但是基于现有摄像头的二维计算机视觉受环境条件的影响较大，容易导致自动驾驶汽车的相关应用工作状态不稳定。
[0003]因此，如何提供一种工作状态稳定的感知方法，是本领域技术人员亟待解决的问题。
技术实现思路
[0004]本申请实施例提供了一种基于多模态融合的自主系统感知方法及系统，旨在解决现有感知系统工作状态不稳定的问题。
[0005]第一方面，本申请提供了一种基于多模态融合的自主系统感知方法，包括：
[0006]获取多个车辆的传感器采集的数据；
[0007]利用...
【技术保护点】
【技术特征摘要】
1.一种基于多模态融合的自主系统感知方法，其特征在于，包括：获取多个车辆的传感器采集的数据；利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果；基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息；利用已有的多视角融合算法构建协作级联融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果；将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策。2.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述传感器采集的数据包括：道路信息数据和车辆行驶数据。3.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述训练好的多模态数据融合架构的获取方式包括：人工构建一个轻量网络结构，或使用神经网络结构搜索自动搜索轻量网络结构。4.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述感兴趣区域信息，包括以下信息中的一种或多种：地面物体的真实位置、方向、大小和目标类别信息。5.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述对一级融合结果进行处理，保留感兴趣区域信息，包括：对一级融合结果中的不感兴趣区域信息进行弱化处理，保留感兴趣区域信息。6.如权利要求5所述的一种基于多模态融合...
【专利技术属性】
技术研发人员：杨清海，沈八中，徐丽娟，梅牧雨，张媛，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。