基于多模态传感器的车辆周围障碍物检测方法及系统技术方案

本公开提供了基于多模态传感器的车辆周围障碍物检测方法及系统，涉及智能驾驶技术领域，包括获取车辆两侧边的超声波雷达点云、毫米波雷达点云以及车辆侧后方的图像数据；对雷达点云进行聚类，提取障碍物的空间位置、运动速度及反射截面特征；将图像数据进行目标检测，输出得到障碍物的边界框以及纹理特征；生成初步的多模态数据，将多模态数据输入至碰撞检测模型，分别进入雷达分支网络和视觉分支网络提取点云时空特征以及图像语义特征，通过Transformer机制对点云时空特征以及图像语义特征进行加权融合，输出障碍物的三维位置、运动轨迹、类型标签及碰撞风险概率；当碰撞风险概率超过预设阈值时，触发对应预警或控制指令。

【技术实现步骤摘要】

本公开涉及智能驾驶，具体涉及基于多模态传感器的车辆周围障碍物检测方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。

2、随着自动驾驶技术的不断发展，车辆对周围环境的感知能力要求显著提升。根据车辆的一般标准，车辆系统需在特定场景下实现全权驾驶，而环境感知作为决策基础，其可靠性直接关系到功能安全与用户体验。

3、传统感知方案，例如安装前置摄像头以及前向雷达进行障碍物的感知检测，主要满足高速巡航需求，但无法覆盖低速泊车、变道、开门等场景的侧向盲区。但是有些车辆碰撞发生在低速挪车或停车开门阶段，亟需侧向与近场感知能力。

4、现有方案多采用“前融合”或“后融合”架构，但跨模态数据，例如图像与雷达点云的时空对齐精度低，导致融合置信度下降。或者依赖后视镜盲区监测(bsd)雷达，但其安装位置通常位于后保险杠导致侧前方盲区(a柱区域)及车门近场区域(＜1米)无法有效覆盖。部分车型尝试在车顶或翼子板加装侧向激光雷达，但面临造型破坏、风阻增加及成本过高问题。而且单一传感器难以应对复杂场景，例如本文档来自技高网...

【技术保护点】

1.基于多模态传感器的车辆周围障碍物检测方法，其特征在于，包括：

2.如权利要求1所述的基于多模态传感器的车辆周围障碍物检测方法，其特征在于，通过布置于车辆两侧裙边的超声波雷达阵列，获取车辆两侧边的超声波雷达点云数据，通过嵌入车门把手的微型毫米波雷达，实时获取车门开启路径侧后方的动态障碍物毫米波点云数据，点云数据包括车身侧面至地面区域的障碍物距离、速度及方位角信息；通过安装于后视镜外壳的广角摄像头，采集车辆侧后方的图像数据。

3.如权利要求1所述的基于多模态传感器的车辆周围障碍物检测方法，其特征在于，将超声波雷达点云、毫米波雷达点云以及图像数据进行跨模态数据的时间...

【技术特征摘要】

1.基于多模态传感器的车辆周围障碍物检测方法，其特征在于，包括：

2.如权利要求1所述的基于多模态传感器的车辆周围障碍物检测方法，其特征在于，通过布置于车辆两侧裙边的超声波雷达阵列，获取车辆两侧边的超声波雷达点云数据，通过嵌入车门把手的微型毫米波雷达，实时获取车门开启路径侧后方的动态障碍物毫米波点云数据，点云数据包括车身侧面至地面区域的障碍物距离、速度及方位角信息；通过安装于后视镜外壳的广角摄像头，采集车辆侧后方的图像数据。

3.如权利要求1所述的基于多模态传感器的车辆周围障碍物检测方法，其特征在于，将超声波雷达点云、毫米波雷达点云以及图像数据进行跨模态数据的时间同步，包括：

4.如权利要求1所述的基于多模态传感器的车辆周围障碍物检测方法，其特征在于，对超声波雷达点云以及毫米波雷达点云进行聚类，提取障碍物的空间位置、运动速度及反射截面特征，包括：将超声波雷达点云以及毫米波雷达点云的相对速度需转化为绝对速度，利用静态点云的最小二乘拟合补偿动态点的绝对速度，剔除静态点，采用dbscan密度聚类算法，基于点云密度分布，定义邻域半径和最小点数，将紧密相连的点划分为同一簇，剔除稀疏噪声点，取簇内点的均值或加权平均作为目标中心坐标，通过主成分分析算法拟合包围框，输出长、宽、高及方向角；取簇内点速度的众数或均值，获取目标速度；计算簇内点的反射强度均值、方差，或结合点云密度估计目标的雷达散射截面积。

5...

【专利技术属性】
技术研发人员：李新，俞克胜，刘书展，
申请(专利权)人：奇瑞汽车股份有限公司，
类型：发明
国别省市：