基于4D毫米波雷达和摄像头融合的隧道目标物感知方法技术

本发明专利技术公开了一种基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，包括以下步骤：判断车辆是否进入隧道或穿出隧道；当判断车辆进入隧道后，对目标物进行追踪直至车辆穿出隧道：通过摄像头采集2D空间下目标物的图像数据，根据图像数据的像素深度信息，转化为3D空间下的检测结果并输出；通过4D毫米波雷达采集得到点云信息，对点云信息去噪、聚类处理后得到3D目标检测结果并输出；统合检测结果和3D目标检测结果生成目标物信息。本发明专利技术实现了感知端的冗余设计，提升了环境感知能力，并且在误识别率较低的情况下，稳定识别隧道内静止车辆或障碍物能稳定识别，提高了自动驾驶车辆的鲁棒性与安全性，确保乘客安全。确保乘客安全。确保乘客安全。

【技术实现步骤摘要】
基于4D毫米波雷达和摄像头融合的隧道目标物感知方法


[0001]本专利技术属于目标检测领域，具体涉及一种基于4D毫米波雷达和摄像头融合的隧道目标物感知方法。

技术介绍

[0002]随着目前智能化汽车普及程度越来越高，根据SAE划分的自动驾驶等级，L2+/L3
‑
级别车辆在市场上越来越常见。目前市场上已量产的智能驾驶汽车主要以前向毫米波雷达前视ADAS摄像头传感器为主，可以实先AEB(紧急制动辅助系统)、ACC(自适应巡航系统)、LKA(车道保持辅助系统)、ICA(智能领航系统)、TLC(触发变道功能)等功能。但是由于毫米波雷达天然劣势，无法准确识别道路中静止目标物，且在隧道中性能受到限制，导致在隧道中无法做到环境准确的感知；摄像头受光线影响，在隧道中光线条件不好的情况好无法做到准确识别。

技术实现思路

[0003]本专利技术的目的在于，提供一种基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，实现了感知端的冗余设计，提升了环境感知能力，并且在误识别率较低的情况下，稳定识别隧道内静止车辆或障碍物能稳定识别，提高了自动驾驶车辆的鲁棒性与安全性，确保乘客安全。
[0004]为解决上述技术问题，本专利技术的技术方案为：基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，包括以下步骤：
[0005]判断车辆是否进入隧道或穿出隧道；
[0006]当判断车辆进入隧道后，对目标物进行追踪直至车辆穿出隧道：
[0007]通过摄像头采集2D空间下目标物的图像数据，根据图像数据的像素深度信息，转化为3D空间下的检测结果并输出；检测结果至少包括目标物的3D检测框、目标物类型机器置信度、目标物在图像中的物理位置、目标物的横向速度以及纵向速度；
[0008]通过4D毫米波雷达采集得到点云信息，对点云信息去噪、聚类处理后得到3D目标检测结果并输出；3D目标检测结果至少包括目标物的径向距离、速度与加速以及目标物高度信息；
[0009]统合检测结果和3D目标检测结果生成目标物信息。
[0010]判断车辆是否进入隧道或穿出隧道的条件为：
[0011]当摄像头采集转化得到的目标物数量减少或出现状态跳跃，4D毫米波雷达采集的点云信息中出现批量静止目标物且一定纵向距离区域内的静止目标物高度分布呈现中间高两侧低的状态时，判断车辆进入隧道；
[0012]当满足车辆进入隧道条件后，摄像头采集转化得到的目标物数量减少或出现状态跳跃且4D毫米波雷达采集的点云信息中静止目标物大量减少时，判断车辆穿出隧道。
[0013]对目标物的追踪遵循以下规则：
[0014]若摄像头与其采集转化得到的目标物为正常匹配状态，则摄像头对目标物进行正常追踪；
[0015]若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，对已存在追踪的目标物延续预测状态的方式继续采用4D毫米波雷达对其进行追踪。
[0016]生成目标物信息的具体过程为：
[0017]若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，根据摄像头采集转化得到的目标物ID的历史匹配状态进行判断；若摄像头与目标物匹配过，则匹配原目标物，不再生成新目标物；若摄像头与目标物未匹配过，则根据4D毫米波雷达输出的3D目标检测结果滤除后生成目标物信息；
[0018]4D毫米波雷达输出的3D目标检测结果滤除过程为：在3D目标检测结果筛选出低于一定速度的目标物，根据目标物的径向距离与目标物高度排除隧道内壁，根据目标物高度排除位于地面的静止杂点；
[0019]完成滤除过程后生成目标物信息。
[0020]在完成滤除过程后还包括以下处理步骤：
[0021]当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果完全匹配，则将目标物置于一级序列，进入目标物信息生成序列判断；
[0022]当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果无法匹配，则将目标物置于二级序列，进入目标物信息生成序列判断；
[0023]当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果部分匹配，则将目标物置于三级序列，进入目标物信息生成序列判断；
[0024]在目标物信息生成序列判断中，对位于一级序列的目标物生成目标物信息；对位于二级序列的目标物扩大匹配圈，直至摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果完全匹配后进入一级序列，生成目标物信息；对位于第三序列的目标物，根据目标物速度排除静止杂点和非静止目标物，若该目标物为非静止目标物则扩大匹配圈，直至摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果完全匹配后进入一级序列，生成目标物信息。
[0025]还提供一种基于4D毫米波雷达和摄像头融合的隧道目标物感知系统，包括：
[0026]摄像头，用于采集2D空间下目标物的图像数据，根据图像数据的像素深度信息，转化为3D空间下的检测结果并输出；检测结果至少包括目标物的3D检测框、目标物类型机器置信度、目标物在图像中的物理位置、目标物的横向速度以及纵向速度；
[0027]4D毫米波雷达，用于采集得到点云信息，对点云信息去噪、聚类处理后得到3D目标检测结果并输出；3D目标检测结果至少包括目标物的径向距离、速度与加速以及目标物高度信息；
[0028]整车控制器，用于判断车辆是否进入隧道或穿出隧道；当判断车辆进入隧道后，对目标物进行追踪；统合检测结果和3D目标检测结果生成目标物信息。
[0029]判断车辆是否进入隧道或穿出隧道的条件为：
[0030]当摄像头采集转化得到的目标物数量减少或出现状态跳跃，4D毫米波雷达采集的点云信息中出现批量静止目标物且一定纵向距离区域内的静止目标物高度分布呈现中间高两侧低的状态时，判断车辆进入隧道；
[0031]当满足车辆进入隧道条件后，摄像头采集转化得到的目标物数量减少或出现状态跳跃且4D毫米波雷达采集的点云信息中静止目标物大量减少时，判断车辆穿出隧道。
[0032]对目标物的追踪遵循以下规则：
[0033]若摄像头与其采集转化得到的目标物为正常匹配状态，则摄像头对目标物进行正常追踪；
[0034]若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，对已存在追踪的目标物延续预测状态的方式继续采用4D毫米波雷达对其进行追踪。
[0035]生成目标物信息的具体过程为：
[0036]若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，根据摄像头采集转化得到的目标物ID的历史匹配状态进行判断；若摄像头与目标物匹配过，则匹配原目标物，不再生成新目标物；若摄像头与目标物未匹配过，则根据4D毫米波雷达输出的3D目标检测结果滤除后生成目标物信息；
[0037]4D毫米波雷达输出的3D目标检测结果滤除过程为：在3D目标检测结果筛选出低于一定速度的目标物，根据目标物的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，其特征在于，包括以下步骤：判断车辆是否进入隧道或穿出隧道；当判断车辆进入隧道后，对目标物进行追踪直至车辆穿出隧道：通过摄像头采集2D空间下目标物的图像数据，根据图像数据的像素深度信息，转化为3D空间下的检测结果并输出；检测结果至少包括目标物的3D检测框、目标物类型机器置信度、目标物在图像中的物理位置、目标物的横向速度以及纵向速度；通过4D毫米波雷达采集得到点云信息，对点云信息去噪、聚类处理后得到3D目标检测结果并输出；3D目标检测结果至少包括目标物的径向距离、速度与加速以及目标物高度信息；统合检测结果和3D目标检测结果生成目标物信息。2.根据权利要求1所述的基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，其特征在于，判断车辆是否进入隧道或穿出隧道的条件为：当摄像头采集转化得到的目标物数量减少或出现状态跳跃，4D毫米波雷达采集的点云信息中出现批量静止目标物且一定纵向距离区域内的静止目标物高度分布呈现中间高两侧低的状态时，判断车辆进入隧道；当满足车辆进入隧道条件后，摄像头采集转化得到的目标物数量减少或出现状态跳跃且4D毫米波雷达采集的点云信息中静止目标物大量减少时，判断车辆穿出隧道。3.根据权利要求1所述的基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，其特征在于，对目标物的追踪遵循以下规则：若摄像头与其采集转化得到的目标物为正常匹配状态，则摄像头对目标物进行正常追踪；若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，对已存在追踪的目标物延续预测状态的方式继续采用4D毫米波雷达对其进行追踪。4.根据权利要求3所述的基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，其特征在于，生成目标物信息的具体过程为：若摄像头采集转化得到的目标物消失或跳跃，进入无法匹配的状态后，根据摄像头采集转化得到的目标物ID的历史匹配状态进行判断；若摄像头与目标物匹配过，则匹配原目标物，不再生成新目标物；若摄像头与目标物未匹配过，则根据4D毫米波雷达输出的3D目标检测结果滤除后生成目标物信息；4D毫米波雷达输出的3D目标检测结果滤除过程为：在3D目标检测结果筛选出低于一定速度的目标物，根据目标物的径向距离与目标物高度排除隧道内壁，根据目标物高度排除位于地面的静止杂点；完成滤除过程后生成目标物信息。5.根据权利要求4所述的基于4D毫米波雷达和摄像头融合的隧道目标物感知方法，其特征在于，在完成滤除过程后还包括以下处理步骤：当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果完全匹配，则将目标物置于一级序列，进入目标物信息生成序列判断；当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果无
法匹配，则将目标物置于二级序列，进入目标物信息生成序列判断；当摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果部分匹配，则将目标物置于三级序列，进入目标物信息生成序列判断；在目标物信息生成序列判断中，对位于一级序列的目标物生成目标物信息；对位于二级序列的目标物扩大匹配圈，直至摄像头采集转化得到的目标物与滤除后的4D毫米波雷达输出的3D目标检测结果完全匹配后进入一级序列，生成目标物信息；对位于第三序列的目标物，根据目标物速度排除静止杂点和非静止目标物，若该目标物为非静止目标物则扩大匹配圈，直至摄像头采集转化得到的目标物与滤除后的4D毫...

【专利技术属性】
技术研发人员：熊盼盼，沈骏，高广博，舒丽，余琛，
申请(专利权)人：东风汽车集团股份有限公司，
类型：发明
国别省市：