基于点云启发的远小目标双模态跟踪感知方法及系统技术方案

本发明专利技术涉及目标检测与多传感器数据融合领域，更具体地，涉及一种基于点云启发的远小目标双模态跟踪感知方法及系统。其中方法包括：获取原始雷达点云以及视频数据，进行预处理，获得点云簇向量集和原始图像数据；将点云簇向量集、原始图像数据以及原始雷达点云通过双模态融合感知框架，获得远小目标在图像域的位置及身份特征；进行双模态联合跟踪，完成远小目标感知，输出感知目标在鸟瞰视图中的位置信息。本发明专利技术首先进行预处理减少噪声点，然后通过雷达点云来启发和增强远小目标的图像表征能力，随后通过双模态特征融合提高远小目标的检测准确率，并获得远小目标在图像域中的位置信息及身份特征。最后进行双模态联合跟踪，实现对远小目标的持续感知。

【技术实现步骤摘要】

本专利技术涉及目标检测与多传感器数据融合领域，更具体地，涉及基于点云启发的远小目标双模态跟踪感知方法及系统。

技术介绍

1、毫米波雷达作为汽车在远距离目标感知技术中的主要传感器，相较于激光雷达、超声波雷达等其他车载传感器，其具备探测距离远、全天候工作能力强以及探测精度高和可靠性好的优势。目前，现有的基于毫米波雷达与视觉传感器融合的远小目标感知方法可分为两类。第一类方法通过雷达点云与图像进行融合并提取特征进行感知。这类方法通常需要针对远小目标进行额外的训练。同时，对于视觉传感器而言，远小目标在图像中的尺寸往往不足以实现目标识别。而毫米波雷达在远距离时探测会受环境干扰和多径效应影响，导致探测到的噪声点云比目标点云更繁杂且频繁，从而影响现有方法对远小目标感知的精确性和持续性。第二类方法依靠两种传感器的检测结果进行决策级融合。通过对不同传感器的检测结果进行加权融合后进行跟踪，实现远小目标感知。然而，这类方法较难提升复杂环境下远小目标的检测准确率，进而影响远小目标探测的鲁棒性。

2、现有技术公开一种结合图象识别与激光雷达点云分割的驾驶环境感知方法，包括：本文档来自技高网...

【技术保护点】

1.基于点云启发的远小目标双模态跟踪感知方法，其特征在于，包括：

2.根据权利要求1所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤S1中，包括：使用毫米波雷达与摄像头同步采集数据，获取驾驶环境中原始雷达点云以及视频数据，对驾驶环境中原始雷达点云以及视频数据进行预处理，滤除雷达噪声点，获得点云簇向量集和原始图像数据。

3.根据权利要求1所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤S1中，对驾驶环境中原始雷达点云以及视频数据进行预处理，滤除雷达噪声点包括：

4.根据权利要求2所述的基于点云启发的远小目标双模态跟踪感...

【技术特征摘要】

1.基于点云启发的远小目标双模态跟踪感知方法，其特征在于，包括：

2.根据权利要求1所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤s1中，包括：使用毫米波雷达与摄像头同步采集数据，获取驾驶环境中原始雷达点云以及视频数据，对驾驶环境中原始雷达点云以及视频数据进行预处理，滤除雷达噪声点，获得点云簇向量集和原始图像数据。

3.根据权利要求1所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤s1中，对驾驶环境中原始雷达点云以及视频数据进行预处理，滤除雷达噪声点包括：

4.根据权利要求2所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤s1中，包括：

5.根据权利要求1所述的基于点云启发的远小目标双模态跟踪感知方法，其特征在于，在步骤s2中，双模态融合感知框架包括：候选区域生成子网络n21、图像生成模块m21、图像增强子网络n22、双模态融合模块m22、图像特征提取子网络n23、目标检测子网络n24以及目标身份特...

【专利技术属性】
技术研发人员：刘震宇，陈康正，李树聪，吴添杰，赵秉昱，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：