基于多传感器信息融合的障碍物检测方法技术

本发明专利技术公开了一种基于多传感器信息融合的障碍物检测方法，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。本发明专利技术利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性，同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。

Obstacle detection method based on Multisensor Information Fusion

The invention discloses an obstacle detection method based on multi-sensor information fusion, the method includes: image data detected by radar data and machine vision S1, access to the millimeter wave radar, and the radar data and image data fusion and space time fusion; S2, millimeter wave radar target detection based on the selection of radar data, and the region of interest according to the position of dynamic planning of millimeter wave radar target return signal; S3, moving target detection based on machine vision, and calculate the millimeter wave radar vision fusion target coincidence degree; S4, according to the moving target of millimeter wave radar and machine vision detection results and tracking obstacles target. The invention uses different domain information coincidence degree detection, obstacle tracking target, improve the reliability, the obstacle detection methods at the same time, the method can realize obstacle classification, distinguishing target is a pedestrian or vehicle.

【技术实现步骤摘要】
基于多传感器信息融合的障碍物检测方法
本专利技术涉及障碍物检测
，特别是涉及一种基于多传感器信息融合的障碍物检测方法。
技术介绍
随着智慧城市建设的大力推进和智能交通行业的快速形成，卫星导航、高速公路信息化、城市智能交通、电子警察和道路监控这些智能交通的传统形式逐渐向电子车牌、智能停车、车联网、自动驾驶、智能驾驶安全辅助系统等新领域发展，而智能障碍物检测更是成为其中一个重要的研究方向。所谓智能障碍物检测，是指车辆能够借助传感器感知周边环境，并判断是否存在障碍物，从而避免发生碰撞，造成事故。障碍物检测的方法通常有基于机器视觉的检测方法和基于雷达技术的检测方法。基于机器视觉的检测方法具有探测范围广、获取信息量大的优点。毫米波雷达则具有探测范围广，适应性好，可穿透雨雾，可以直接获得深度信息等优点。现有技术中，使用单传感器检测障碍物的方法有：申请号为CN201210143389.6的专利“一种基于单目视觉的前方车辆检测方法”，申请号为CN201410193393.2的专利“基于毫米波雷达的汽车主动防撞预警系统”，申请号为CN201510662223.9的专利“一种基于毫米波雷达的车载主动预警方法、系统及装置”等。近年来，毫米波雷达和机器视觉的多传感器信息融合障碍物检测方法是研究的热点之一，如申请号为CN201510066989.0的专利申请中公开了一种基于毫米波雷达和机器视觉的夜间前方车辆检测方法。基于单传感器的障碍物检测缺点在于：基于机器视觉的障碍物检测方法受天气、光照变化等因素影响大，且不易获取深度信息；基于激光雷达的障碍物检测方法一方面受天气影响较大，另一方面在获知障碍物的速度、距离等数据信息时，计算量较大；基于毫米波雷达的障碍物检测方法无法感知目标纹理、形状等特征。现有的基于毫米波雷达和机器视觉融合的障碍物检测方法缺点在于：检测对象仅限于行车环境中的前方车辆；仅根据雷达扫描点在图像像素坐标系上的投影点建立感兴趣区域，继而利用图像处理方法检验感兴趣区域内是否存在车辆，一旦雷达遗漏目标，该方法则无法实现有效目标的检测。因此，针对上述技术问题，有必要提供一种基于多传感器信息融合的障碍物检测方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于多传感器信息融合的障碍物检测方法。为了实现上述目的，本专利技术实施例提供的技术方案如下：一种基于多传感器信息融合的障碍物检测方法，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。作为本专利技术的进一步改进，所述步骤S1中的空间融合具体为：雷达坐标系与世界坐标系的转换关系为：其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量；根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系为：其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx、dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0，Yp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵；t为摄像机外部参数平移向量；M称为投影矩阵；摄像机参数获取后，将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。作为本专利技术的进一步改进，所述步骤S1中的时间融合具体为：创建雷达线程，采集当前时刻雷达数据并加入缓存队列；创建摄像机线程，采集当前时刻图像数据；创建数据融合处理线程，在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。作为本专利技术的进一步改进，所述步骤S2中“筛选雷达数据”包括：对雷达数据进行预处理，滤除空目标信号、无效目标信号和静止目标信号；对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。作为本专利技术的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域，矩形区域为：其中，Rratio为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标。作为本专利技术的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域内的“凸”型区域，“凸”型区域为：其中，w为“凸”型区域的凸出部的宽度，h为“凸”型区域的凸出部高度。作为本专利技术的进一步改进，所述步骤S3中“基于机器视觉进行运动目标检测”具体为：利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物作为本专利技术的进一步改进，所述步骤S3中毫米波雷达与机器视觉融合的目标重合度为：其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。作为本专利技术的进一步改进，所述步骤S4具体为：判断雷达检测区域和机器视觉检测区域有无重合；若雷达检测区域和机器视觉检测区域无重合，当只有机器视觉检测到目标，进行二级危险报警，当只有雷达检测到目标，进行一级危险报警；雷达检测区域和机器视觉检测区域有重合，计算重合度，并进行一级危险报警。本专利技术的有益效果是：本专利技术利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性，同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术基于多传感器信息融合的障碍物检测方法的流程示意图；图2为本专利技术雷达、摄像机、三维世界和图像坐标系的示意图；图3为本专利技术毫米波雷达与机器视觉时间融合的示意图；图4为本专利技术中“凸”型区域的示意图；图5为本专利技术中目标危险等级报警分析流程图；图6为本专利技术一具体实施例中摄像机标定棋盘格的示意图；图7为本专利技术一具体实施例中雷达和摄像机空间同步示意图；图8为本专利技术一具体实施例中雷达数据与摄像机图像帧时间同步示意图；图9a、9b为本专利技术一具体实施例中基于雷达的目标检测图；图10a～10c为本专利技术一具体实施例中雷达目标感兴趣区域规划的示意图；图11a～11e为本专利技术一具体实施例中基于机器视觉的目标检测图；图12为本专利技术一具体实施例中不同距离处基于雷达和机器视觉的目标检测图；图13a～13c为本专利技术一具体实施例中雷达与机器视觉分别检测到目标示意图；图14为本专利技术一具体实施例中车辆和行人检测区域重合度分布图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动本文档来自技高网...

【技术保护点】
一种基于多传感器信息融合的障碍物检测方法，其特征在于，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。

【技术特征摘要】
1.一种基于多传感器信息融合的障碍物检测方法，其特征在于，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。2.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S1中的空间融合具体为：雷达坐标系与世界坐标系的转换关系为：其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量；根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系为：其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx、dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0，Yp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵；t为摄像机外部参数平移向量；M称为投影矩阵；摄像机参数获取后，将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。3.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S1中的时间融合具体为：创建雷达线程，采集当前时刻雷达数据并加入缓存队列；创建摄像机线程，采集当前时刻图像数据；创建数据融合处理线程，在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。4.根据权利要求1所述的基于多传感器信息融合的障碍物检测方法，其特征在于，所述步骤S2中“筛选雷达数据”包括：对雷达数据进行预处理，滤除空目标信号、...

【专利技术属性】
技术研发人员：陈蓉，翟光耀，吴澄，汪一鸣，
申请(专利权)人：苏州大学，
类型：发明
国别省市：江苏,32