使用雷达和摄像机用于横越交通应用的融合方法技术

公开了使用雷达和摄像机用于横越交通应用的融合方法，包括用于跟踪在主车辆后面横越的物体的方法和系统。为物体检测融合系统提供来自视觉系统和两个雷达传感器的目标数据。使用视觉系统数据识别和跟踪目标物体上的凸点。将视觉凸点与对应雷达点相关联，其中雷达点提供多普勒径向速度数据。对视觉凸点和雷达点进行融合计算，从而产生目标物体速度的准确估值，包括使用仅雷达点或常规视觉系统方法难以获得的横向分量。在后方横越交通规避（RCTA）系统中使用目标物体的位置和速度来触发警示或自动制动。

【技术实现步骤摘要】

本专利技术总体上涉及一种多输入物体检测系统，并且更具体来说涉及一种后方横越交通规避系统，其组合基于摄像机和基于雷达的物体数据来跟踪后方横越交通物体，包括比单独用雷达数据将可能的、更准确地评估物体的横向速度。
技术介绍
物体检测系统还称为物体感测系统，其在现代车辆中变得日臻普遍。物体检测系统可向驾驶员提供关于车辆路径上的物体的警示。物体检测系统还可为主动式车辆系统提供输入，所述主动式车辆系统诸如自适应巡航控制，其控制车辆速度以与前方车辆保持适当纵向间距；以及后方横越交通规避系统，其可提供警示与自动制动，以避免主车辆倒车时与主车辆后面的物体相撞。物体检测系统使用一个或多个传感器来检测主车辆路径上或附近物体的存在，所述传感器可为雷达、激光雷达、摄像机或其它技术。使用软件来跟踪物体随时间的相对运动，确定物体是移动的还是静止的，确定各物体可能是什么（另一车辆、行人、树木等等），并且确定各物体是否对主车辆造成碰撞威胁。然而，即使使用多物体感测输入，诸如雷达和摄像机，也不会总可能准确地评估远程车辆或物体的航向，尤其是如果远程车辆或物体正相对于主车辆在主要横向或切向方向上移动的话。此外，在一些情形下，难以将雷达点数据与摄像机图像数据准确地进行关联。需要使用来自摄像机和两个雷达传感器的物体数据来提供远程车辆和物体的准确二维速度的融合技术。
技术实现思路
根据本专利技术的教导，公开了一种用于跟踪在主车辆后面横越的物体的方法和系统。为物体检测融合系统提供来自视觉系统和两个雷达传感器的目标数据。识别目标物体上的凸点并且使用视觉系统数据进行跟踪。将视觉凸点与对应雷达点相关联，其中雷达点提供多普勒（Doppler）径向速度数据。对视觉凸点和雷达点执行融合计算，以产生目标物体速度的准确估值，包括使用仅雷达点或常规视觉系统方法难以获得的其横向分量。在后方横越交通规避（RCTA）系统中使用目标物体的位置和速度来触发警示或自动制动。本专利技术可以包括以下方案：1. 一种用于跟踪正在接近主车辆的关注区域中移动的目标物体的方法，所述方法包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别目标物体位置和径向速度的雷达点；基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算目标物体相对于主车辆的速度。2. 如方案1所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。3. 如方案2所述的方法，其中在所述图像中以每秒的像素为单位测量所述运动流。4. 如方案1所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。5. 如方案4所述的方法，其中去除运动流实质上不同于所述基线运动流的视觉凸点包括识别并且去除其运动流与基线运动流相差的量超过预定阈值的视觉凸点。6. 如方案4所述的方法，其中将其余视觉凸点分配给最接近的雷达点包括基于在图像平面中在水平像素内所测量的距离识别最接近的雷达点。7. 如方案1所述的方法，其中所述目标物体是正在关注区域中驾驶的远程车辆。8. 如方案7所述的方法，其中所述远程车辆上的视觉凸点包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点。9. 如方案7所述的方法，其进一步包括在后方横越交通规避（RCTA）系统中使用远程车辆的速度，其中关注区域位于主车辆的后方；并且如果远程车辆预计即将进入警示区，则所述RCTA系统发出警示，并且如果远程车辆预计即将进入制动包络，则应用主车辆制动。10. 一种用于跟踪正在接近主车辆的关注区域中移动的远程车辆的方法，所述方法包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得远程车辆由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别远程车辆位置和径向速度的雷达点；基于来自雷达传感器中的一个的提示，确定远程车辆存在于关注区域中；分析来自摄像机的图像以识别并且跟踪远程车辆上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置，包括车轮、门把手、前灯、尾灯、外反射镜以及柱与车身面板的交点；将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算远程车辆相对于主车辆的速度；以及在主车辆上的碰撞规避系统中使用远程车辆的速度。11. 如方案10所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。12. 如方案10所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。13. 如方案10所述的方法，其中关注区域位于主车辆的后方，碰撞规避系统是后方横越交通规避（RCTA）系统，并且如果远程车辆预计即将进入警示区，则所述RCTA系统发出警示，并且如果远程车辆预计即将进入制动包络，则应用主车辆制动。14. 一种用于主车辆的物体检测系统，所述系统包括：主车辆车载的摄像机，所述摄像机提供覆盖相对于主车辆的视野的图像；主车辆车载的两个雷达传感器，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中雷达传感器提供识别目标物体位置和径向速度的雷达点；以及物体检测处理器，包括微处理器和存储模块，所述处理器被编程以基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，计算目标物体相对于主车辆的速度。15. 如方案14所述的物体检测系统，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个本文档来自技高网...

【技术保护点】
一种用于跟踪正在接近主车辆的关注区域中移动的目标物体的方法，所述方法包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别目标物体位置和径向速度的雷达点；基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算目标物体相对于主车辆的速度。

【技术特征摘要】
2015.04.06 US 14/6799951.一种用于跟踪正在接近主车辆的关注区域中移动的目标物体的方法，所述方法包括：提供来自主车辆车载的摄像机的图像，其中所述图像覆盖相对于主车辆的视野；提供来自主车辆车载的两个雷达传感器的数据，其中雷达传感器具有与摄像机的视野重叠的覆盖区，以使得目标物体由摄像机和雷达传感器中的至少一个感测到，并且其中来自雷达传感器的数据包括识别目标物体位置和径向速度的雷达点；基于来自雷达传感器中的一个的提示，确定目标物体存在于关注区域中；分析来自摄像机的图像以识别并且跟踪目标物体上的视觉凸点，其中视觉凸点包括在图像中具有局部最大强度变化的位置；将视觉凸点与雷达点相关联，包括雷达点位置与视觉凸点图像位置之间的变换，其中关联是基于视觉凸点和雷达点的位置和运动；以及使用包括雷达点位置和径向速度以及视觉凸点运动流的融合计算，使用微处理器计算目标物体相对于主车辆的速度。2.如权利要求1所述的方法，其中分析来自摄像机的图像以识别并且跟踪视觉凸点包括在图像中检测视觉凸点，建立两个时间上相邻的图像中视觉凸点之间的对应性，检测空间-时间上稳定的视觉凸点，并且确立视觉凸点的运动流。3.如权利要求2所述的方法，其中在所述图像中以每秒的像素为单位测量所述运动流。4.如权利要求1所述的方法，其中将视觉凸点与雷达点相关联包括将雷达点投射至视觉凸点的图像平面，将雷达点的预测速度投射至图像平面以确定基线运动流，不考虑运动流实质上不同于基线运动流的视觉凸点，并且将其余视觉凸点分配给最接近的雷达点。5.如权利要求4所述的方法，其中去除运动流实质上不同于基线运动流的视觉凸点包括识别并且去除其运动流与基线运动流相差的量超过预定阈值的视觉凸点。6.如权利要求4所述的方法，其中将其余视觉凸点分配给最接近的雷达点包括基于在图像平面中在水平像素内所测量的距离识别最接近的雷达点。7.如权利要求1所述的方法，其中所述目标物体是正在关注区域中驾驶的远程车辆。8.如权...

【专利技术属性】
技术研发人员：S曾，W童，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US