一种基于雷达数据和视频信号融合识别危险目标的方法技术

本发明专利技术揭示了一种基于雷达数据和视频信号融合识别危险目标的方法，包括以下步骤，（1）接收雷达设备和视频设备的相关数据，（2）对雷达数据进行处理，提取障碍物信息，（3）将雷达所探测的障碍物信息和视频数据进行空间同步，（4）对视频数据进行分析处理，标定感兴趣区域，（5）对视频数据中对雷达识别为障碍物的位置进行再次识别判断，若该障碍物依旧存在，则识别为危险目标，若不存在，则识别为非危险目标。本发明专利技术将将视频与雷达数据融合，使得用户能够清晰地了解前方道路状况，降低误报率，减少对驾驶员的干扰，即使遇到夜间、大雨、大雾、大雪能见度降低时，雷达依然能够指示前方道路状况，并能够直观的给驾驶员予以危险目标提示。

A method for identifying dangerous targets based on radar data and video signal fusion

The invention discloses a method of identifying dangerous targets based on fusion of radar data and video signals, including the following steps, (1) receiving related data of radar equipment and video equipment, (2) processing radar data, extracting obstacle information, and (3) carrying out the obstacle and video data detected by radar. Space synchronization, (4) analysis and processing of video data, calibrate the region of interest, (5) to recognize the position of the radar as an obstacle in the video data again, and if the obstacle still exists, it is recognized as a dangerous target, and if it does not exist, it is recognized as a non dangerous target. The invention will integrate video and radar data so that users can clearly understand the road ahead, reduce the false alarm rate and reduce the interference to the driver. Even when the visibility of the night, heavy rain, heavy fog and heavy snow is reduced, the radar can still indicate the road ahead, and can be intuitively threatened by the driver. Risk target hints.

【技术实现步骤摘要】
一种基于雷达数据和视频信号融合识别危险目标的方法
本专利技术涉及汽车雷达
，具体涉及一种基于雷达数据和视频信号融合识别危险目标的方法。
技术介绍
汽车追尾事故是公路交通中最多发也是车辆运行过程中最危险的事故之一，其中91％的追尾事故是由于驾驶员注意力分散(打盹、打电话等)引起的，如果提前0.5s提醒驾驶员采取措施，60％的追尾事故可以避免,而如果提前1s提醒驾驶员则追尾事故避免率则可高达90％。以毫米波雷达为例，毫米波雷达是工作在毫米波波段(millimeterwave)探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)，具有良好的目标检测能力。而图像传感器作用距离近，远距离存在盲区，使用单一的传感器实现防撞系统的方法受到信息量少，算法复杂的制约，很难满足复杂的公路环境。因而，利用单一传感器进行汽车前方行驶区域的危险目标检测常常面临误检率，漏检率较高的问题，对雷达和机器视觉获取的驾驶环境信息进行融合，并应用于汽车的危险目标规避和识别，能够极大的提升系统对危险目标检测及判断的准确性。
技术实现思路
本专利技术的目的就是为了解决现有技术存在的上述问题，从而提供一种基于雷达数据和视频信号融合识别危险目标的方法，旨在提升汽车行驶时系统对危险目标检测及判断的准确性。本专利技术的解决方案为：一种基于雷达数据和视频信号融合识别危险目标的方法，包括以下步骤，(1)处理器接收雷达设备的雷达数据，并对雷达数据进行预处理，同时，处理器接收视频设备的视频数据，并对视频数据进行预处理，(2)对雷达数据进行分析处理，判断雷达所探测的目标是否为障碍物，若识别为障碍物，提取障碍物信息，(3)将雷达所探测的障碍物信息和视频数据进行空间同步，(4)对视频数据进行分析处理，标定感兴趣区域，(5)若雷达所探测的障碍物不在感兴趣区域中，则识别为非危险目标，若在感兴趣区域中，对视频数据中对雷达识别为障碍物的位置进行再次识别判断，若该障碍物依旧存在，则识别为危险目标，若不存在，则识别为非危险目标。进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：所述步骤(3)中具体步骤为，将雷达坐标与图像坐标之间进行转换，按照右手原则建立坐标系，由以下公式确定坐标系之间空间位置关系，将世界坐标系中的点(XW,YW,ZW,1)变换到图像像素坐标(u,v)：式中(XW,YW,ZW,1)T是点的世界坐标系，与其对应的摄像机齐次坐标是(XC,YC,ZC,1)T，dx,dy分别表示每个像素在横纵轴上的物理单位下的大小，f是摄像机的焦距，s’表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子，R代表一个3×3的正交单位矩阵，t表示平移向量，I是元素全为1的单位矩阵，O＝(0,0,0)T，R1为障碍物中心点到雷达扫射平面的相对雷达的距离R1，α为障碍物中心点到雷达扫射平面的偏转角度。进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：所述步骤(4)中感兴趣区域划分方法如下，基于车辆常用外形投影在像素平面上，根据以下公式建立可根据距离变化的动态感兴趣区域，式中，h表示划分的感兴趣区域的在像素平面的高度；(xlu，ylu)，(xrd，yrd)分别为动态感兴趣区域的左上角点和右下角点的像素坐标，(x，y)为车辆形心点的像素坐标，W/H为障碍物宽高比，f为摄像机焦距，为摄像头固定参数。H的取值暂定为一般大型客车的高度。更进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：所述雷达设备为毫米波雷达，所述视频设备为ADVS视频设备更进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：所述步骤(1)中雷达数据预处理包括以下步骤，根据车道宽度设置横向宽度阈值来对目标所处车道进行分类，根据目标相对速度和本车速度以及车辆未来的状态信息确定一段时间内最危险的目标，跟踪此目标、保留其解算的相对速度，角度及距离信息，并获得目标的世界坐标。再进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：所述步骤(1)中视频数据预处理包括图像分割，图像增强、二值化和图像细化。再进一步地，上述一种基于雷达数据和视频信号融合识别危险目标的方法，其中：，其特征在于：所述步骤(5)中对障碍物进行识别，具体步骤为对目标进行特征提取，通过改进的自适应阈值确定方法进行图像分割处理，进而利用图像处理方法、先验知识和D-S证据理论对感兴趣区域检测是否存在车辆特征或者行人特征。本专利技术突出的实质性特点和显著的技术效果体现在：使用本专利技术在汽车转弯时，控制系统会对雷达所探测危险目标的距离做出计算和判断，避免由于毫米波雷达范围过远而导致把反向车道的物体误判为危险目标的情况发生，降低了对驾驶员的错误干扰，有利于驾驶员安全驾驶。附图说明图1是基于雷达数据和视频信号融合识别危险目标的方法原理框图；图2是基于雷达数据和视频信号融合识别危险目标的方法流程图；图3是雷达扫描图。具体实施方式以下通过附图结合具体实施方式，对本专利技术做进一步详细说明。本专利技术一种基于雷达数据和视频信号融合识别危险目标的方法，需在车体上安装雷达设备和视频设备，如图1所示，包括以下步骤：(1)处理器接收雷达设备的雷达数据，并对雷达数据进行预处理，同时，处理器接收视频设备的视频数据，并对视频数据进行预处理，(2)对雷达数据进行分析处理，判断雷达所探测的目标是否为障碍物，若识别为障碍物，提取障碍物信息，(3)将雷达所探测的障碍物信息和视频数据进行空间同步，(4)对视频数据进行分析处理，标定感兴趣区域，(5)若雷达所探测的障碍物不在感兴趣区域中，则识别为非危险目标，若在感兴趣区域中，对视频数据中对雷达识别为障碍物的位置进行再次识别判断，若该障碍物依旧存在，则识别为危险目标，若不存在，则识别为非危险目标。上述步骤(1)中由毫米波雷达探测到的目标信息存在空目标信息，无效目标信息，首先必须去除绝大部分此类目标信号，因此需对雷达数据进行预处理，具体包括根据国家规定车道宽度设置横向宽度阈值来对目标所处车道进行分类，根据目标相对速度和本车速度以及车辆未来的状态信息(转向角，加速度)确定一段时间内最危险的目标。跟踪此目标、保留其解算的相对速度，角度及距离信息，获得目标的世界坐标。为了减少后续算法的复杂度，提高效率，图像的预处理一般分为图像分割，图像增强、二值化和图像细化几个部分，其中图像分割是将图像区与背景分离，从而避免在没有有效信息的区域进行特征提取，加速后续处理的速度，提高图像特征提取和匹配的精度；图像增强的目的是改善图像质量，恢复其原来的结构，图像的二值化是将图像从灰度图像转换为二值图像；图像细化是把清晰但不均匀的二值图像转化成线宽仅为一个像素的点线图像。如图2所示，汽车上安装有毫米波雷达和ADAS视频设备，具体步骤如下：上述步骤(1)包括以下步骤：1、处理器初始化各参数，2、处理器采集毫米波雷达原始数据，并保存数据，同时处理器接收ADAS视频数据流，3、解算毫米波雷达数据，获得毫米波雷达所探测的各个目标的相应数据，如目标相对速度，距离及方位角等，并对ADAS视频数据流进行处理，包括图像分割，图像增强、二值化和图像细化。上述步骤(2)中具体步骤如下：对毫米波雷达数据进行处理，判断毫米本文档来自技高网...

【技术保护点】
一种基于雷达数据和视频信号融合识别危险目标的方法，其特征在于：包括以下步骤，(1)处理器接收雷达设备的雷达数据，并对雷达数据进行预处理，同时，处理器接收视频设备的视频数据，并对视频数据进行预处理，(2)对雷达数据进行分析处理，判断雷达所探测的目标是否为障碍物，若识别为障碍物，提取障碍物信息，(3)将雷达所探测的障碍物信息和视频数据进行空间同步，(4)对视频数据进行分析处理，标定感兴趣区域，(5)若雷达所探测的障碍物不在感兴趣区域中，则识别为非危险目标，若在感兴趣区域中，对视频数据中对雷达识别为障碍物的位置进行再次识别判断，若该障碍物依旧存在，则识别为危险目标，若不存在，则识别为非危险目标。

【技术特征摘要】
1.一种基于雷达数据和视频信号融合识别危险目标的方法，其特征在于：包括以下步骤，(1)处理器接收雷达设备的雷达数据，并对雷达数据进行预处理，同时，处理器接收视频设备的视频数据，并对视频数据进行预处理，(2)对雷达数据进行分析处理，判断雷达所探测的目标是否为障碍物，若识别为障碍物，提取障碍物信息，(3)将雷达所探测的障碍物信息和视频数据进行空间同步，(4)对视频数据进行分析处理，标定感兴趣区域，(5)若雷达所探测的障碍物不在感兴趣区域中，则识别为非危险目标，若在感兴趣区域中，对视频数据中对雷达识别为障碍物的位置进行再次识别判断，若该障碍物依旧存在，则识别为危险目标，若不存在，则识别为非危险目标。2.根据权利要求1所述的一种基于雷达数据和视频信号融合识别危险目标的方法，其特征在于：所述步骤(3)中具体步骤为，将雷达坐标与图像坐标之间进行转换，按照右手原则建立坐标系，由以下公式确定坐标系之间空间位置关系，将世界坐标系中的点(XW,YW,ZW,1)变换到图像像素坐标(u,v)：式中(XW,YW,ZW,1)T是点的世界坐标系，与其对应的摄像机齐次坐标是(XC,YC,ZC,1)T，dx,dy分别表示每个像素在横纵轴上的物理单位下的大小，f是摄像机的焦距，s’表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子，R代表一个3×3的正交单位矩阵，t表示平移向量，I是元素全为1的单位矩阵，O＝(0,0,0)T，R1为障碍物中心点到雷达扫射平面的相对雷达的距离R1，α为障碍物中心点到雷达扫射平面的偏转角度。3.根据权利要求1所述的一种基于雷达数据和...

【专利技术属性】
技术研发人员：何克鉴，谢忠，盛超武，张朋辉，黄鑫，
申请(专利权)人：浙江东车智能科技有限公司，
类型：发明
国别省市：浙江,33