一种基于毫米波与视觉融合感知的盲区监测方法技术

本发明专利技术提供了一种基于毫米波与视觉融合感知的盲区监测方法，包括以下步骤：S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；S2、基于毫米波雷达对目标的有效确定；S3、基于机器视觉传感器对障碍物的有效识别；S4、基于毫米波雷达与机器视觉融合模型的搭建；S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。本发明专利技术所述的基于毫米波与视觉融合感知的盲区监测方法采用毫米波与视觉融合感知并盲区监测方法，提高系统的鲁棒性，使盲区监测系统更加稳定可靠。

A blind area monitoring method based on millimeter wave and vision fusion perception

【技术实现步骤摘要】
一种基于毫米波与视觉融合感知的盲区监测方法
本专利技术属于无人驾驶
，尤其是涉及一种基于毫米波与视觉融合感知的盲区监测方法。
技术介绍
当车辆在道路上行驶时，驾驶员会通过车辆两侧的后视镜观察车辆两侧后方的交通情况，但由于车辆自身结构的缺陷和后视镜视野角度的问题，在车辆的两侧和车辆后方就会存在视线盲区。尤其当驾驶员有变道行为时，就会存在很大的安全隐患。盲区监测系统就是利用环境感知传感器监测相邻车道有没有车辆靠近，以及后视镜盲区里有没有车辆。当有车辆靠近本车或有障碍物进入盲区的时候，系统就会发出警报，并通过声音、灯光等方式提醒驾驶员。盲区监测系统的存在大大地降低了变道时发生碰撞事故的可能性，可以有效的防止危险的发生。目前多数的盲区监测系统及产品均采用毫米波雷达对盲区的车辆或行人进行探测，但是，由于毫米波雷达是利用目标对电磁波的反射来发现并测定目标位置，而充满电磁干扰的真实实车场景给其在障碍物探测方面带来不可回避的误差较大的问题，很容易造成盲区监测系统的误报警或系统失效，对车辆行驶安全性带来负面影响。
技术实现思路
有鉴于此，本专利技术旨在提出一种基于毫米波与视觉融合感知的盲区监测方法，以解决现有的盲区监测系统探测误差大，并且容易出现误报警或系统失效问题。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于毫米波与视觉融合感知的盲区监测方法，包括以下步骤：S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；S2、基于毫米波雷达对目标的有效确定；S3、基于机器视觉传感器对障碍物的有效识别；S4、基于毫米波雷达与机器视觉融合模型的搭建；S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。进一步的，所述步骤S1中对毫米波雷达的标定方法如下：S111、将车辆停放在直线型的车道中央；S112、测量毫米波雷达安装偏差，填写的标定程序配置文件中，其中毫米波雷达偏左时，偏差值为正，偏右为负；S113、测量车道宽度及车辆宽度尺寸填写到标定程序配置文件中；S114、配合车辆沿当前车道向前行驶设定的距离，如果期间车辆总能保持在本车道内为标定成功标准；如果车辆行驶一段距离后显示不在本车道内部，即目标车辆脱离标定软件绘制的车道参考线，通过修改标定程序配置文件中的YAW值，重新加载程序观察结果，直到达到标定完成的标准为止，此时标定程序配置文件中的YAW值即为雷达安装的横摆角。进一步的，所述步骤S1中，对视觉传感器的标定方法如下：基于张正友标定原理求出摄像机的畸变参数，对空间上坐标转换关系进行修正。进一步的，所述步骤S1中，对毫米波雷达和视觉传感器两种传感器的联合标定，方法如下：S121、毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中；转换矩阵是由两部分组成：由角度所带来的旋转矩阵以及平移产生的平移矩阵；其中平移矩阵的平移量理解为毫米波设备在世界坐标系的坐标，即：毫米波到相机的距离。平移矩阵通过测距工具实际测量得到，此时设定旋转矩阵为0；S122、将世界坐标系的坐标转换到相机坐标系；S123、将相机坐标系的坐标转换到图像坐标系。进一步的，所述步骤S2中，基于毫米波雷达对目标进行有效确定的方法具体如下：利用噪声自适应的扩展卡尔曼滤波NA-EKF算法在线调整测距观测器过程的噪声方差和量测噪声方差，并调整测距状态观测器增益，以解决假定迭代过程中的噪声量测方差不随时间变化，而导致的算法估计的结果存在误差的问题。进一步的，所述步骤S3中，基于机器视觉传感器对障碍物的有效识别的方法，具体如下：S301、在盲区监测系统试验过程中，采集真实实车视觉样本特征数据；S302、对所采集到的视觉样本特征统一进行灰度化和归一化处理，建立30×30像素的样本库，形成训练样本集；S303、对视觉样本特征进行提取，并用矩形框进行标注；利用Adaboost建立相同数据量规模的弱分类器；S304、通过将不同弱分类器赋予不同大小的权值，并进行加权相加，转变成强分类器。进一步的，所述步骤S4中，毫米波雷达与机器视觉融合感知的具体方法如下：S401、以视觉采样速率为基准，毫米波雷达的上一帧数据与视觉当前帧的数据进行匹配，实现二者时间上的融合，从而保证了毫米波雷达数据和摄像机数据时间上的同步；S402、通过毫米波雷达采集得到障碍物数据，获取障碍物位置坐标；S403、将障碍物坐标点进行转化，得到在视觉图上的像素坐标。进一步的，所述步骤S5的具体方法如下：通过毫米波雷达获取盲区内障碍物的距离本车的距离信息，以及障碍物的相对速度信息，而视觉传感器用于判断障碍物的种类，将障碍物分为车辆、自行车或摩托车、行人等三大类，最后对不同相对速度，不同种类的障碍物进行不同的报警声音设置，在左右后视镜外侧的LED报警灯也以不同的形式进行表现。相对于现有技术，本专利技术所述的基于毫米波与视觉融合感知的盲区监测方法具有以下优势：(1)本专利技术所述的基于毫米波与视觉融合感知的盲区监测方法可以针对毫米波雷达由于外界复杂天气条件下的外部环境给其带来无法避免的虚警问题，造成盲区监测系统的误报警或系统失效，对车辆行驶安全性带来负面影响；采用毫米波与视觉融合感知并盲区监测方法，提高系统的鲁棒性，使盲区监测系统更加稳定可靠。(2)本专利技术所述的基于毫米波与视觉融合感知的盲区监测方法可对盲区内的物体进行准确的识别及分类，并对不同类别的障碍物采取不同的报警方式和信息提示方式，进一步提高驾驶员对盲区内障碍物的感知能力。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是基于毫米波与视觉融合感知的盲区监测方法流程图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体本文档来自技高网...

【技术保护点】
1.一种基于毫米波与视觉融合感知的盲区监测方法，其特征在于，包括以下步骤：/nS1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；/nS2、基于毫米波雷达对目标的有效确定；/nS3、基于机器视觉传感器对障碍物的有效识别；/nS4、基于毫米波雷达与机器视觉融合模型的搭建；/nS5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。/n

【技术特征摘要】
1.一种基于毫米波与视觉融合感知的盲区监测方法，其特征在于，包括以下步骤：
S1、分别对毫米波雷达和视觉传感器进行标定，然后进行两种传感器的联合标定及外参标定；
S2、基于毫米波雷达对目标的有效确定；
S3、基于机器视觉传感器对障碍物的有效识别；
S4、基于毫米波雷达与机器视觉融合模型的搭建；
S5、根据不同类别的障碍物采取不同的报警方式和信息提示方式。


2.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于：所述步骤S1中对毫米波雷达的标定方法如下：
S111、将车辆停放在直线型的车道中央；
S112、测量毫米波雷达安装偏差，填写的标定程序配置文件中，其中毫米波雷达偏左时，偏差值为正，偏右为负；
S113、测量车道宽度及车辆宽度尺寸填写到标定程序配置文件中；
S114、配合车辆沿当前车道向前行驶设定的距离，如果期间车辆总能保持在本车道内为标定成功标准；如果车辆行驶一段距离后显示不在本车道内部，即目标车辆脱离标定软件绘制的车道参考线，通过修改标定程序配置文件中的YAW值，重新加载程序观察结果，直到达到标定完成的标准为止，此时标定程序配置文件中的YAW值即为雷达安装的横摆角。


3.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于，所述步骤S1中，对视觉传感器的标定方法如下：
基于张正友标定原理求出摄像机的畸变参数，对空间上坐标转换关系进行修正。


4.根据权利要求1所述的基于毫米波与视觉融合感知的盲区监测方法，其特征在于，所述步骤S1中，对毫米波雷达和视觉传感器两种传感器的联合标定，方法如下：
S121、毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中；
转换矩阵是由两部分组成：由角度所带来的旋转矩阵以及平移产生的平移矩阵；其中平移矩阵的平移量理解为毫米波设备在世界坐标系的坐标，即：毫米波到相机的距离。平移矩阵通过测距工具实际测量得到，此时设定旋转矩阵为0；
S122、将世界坐标系的坐标转换到相机坐标系；
S123、将相...

【专利技术属性】
技术研发人员：华一丁，戎辉，唐风敏，郭蓬，何佳，臧晨，吴学易，
申请(专利权)人：中国汽车技术研究中心有限公司，中汽研天津汽车工程研究院有限公司，
类型：发明
国别省市：天津;12