拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法技术

本发明专利技术公开了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，包括以下步骤：对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据并进行预处理；判断当前车辆前方是否有障碍物，如果有障碍物采用联合鲁棒校验方法，得到当前障碍物相对于本车的距离信息并根据障碍物距离信息预警。本发明专利技术极大地提高障碍物识别效率和鲁棒性。解决了拥挤交通环境中，摄像机所获得障碍物轮廓不完整的问题，同时，能够获得更为准确可靠的障碍物参数信息。

【技术实现步骤摘要】
拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
本专利技术属于智能车辆
，涉及汽车安全行驶，具体涉及拥挤交通中基于双目视觉和激光雷达的联合校验防撞方法。
技术介绍
随着汽车技术的发展，交通安全问题越发突出。而车辆碰撞为交通事故的主要表现形式。智能交通系统通过改进“人-车-环境”耦合系统的智能化水平，可以有效提高在途行驶车辆的安全性。作为智能交通系统的重要组成部分，智能车辆防撞技术是其实现智能化的关键。基于机器视觉和激光雷达的避障方法是智能车辆常用的避障技术，其技术要点在于首先通过机器视觉方法获得周围环境中的障碍信息，然后使用激光雷达技术获取所探测障碍物的景深信息，综合得到障碍物的实时信息。该方法结构简单，易于实现，对于车辆在未知环境中行驶时的障碍识别具有重要的意义。然而，当交通系统比较拥挤时，由于车辆间距离较近，摄像机无法获取环境中相邻车辆的整体轮廓信息，系统会表现出鲁棒性不高，“虚警”、“漏检”现象严重等问题，并可能导致交通事故。因此，在拥挤环境中，如何准确地检测出前方车辆的相对位置和类型，并指导车辆防撞是一个亟待解决的问题。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法，解决现有技术在拥挤交通环境下鲁棒性不高的问题。为了实现本专利技术的上述目的，本专利技术提供了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，具体包括以下步骤：S1，对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理；S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4；S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息；S5，根据步骤S4所确定的障碍物距离信息，进行预警，提醒驾驶员前方障碍信息。相比现有技术，本专利技术具有如下有益效果：1、本专利技术采用双层障碍物检测方法，包括：首先使用耗时较短的“障碍物存在性联合快速校验方法”判断车辆前方是否存在障碍物。当确定障碍物存在后，调用“障碍物参数联合鲁棒校验方法”确定障碍物的具体参数。本专利技术可以极大的提高障碍物识别效率和鲁棒性，系统检测单次循环不超过38ms，检测成功率达到93％以上。2、本专利技术采用双目视觉系统和激光雷达作为环境感知设备，同时对车辆前方行驶环境进行探测。通过对左、右摄像机所捕获图像的拼接处理，解决了拥挤交通环境中，摄像机所获得障碍物轮廓不完整的问题。同时，采用距离信息融合的方法，将双目视觉三维环境重构，获得的障碍物的距离信息和激光雷达获得的障碍物距离信息相融合，获得更为准确可靠的障碍物参数信息。附图说明图1为本专利技术的双目视觉系统和激光雷达系统硬件框图；图2为本专利技术的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法的流程图；图3为本专利技术的航位推算坐标变换示意图；图4为本专利技术的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法的逻辑框图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。本专利技术拥挤交通中基于双目视觉和激光雷达的车辆防撞方法利用的系统如图1所示，防撞系统包括双目视觉系统、激光雷达采集系统、电源和电子控制计算单元。其中，双目视觉系统包括左摄像头、左摄像头数据采集卡、右摄像头和右摄像头数据采集卡，摄像头数据采集卡将图像信号采集后通过以太网传输到电子控制计算单元中；激光雷达系统用来对车辆前方障碍物进行扫描，并将数据通过以太网传输到电子控制计算单元中；电子控制计算单元用来处理双目视觉系统和激光雷达系统的数据；电源系统为双目视觉系统、激光雷达采集系统和电子控制计算单元提供电能。本专利技术还提供了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，如图2和图4所示，其包括以下步骤：S1，采用联合标定方法对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系。在本实施方式中，采用联合标定方法建立摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系，具体方法为：S11，对左摄像机、右摄像机分别进行标定，获得摄像机的标定参数，所述标定参数包括：左摄像机内参矩阵ML，右摄像机内参矩阵MR，左摄像机旋转矩阵RL，右摄像机旋转矩阵RR，左摄像机平移向量tL和右摄像机平移向量tR。S12，对激光雷达进行标定，获得激光雷达标定参数，包括换算矩阵RML和平移矩阵tML。在本实施方式中，具体参数的定义和标定取值方法可按照现有技术中的定义和取值方法。S13，给定车辆坐标系中的一点S，该点在左摄像机坐标系、右摄像机坐标系和激光雷达坐标系中的非齐次坐标分别为XcL，XcR，XML，该点在车辆坐标系中的坐标为Xw，得到：XcL＝RLXw+tL，XcR＝RRXw+tR，XML＝RMLXw+tML。S14，将步骤S13中XcL、XML和XcR中Xw消去，得到XcL＝RLRR-1(XcR-tR)+tL，XcR＝RRRML-1(XML-tML)+tR，由此求出左摄像机、右摄像机和激光雷达之间的变换关系，分别为：从激光雷达到左摄像机坐标系的变换关系为：RML＝RLRML-1，tML＝tL-RLRML-1tML；从激光雷达到右摄像机坐标系的变换关系为：RMR＝RRRML-1，tMR＝tR-RRRML-1tML。S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理。在本实施方式中，对得到的异类异步数据预处理方法具体包括以下步骤：S21，采用数据挖掘领域的快速OPTICS聚类算法对激光雷达得到的点云数据进行聚类筛选，获得点云聚类，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点。具体快速OPTICS聚类算法可参照现有的方法。S22，对左摄像机、右摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理。直方图处理的公式如下：式中，N为样本图像I中Harr-like特征的数量，Am为矩形区域，R为旋转因子，ζm为特征值，当像素灰度为黑色时ζm为0，否则为白色时ζm为1。S23，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度，kd为归本文档来自技高网...

【技术保护点】
一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，具体包括以下步骤：S1，对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理；S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4；S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息；S5，根据步骤S4所确定的障碍物距离信息，进行预警，提醒驾驶员前方障碍信息。

【技术特征摘要】
1.一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，具体包括以下步骤：S1，对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理；S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4；在本步骤中采用快速联合校验方法判断车辆前方障碍物存在性，具体包括以下步骤：S31，使用快速聚类方法将激光雷达得到的一帧点云数据分割为多个点族，这些点族包含了障碍物和非障碍物分类，聚类的判断规则如下：式中：rmin＝{rk,rk+1},rk,k+1＝|rk-rk+1|为相邻两个激光雷达的距离；φ为激光雷达角分辨率，C0为调节激光雷达的纵向误差；当相邻两个激光雷达数据点距离小于某个阈值的时候，视为它们在同一个聚类空间中；S32，将车辆前方行驶范围内的点族视为障碍物可疑点；S33，对左、右摄像机所获取的图像分别进行障碍物特征分析，首先将两幅单帧图像从RGB颜色空间，转换到对光照敏感度小的HIS颜色空间中；S34，使用特征搜索法计算路面区域的色调Ha和饱和度Sa，计算方法为：其中其中，式中，S表示临域W内的像素个数；M和N分别为临域W的长和宽，f(u,v)、g(u,v)分别表示此像素的色调和饱和度；S35，图像中障碍物判定，图像中像素点(i,j)为障碍物的计算公式为：F(i,j)＝|h(i,j)-Ha|G(i,j)＝|s(i,j)-Sa|当F(i,j)大于设定的阈值HT时，并且G(i,j)大于设定的阈值ST时，像素对应为障碍物存在可疑点；S36，将激光雷达获得的可疑点和左、右摄像机获得的可疑点通过坐标变换变换到车辆坐标系中来；若有两个以上传感器所确定的可疑点在车辆坐标系中重合，则确认当前车辆前方存在障碍物；S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息，所述联合鲁棒校验方法具体步骤如下：S41，分别构建左、右摄像机所捕获图像的尺度空间函数，定义尺度函数分别为LL(x,y),LR(x,y),将高斯函数作为卷积核，其中高斯函数为：δ为尺度空间因子，x和y为像素点坐标；使用高斯函数对图像进行卷积，卷积公式为：其中为卷积计算符；S42，确定各关键点的尺度，剔除低对比度的关键点，利用关键点临域像素的梯度为每个关键点指定方向参数；关键点的尺度梯度m(x,y)和方向θ(x,y)分别为：θ(x,y)＝tan-1([L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]，S43，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定准则，得到满足准则的匹配点对；S44，以匹配点对为基础，对两幅图像进行拼接处理，得到扩展后的具有障碍物全部轮廓的全景图像；将右摄像机图像平移(x0,y0)后，即：f2(x,y)＝f1(x-x0,y-y0)，其中f1为原图像，f2为平移后的图像，对右摄像机平移后图像和左摄像机图像进行拼接处理产生全景图像，所述x0,y0依次为将原右摄像机图像平移得到全景图像时的平移横坐标距离和平移纵坐标距离；S45，将激光雷达坐标系中的可疑障碍物位置向拼接后的图像投影，可疑障碍物在图像中的投影区域，即为感兴趣ROI区域；S46，提取图像ROI区域中的HAAR特征，采用RAB级联分类方法对图像中的ROI区域进行障碍物分类，获得障碍物的类型信息；S47，对左、...

【专利技术属性】
技术研发人员：王科，韩鹏，王东强，
申请(专利权)人：重庆大学，重庆市科学技术研究院，
类型：发明
国别省市：重庆;85