基于双目相机的车载智能前车防撞预警方法技术

本发明专利技术公开了一种基于双目相机的车载智能前车防撞预警方法，包括下述步骤：一、双目相机的标定；首先使用双目相机分别对标定板多个角度采集图片，其次运行单目相机标定工具箱，分别将左、右单目相机获取的图片导入程序中，最后运行双目相机标定工具箱得到双目相机各种内外参数；二、车辆检测和跟踪；三、目标车辆信息；四、预警策略；当车距小于3m时，车载预警系统发出一个车距警告报警信号，当预测碰撞时间小于2.7s时，车载预警系统发出一个碰撞警告报警信号，当两车的相对速度变化量大于30km/h时，预警系统发出一个碰撞警告报警信号，提示驾驶员控制车速。本发明专利技术优点在于实现对前车目标车辆的距离、速度、方位等信息进行检测。

Vehicle intelligent front vehicle collision avoidance and early warning method based on binocular camera

The invention discloses an early warning method of vehicle intelligent front car collision warning based on a double camera, including the following steps: first, the calibration of the binocular camera; first, use the binocular camera to collect the pictures in multiple angles to the fixed plate, and then run the calibration toolbox of the monocular camera, and introduce the pictures obtained by the left and right camera to the camera respectively. In the program, we finally run the double camera calibration toolbox to get all the internal and external parameters of the camera. Two, vehicle detection and tracking; three, the target vehicle information; four, early warning strategy; when the distance is less than 3m, the vehicle warning system sends out a distance warning warning signal, when the impact time is less than 2.7s, the vehicle warning system is early warning. The system sends out a collision warning alarm signal, when the relative speed of two cars is more than 30km/h, the warning system sends out a collision warning alarm signal, prompting the driver to control the speed of the car. The advantage of the invention is to detect the distance, speed and azimuth of the target vehicle.

【技术实现步骤摘要】
基于双目相机的车载智能前车防撞预警方法
本专利技术涉及车辆防撞预警方法，尤其是涉及基于双目相机的车载智能前车防撞预警方法。
技术介绍
随着汽车产业的迅速发展，人们对汽车的要求已不是简单的代步工具，对于汽车的安全、舒适、智能化等方面要求越来越高，目前车辆智能防碰撞预警已越来越多的应用于车载智能系统中，利用车载防碰撞预警系统提醒或辅助驾驶员控制车辆可有效的减少交通事故的发生，保证汽车的安全行驶。目前现有的以激光、雷达、超声波、红外线等传感器为基础的车载智能前车防碰撞预警系统在市场上已经得到应用，但存在价格昂贵、测量参数单一，容易受外部环境影响等缺点。基于单目相机的车载智能前车防碰撞系统存在求解前车距离时缺少绝对尺度，在模型求解过程中出现尺度因子的模糊性，后续得到的前车位置有较大误差，从而影响前后车的距离精度。
技术实现思路
本专利技术目的在于提供一种基于双目相机的车载智能前车防撞预警方法。为实现上述目的，本专利技术采取下述技术方案：本专利技术所述基于双目相机的车载智能前车防撞预警方法，包括下述步骤：第一步、双目相机的标定；1.1、所述双目相机的原理：根据双目立体视觉是基于视差的原理计算得出，即由两个单目相机和被测物体组成一个三角形，通过标定得出所述双目相机的内外参数，利用三角法即得出被测物体在双目相机坐标系下的三维信息；设两个单目相机在同一个平面上，左、右单目相机的相机光心分别为和，左、右单目相机的光轴分别与图像平面的交点为和，左、右单目相机的基线距离为，单目相机的焦距为，空间里的特征点在左、右单目相机的投影点分别为和，其中的图像坐标为的，的图像坐标为的，因两个单目相机在同一平面上，那么和的Y轴坐标一致，即；由三角关系得到如下关系：公式（1）；公式（2）；公式（3）；由以上公式得知，在获得双目相机的基距和焦距参数后即得出目标的位置信息；1.2、所述双目相机的标定方法：使用MATLAB软件内嵌的标定工具箱；首先使用双目相机分别对标定板多个角度采集多幅图片，且要保证获取图片的清晰程度；其次运行标定工具箱中的单目相机标定工具箱，分别将左、右单目相机获取的多图片导入程序中，分别计算出左单目相机和右单目相机的内参数；最后运行标定工具箱中的双目相机标定工具箱，将左、右单目相机的标定参数一起导入程序中，得到双目相机的左、右单目相机两者之间的标定参数；通过以上方法即可得到涉及双目相机的各种内外参数；第二步、车辆检测和跟踪；2.1、车辆的检测：首先使用整车的边缘检测和车底阴影结合的方式，两种方式结合具有较高的可靠性和适应性，目前大量使用于汽车的检测领域；边缘检测使用索贝尔(Sobel)算子对车体图像进行边缘处理，使用根据外界环境变化的动态的阈值对车底阴影进行提取；其次使用方向梯度直方图（HOG）特征变换算法可计算出所有子图像的特征空间；涉及到图像的各个区块及各个方向，具有很高的精度；最后使用自适应增强分类器（AdaBoost）筛选掉所有非汽车的子图像，达到车辆检测的目的；2.2、车辆的跟踪使用球形（ORB）算法，ORB算法具有旋转和尺度不变性，具有仿射不变性，在抗噪、速度及灰度适应性等方面具有很好的鲁棒性；ORB特征检测与匹配方法包括三个步骤：带方向的快速分割测试特征检测（oFAST）、带旋转的二进制稳定独立初始特征描述（rBRIEF）和最近距离比匹配；多帧图像特征匹配成功后，在连续的多帧图像中捕获跟踪的车辆，保证实时性；若特征匹配失败，则重新进行车辆的检测；第三步、目标车辆信息；通过车辆的检测算法得出所述目标车辆分别在左、右单目相机的图像坐标信息，通过相机标定得出的内外参数即得出前方目标车辆的三维坐标信息，其中的即为瞬时前方目标车辆的水平距离，即为瞬时前方目标车辆的车距；目标车辆的方位角度可以通过如下关系求得：公式（4）；主体车辆与前方目标车辆的相对速度通过主体车辆与前方目标车辆在单位时间内的车距变化求得，其中为上一时刻获取的瞬时前方目标车辆的车距，即为当前时刻获取的瞬时前方目标车辆的车距，为获取上、下帧图像的单位间隔时间：公式（5）；主体车辆与前方目标车辆的预计碰撞时间由当前的瞬时车距与相对车速求得，其中即为当前时刻获取的瞬时前方目标车辆的车距，为主体车辆与前方目标车辆的相对速度：公式（6）；第四步、预警策略；所述预警策略从主体车辆与前方目标车辆之间的车距、预测碰撞时间、两车相对速度变化量三个方面考虑；对于所述车距，当车距小于3m时，车载预警系统发出一个车距警告报警信号，提示驾驶员控制车距；对于所述预测碰撞时间，当预测碰撞时间小于2.7s时，车载预警系统发出一个碰撞警告报警信号，提示驾驶员控制车速；对于所述两车相对速度变化量，当两车的相对速度变化量大于30km/h时，预警系统发出一个碰撞警告报警信号，提示驾驶员控制车速。所述左单目相机和右单目相机的内参数包括相机的焦距、图像中心、像元尺寸及径向畸变参数；所述双目相机的左、右单目相机两者之间的标定参数包括相机间的旋转和平移参数。本专利技术优点在于不仅可以实现对前车目标车辆的距离、速度、方位等信息进行检测，同时也可以对前方道路环境、车辆的运行情况进行监测，监测的信息广，生产成本低廉。采用双目相机实现数据的获取，双目存在尺度信息约束，求解的车距等信息更为精确，因而实现的前车防撞系统的性能可靠。附图说明图1是本专利技术的流程图。图2是本专利技术所述双目相机的模型图。图3是本专利技术所述双目相机获取的标定图像。图4是本专利技术所述预警策略的判断条件流程图。具体实施方式下面结合附图对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述实施例。如图1-4所示，本专利技术所述基于双目相机的车载智能前车防撞预警方法，包括下述步骤：第一步、双目相机的标定；1.1、所述双目相机的原理：根据双目立体视觉是基于视差的原理计算得出，即由两个单目相机和被测物体组成一个三角形，通过标定得出所述双目相机的内外参数，利用三角法即得出被测物体在双目相机坐标系下的三维信息；设两个单目相机在同一个平面上，左、右单目相机的相机光心分别为和，左、右单目相机的光轴1、2分别与图像平面的交点为和，左、右单目相机的基线距离为，单目相机的焦距为，空间里的特征点在左、右单目相机的投影点分别为和，其中的图像坐标为的，的图像坐标为的，因两个单目相机在同一平面上，那么和的Y轴坐标一致，即；由三角关系得到如下关系：公式（1）；公式（2）；公式（3）；由以上公式得知，在获得双目相机的基距和焦距参数后即得出目标的位置信息；1.2、所述双目相机的标定方法:使用MATLAB软件内嵌的标定工具箱；首先使用双目相机分别对标定板多个角度采集14幅图片，且要保证获取图片的清晰程度；其次运行标定工具箱中的单目相机标定工具箱，分别将左、右单目相机获取的14图片导入程序中，分别计算出左单目相机和右单目相机的内参数，如相机的焦距、图像中心、像元尺寸及径向畸变等参数；最后运行标定工具箱中的双目相机标定工具箱，将左、右单目相机的标定参数一起导入程序中，得到双目相机的左、右单目相机两者之间的标定参数，如相机间的旋转和平移参数；通过以上方法即可得到涉及双目相机的各种内外参数；第二步、车辆检测和跟踪；2.1、车辆本文档来自技高网...

【技术保护点】
一种基于双目相机的车载智能前车防撞预警方法，其特征在于：包括下述步骤：第一步、双目相机的标定；1.1、所述双目相机的原理：根据双目立体视觉是基于视差的原理计算得出，即由两个单目相机和被测物体组成一个三角形，通过标定得出所述双目相机的内外参数，利用三角法即得出被测物体在双目相机坐标系下的三维信息；设两个单目相机在同一个平面上，左、右单目相机的相机光心分别为

【技术特征摘要】
1.一种基于双目相机的车载智能前车防撞预警方法，其特征在于：包括下述步骤：第一步、双目相机的标定；1.1、所述双目相机的原理：根据双目立体视觉是基于视差的原理计算得出，即由两个单目相机和被测物体组成一个三角形，通过标定得出所述双目相机的内外参数，利用三角法即得出被测物体在双目相机坐标系下的三维信息；设两个单目相机在同一个平面上，左、右单目相机的相机光心分别为和，左、右单目相机的光轴分别与图像平面的交点为和，左、右单目相机的基线距离为，单目相机的焦距为，空间里的特征点在左、右单目相机的投影点分别为和，其中的图像坐标为的，的图像坐标为的，因两个单目相机在同一平面上，那么和的Y轴坐标一致，即；由三角关系得到如下关系：公式（1）；公式（2）；公式（3）；由以上公式得知，在获得双目相机的基距和焦距参数后即得出目标的位置信息；1.2、所述双目相机的标定方法：使用MATLAB软件内嵌的标定工具箱；首先使用双目相机分别对标定板多个角度采集多幅图片；其次运行所述标定工具箱中的单目相机标定工具箱，分别将左、右单目相机获取的多幅所述图片导入程序中，分别计算出左单目相机和右单目相机的内参数；最后标定工具箱中的运行双目相机标定工具箱，将左、右单目相机的标定参数一起导入程序中，得到双目相机的左、右单目相机两者之间的标定参数；第二步、车辆检测和跟踪；2.1、车辆的检测：首先使用整车的边缘检测和车底阴影结合的方式，边缘检测使用索贝尔算子对车体图像进行边缘处理，使用根据外界环境变化的动态的阈值对车底阴影进行提取；其次使用方向梯度直方图特征变换算法计算出所有子图像的特征空间；最后使用自适应增强分类器筛选掉所有非汽车的子图像，达到车辆检测的目的；2.2、车辆的跟踪使用球形算法，球形算法具有旋转和尺度不变性，具有仿射不变性，在抗噪、速度及灰度适应性方面具有很好的鲁...

【专利技术属性】
技术研发人员：孙欢，刘营涛，张强，刘松伟，乔敏，李阳，唐马政，李远，刘思钰，曹昭良，胡波，黄启慧，李昆鹏，李雪龙，
申请(专利权)人：郑州日产汽车有限公司，
类型：发明
国别省市：河南,41