一种自动驾驶障碍物视觉检测方法与系统技术方案

本发明专利技术公开了一种自动驾驶障碍物视觉检测方法与系统，通过车载双目摄像机与红外摄像机实时获得彩色及红外图像信息；利用图形处理器GPU获得车辆前进方向上的视差图；利用自适应阈值将视差图中的障碍物进行分割并同时利用亮度分布将红外图像中的障碍物进行分割；利用彩色直方图判断视差图与红外图像检测出的障碍物区域是否重合，并根据障碍物与车辆的距离、几何尺寸判断其威胁程度，并在障碍物将要与车辆发生碰撞时利用车辆控制器对车辆发出紧急制动指令。本发明专利技术将深度信息与红外信息进行融合，相比于传统方法，对障碍物的漏检率大大降低；采用自适应阈值将障碍物从背景中分割，提高了障碍物检测的精度，在自动驾驶领域具备很高的实用性。

Automatic driving obstacle visual inspection method and system

The invention discloses an automatic driving obstacle detection method and visual system, through the on-board binocular camera and infrared camera to obtain real-time color and infrared image information; disparity map using GPU graphics processor to obtain the vehicle forward direction; by using the adaptive threshold will be considered bad obstacles in Graph Segmentation and using brightness distribution obstacles object in infrared image segmentation using color histogram; identify obstacles detecting regional disparity map and infrared image is coincidence, and judge the degree of threat, according to the distance geometry and obstacle of the vehicle, and the obstacle will use and issued an emergency braking instruction on the vehicle controller of vehicle collision. The invention combines depth information and infrared information, compared with the traditional method, the obstacle detection rate is greatly reduced; the adaptive threshold will obstacle segmentation from the background, improve the obstacle detection accuracy, has very high practicability in the field of automatic driving.

【技术实现步骤摘要】
一种自动驾驶障碍物视觉检测方法与系统
本专利技术涉及一种自动驾驶障碍物视觉检测方法与系统，属于无人驾驶汽车环境感知

技术介绍
障碍物检测技术是智能汽车自动驾驶系统中的诸多关键技术之一，其可靠性、快速性和准确性是衡量智能汽车自动驾驶系统中的重要指标。基于视觉的障碍物检测系统通常工作于被动工作方式，具有仿生学、结构简单、成本低廉、经济性好、应用范围广等特点。相比于基于超声波、激光雷达等主动传感器的避障系统，视觉避障系统响应速度更快，精度更高，可以提供如颜色、纹理、几何形状等更加丰富的信息，与人类观察感知环境的原理一致，因此得到了越来越多的关注。双目视觉与单目视觉相比，可以获得与摄像头垂直的距离信息，能更加有效的判断出障碍物与车辆的相对位置，也有助于将障碍物从复杂背景中快速、准确的进行分割；目前双目视觉已经广泛应用在机器人导航、自动驾驶等多个领域。但与单目视觉一样，双目视觉受光照影响较大，在光照条件不好的情况下其使用效果将大大降低。红外成像系统可以在烟雾、微光、黑暗等特殊环境下对目标物体进行成像，已被广泛运用于安防、监控等诸多领域。但红外图像无法获得目标物体的纹理、颜色以及深度信息，且成像对比度低，检测距离有限，因此无法单独对车辆行驶过程中的障碍物进行识别。申请号为CN201510040849.6的《一种双双目红外与可见光融合立体成像系统》通过“双双目”红外与可见光图像融合技术的设计，弥补了单一波段立体成像系统的不足，解决了因系统间配合而降低所获取图像精度的问题。但该系统结构复杂，对设备要求高，且没有配套的软件算法对障碍物进行分割，难以在自动驾驶中得到运用。申请号为CN201310373949.1的《基于双目立体视觉的驾驶辅助障碍物检测方法》，主要提出了一种不需人为干涉的障碍物检测方法，它使用两个经过标定的CCD摄像机，同步采集车辆在静止或行驶过程中正前方路面的环境图像数据，并自主通过同一时刻采集的两幅图像进行基于三维重构的一系列图像处理和相应的计算后，精确获取车辆前方场景中障碍物的位置、尺寸、与本车的距离等信息，使智能车辆可以实时的进行车辆前方场景中障碍物的检测，从而实现障碍物告警。该方法虽然在白天有较好的效果，但在夜间容易因光照强度弱造成漏识别，无法全天候使用。且该方法需要计算出视场中全部像素点的三维坐标，对处理器运算性能和存储器的容量都有很高的要求，不适用于小型嵌入式机载设备。申请号为CN201210365530.7的《一种双目远红外智能辅助安全驾驶系统》，通过安装在车辆前端两个特殊可实时进行动态姿态调整的远红外传感器和内嵌入车内驾驶仪表板内的无线网络移动综合信息交互平台，对行车前方纵深坐标不同动态或静态目标的纵向距离、速度、加速度和危险性进行智能判断和动态跟踪，同时提醒驾车人减速或采取制动措施。该方法未考虑到道路或地面对障碍物深度值获取的影响，极容易导致误判。综上所述，虽然国内外在利用双目视觉或红外图像进行自动驾驶领域有较多的研究，但大多方法无法全天候、快速、准确地对障碍物进行识别，故大多难以应用到实际自动驾驶领域。
技术实现思路
本专利技术所要解决的技术问题是：提供一种自动驾驶障碍物视觉检测方法与系统，通过将深度信息与红外信息进行融合，能全天候识别车辆前方的障碍物、行人或其他车辆，对驾驶人发出警告，并在障碍物将要与车辆发生碰撞时对车辆发出紧急制动指令。本专利技术为解决上述技术问题采用以下技术方案：一种自动驾驶障碍物视觉检测方法，包括如下步骤：步骤1，利用双目摄像机实时获取车辆前进方向上的图像，并利用立体匹配算法计算出车辆前进方向上的视差图；同时，利用红外摄像机实时获取车辆前进方向上的红外图像；步骤2，通过视差图将包含障碍物的区域利用自适应阈值分割方法进行分割；步骤3，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；步骤4，在进行步骤3的同时，对红外图像的亮度进行阈值分割，将小于预设阈值的亮度置0，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物；步骤5，若视差图和红外图像中均无障碍物，则判定为无障碍物并返回步骤1；步骤6，若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤7，若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤8，若视差图和红外图像中均存在障碍物，则分别按照步骤6、7分别得到障碍物区域，利用色调直方图判断二者是否重合；步骤9，若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计算其与车辆的距离；并提醒驾驶人障碍物的距离，当障碍物的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。作为本专利技术的一种优选方案，步骤1所述利用双目摄像机实时获取车辆前进方向上的图像的具体做法为：将双目摄像机对称安装在车辆头部左右两侧，且双目摄像机的朝向与车辆前进方向平行，通过预先标定得到的双目摄像机内外参数矩阵将实时获取到的左右两幅图像矫正为无畸变且行对准的两幅图像。作为本专利技术的一种优选方案，步骤1所述利用红外摄像机实时获取车辆前进方向上的红外图像的具体做法为：将红外摄像机安装在双目摄像机的正中位置，并向上扬起，与车辆前进方向的夹角为10°。作为本专利技术的一种优选方案，所述步骤2的具体做法为：将视差图的最左边和最右边各裁剪掉原图像的1/5，得到裁剪后的视差图，将裁剪后的视差图最下边裁掉自身的1/5，得到新的视差图，设定分割阈值t，将视差值大于等于t的归类为属于障碍物的视差值，将视差值小于t的归类为属于背景的视差值，阈值t的求解方式为：设定N0,N1,…,N255分别为新的视差图中视差值等于0,1,…,255的像素点的数目，阈值t通过最大化G的值可以得到，其中，G的计算公式为：G＝[Mean(N10,Nt)-Mean(Nt+1,N236)]+a×[Std(N10,Nt)-Std(Nt+1,N236)]其中，Mean(Np,Nq)为Np,Np+1,…,Nq的均值，Std(Np,Nq)为Np,Np+1,…,Nq的标准差，a为比例系数；若计算出的阈值t>200，则重新计算t，通过最大化G′的值得到，其中，G′的计算公式为：G′＝Mean(N10,Nt)-Mean(Nt+1,N236)。作为本专利技术的一种优选方案，所述距离信息的计算方法为：设定D0,D1,…,D255分别为障碍物区域中视差值等于0,1,…,255的像素点的数目，若存在至少一个则障碍物区域与车辆距离D为：其中，fc为摄像机的焦距，T为双目摄像机的基线距离，dmax为大于的Dk对应的视差值中的最大视差值；若所有的D0,D1,…,D255均小于则障碍物区域与车辆距离D为：其中，dm为障碍物区域内所有视差值的平均值。作为本专利技术的一种优选方案，步骤8所述利用色调直方图判断二者是否重合的方法为：首先将双目摄像机中左摄像机获取的图像从RGB空间转换为HSV空间并提取其色调通道图像，然后将视差图和红外图像得到的障碍物区域平移至左摄像机参考系下，设定H1(0),H1(1),…,H1本文档来自技高网...

【技术保护点】
一种自动驾驶障碍物视觉检测方法，其特征在于，包括如下步骤：步骤1，利用双目摄像机实时获取车辆前进方向上的图像，并利用立体匹配算法计算出车辆前进方向上的视差图；同时，利用红外摄像机实时获取车辆前进方向上的红外图像；步骤2，通过视差图将包含障碍物的区域利用自适应阈值分割方法进行分割；步骤3，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；步骤4，在进行步骤3的同时，对红外图像的亮度进行阈值分割，将小于预设阈值的亮度置0，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物；步骤5，若视差图和红外图像中均无障碍物，则判定为无障碍物并返回步骤1；步骤6，若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤7，若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤8，若视差图和红外图像中均存在障碍物，则分别按照步骤6、7分别得到障碍物区域，利用色调直方图判断二者是否重合；步骤9，若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计算其与车辆的距离；并提醒驾驶人障碍物的距离，当障碍物的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。...

【技术特征摘要】
1.一种自动驾驶障碍物视觉检测方法，其特征在于，包括如下步骤：步骤1，利用双目摄像机实时获取车辆前进方向上的图像，并利用立体匹配算法计算出车辆前进方向上的视差图；同时，利用红外摄像机实时获取车辆前进方向上的红外图像；步骤2，通过视差图将包含障碍物的区域利用自适应阈值分割方法进行分割；步骤3，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；步骤4，在进行步骤3的同时，对红外图像的亮度进行阈值分割，将小于预设阈值的亮度置0，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物；步骤5，若视差图和红外图像中均无障碍物，则判定为无障碍物并返回步骤1；步骤6，若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤7，若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；步骤8，若视差图和红外图像中均存在障碍物，则分别按照步骤6、7分别得到障碍物区域，利用色调直方图判断二者是否重合；步骤9，若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计算其与车辆的距离；并提醒驾驶人障碍物的距离，当障碍物的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。2.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，步骤1所述利用双目摄像机实时获取车辆前进方向上的图像的具体做法为：将双目摄像机对称安装在车辆头部左右两侧，且双目摄像机的朝向与车辆前进方向平行，通过预先标定得到的双目摄像机内外参数矩阵将实时获取到的左右两幅图像矫正为无畸变且行对准的两幅图像。3.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，步骤1所述利用红外摄像机实时获取车辆前进方向上的红外图像的具体做法为：将红外摄像机安装在双目摄像机的正中位置，并向上扬起，与车辆前进方向的夹角为10°。4.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，所述步骤2的具体做法为：将视差图的最左边和最右边各裁剪掉原图像的1/5，得到裁剪后的视差图，将裁剪后的视差图最下边裁掉自身的1/5，得到新的视差图，设定分割阈值t，将视差值大于等于t的归类为属于障碍物的视差值，将视差值小于t的归类为属于背景的视差值，阈值t的求解方式为：设定N0,N1,…,N255分别为新的视差图中视差值等于0,1,…,255的像素点的数目，阈值t通过最大化G的值可以得到，其中，...

【专利技术属性】
技术研发人员：张天翼，杨忠，韩家明，胡国雄，宋佳蓉，朱家远，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32