一种基于双目视觉的车前行人检测与人车距离获取方法技术

一种基于双目视觉的车前行人检测与人车距离获取方法，属于双目视觉图像处理领域。现有车前行人检测速度慢。一种基于双目视觉的车前行人检测与人车距离获取方法，安装设置摄像头并进行双目摄像头的标定，获得摄像机的参数：摄像头的焦距和双目摄像头的距离的信息；在标定了双目摄像头之后，对双目摄像头采集的图像进行校正、以及包括去噪的图像预处理过程；在图像预处理过程之后，将多层特征融合到原始的SSD网络中，检测车前行人信息，SSD是指Single Shot MultiBox Detector，表示基于回归的目标检测与识别方法；对SSD算法检测的行人信息进行立体匹配过程；对立体匹配过程后的图像信息，通过三角测量计算人车之间的距离。本发明专利技术可达到实时测距的效果。

A Method of Pedestrian Detection and Vehicle Distance Acquisition in Front of Vehicle Based on Binocular Vision

【技术实现步骤摘要】
一种基于双目视觉的车前行人检测与人车距离获取方法
本专利技术涉及一种基于双目视觉的车前行人检测与人车距离获取方法。
技术介绍
目前，虽然有多种被动安全技术(如安全带、安全气囊、吸能车体等)可适当降低交通事故所带来损失，但仍不能从本质上降低交通事故引发率，虽然可以起到对驾驶员的保护，但无法减少对行人等弱势群体的伤害。因此，汽车主动安全技术受到业界的高度重视，它可以最大程度地保护各类生命和财产的安全。当前，作为主动安全技术的主流，高级辅助驾驶系统广泛应用于各类智能车辆当中，且已得到业界高度关注。高级辅助驾驶系统和智能车辆的目的是尽可能降低驾驶员工作时的压力和强度，使其不必过度集中精力都能及时有效地感知的周边驾驶环境，并在危险出现时及时提醒驾驶员或者自动控制车辆，以避免或者减轻交通事故的发生，从而提高车辆的行驶安全。作为高级辅助驾驶系统和智能车辆的重要内容，行人检测可有效提醒驾驶员或自动对潜在交通事故做出及时反应，从而避免交通事故的发生以及给行人造成的伤害。早在1982年，Hoffman等人在研究生物运动的视觉计算机理论时，假定运用的目标可以被检测出来，之后再对目标进行分类识别。在2000年，行人检测还只是在系统中处于预处理阶段，并未得到足够的重视，直到2005年，行人检测才步入了快速发展的时期。行人检测主要分为以下第四种方法：第一种是基于立体视觉的方法；第二种是基于人体部位的方法；第三种是基于统计学习的方法。第四种是基于深度学习的方法。车前行人检测作为行人检测的一个重要分支，在车辆辅助驾驶系统、无人驾驶、智能交通领域得到了广泛应用。但现有技术存在车前行人检测速度慢的问题。
技术实现思路
本专利技术的目的是为了解决现有技术存在车前行人检测速度慢的问题，而提出一种基于双目立体视觉的车前行人检测与人车距离获取方法。一种基于双目视觉的车前行人检测与人车距离获取方法，所述的检测与人车距离获取方法通过以下步骤实现：步骤一、安装设置摄像头并进行双目摄像头的标定，获得摄像机的参数：摄像头的焦距和双目摄像头的距离的信息；步骤二、在标定了双目摄像头之后，对双目摄像头采集的图像进行校正、以及包括去噪的图像预处理过程；步骤三、在图像预处理过程之后，将多层特征融合到原始的SSD网络中，检测车前行人信息；SSD是指SingleShotMultiBoxDetector，表示基于回归的目标检测与识别方法；步骤四、对SSD算法检测的行人信息进行立体匹配过程；步骤五、对立体匹配过程后的图像信息，通过三角测量计算人车之间的距离。本专利技术的有益效果为：驾驶员在遇到紧急情况时，反应好的驾驶员一般的反应时间在0.4-0.6s之间，驾驶员受危急惊吓时反应时间大多会大于1s,如果产生把油门当刹车踩的错误，反应时间在1.5s以内。当汽车以50km/h的速度行驶时，反应快的驾驶员在6-7m左右可以做出正确的判断，并采取相应的动作。反应慢的驾驶员则需要在12-14m以上才能做出正确的判断和动作，此时事故往往已经发生了。本课题的研究目标是在1秒钟的时间内检测出行人并计算出人车的距离，同时车开始减速直至停止。附图说明图1为本专利技术的流程图；图2为本专利技术涉及的双目摄像头安装示意图；具体实施方式具体实施方式一：本实施方式的一种基于双目视觉的车前行人检测与人车距离获取方法，如图1所示，所述的检测与人车距离获取方法通过以下步骤实现：步骤一、安装设置摄像头并进行双目摄像头的标定，获得摄像机的参数：摄像头的焦距和双目摄像头的距离的信息；步骤二、在标定了双目摄像头之后，对双目摄像头采集的图像进行校正、以及包括去噪的图像预处理过程；步骤三、在图像预处理过程之后，将多层特征融合到原始的SSD网络中，检测车前行人信息，使得远距离目标的特征更加丰富，从而提高该算法对远距离行人的检测精度；保证实时检测的前提，并提高远距离小目标行人的检测率；SSD是指SingleShotMultiBoxDetector，表示基于回归的目标检测与识别方法；步骤四、对SSD算法检测的行人信息进行立体匹配过程；步骤五、对立体匹配过程后的图像信息，通过三角测量计算人车之间的距离。具体实施方式二：与具体实施方式一不同的是，本实施方式的基于双目视觉的车前行人检测与人车距离获取方法，步骤一所述的进行双目摄像头的标定的过程为：两个完全相同的摄像头放置的位置如图2所示。其中左摄像头的透视中心为Ocl，右摄像头为Ocr，两个摄像头的光轴分别是Zcl和Zcr且两者是互相平行，而且两摄像机的内部参数相同。基线是Ocl和Ocr之间的连线，其长度为d。世界坐标系原点Ow定义为置于基线的中间点，那么世界坐标系中的Xw与左摄像头中的Xcl重合。Xl和Xr分别是双目视觉中的左右摄像机成像平面坐标系。在世界坐标系中，空间点P位置为(Xw,Yw,Zw),相同的在左摄像坐标系为(xcl,ycl,zcl)，右摄像机坐标系为(xcr,ycr,zcr)。点P在左摄像的成像点Pl(xl,yl)在右摄像机成像点为Pr(xr,yr)。由于左右摄像机是完全一致的型号，即两个摄像机内参数是一致的，所以焦距fl和fr是相等的，用f代表。那么Pl和Pl在世界坐标的转化公式为：可得深度距离zw的计算公式为：式中：xl-xr为基线方向上Pl和Pr之间的距离。在双目视觉中，令d＝xl-xr这就是目标点P的视差值。因此，在上述公式中，可以得知在两个摄像机的位置不变的条件下，目标视差与其深度距离zw是成反比关系。通常是视差值越小，物体距离摄像机的镜头就越远。双目视觉系统的基本原理是分析的左右图像的同一特征点，并计算出图像中成像点的关系，进而得到目标点的三维坐标。因此，为了达到双目视觉的应用目的。第一步就是要得到摄像机的参数，这主要有摄像头的焦距，双目摄像头的距离。一般来说，在同一场景下，多次的测试实验可以得到精度更高的参数。计算机视觉中，对摄像机进行标定是整个双目系统的基础，也是立体视觉最为关键的一步。相机的标定就是确定摄像机的成像几何模型和相机参数，前者是指成像点在成像面的坐标与实际目标之间的关系。后者是指摄像头的内参数和外参数。内参数是由相机型号决定，它是摄像头的内在光学属性。外参数一般是指相机在不同坐标系的相对关系。标定的精度将影响到摄像机模型参数以及成像结果，这就进而影响到双目视觉系统的目标的识别与跟踪的最终结果。根据相机标定中所选做的参照物的不同，目前用于摄像头标定较多的是张氏平面标定方法，它是张正友提出的，将黑白棋盘方格图作为参作物，通过棋盘上的角点作为特征进行提取，完成标定得到相机参数。这种方法与传统标定方法相比而言，不受设备的约束、易于操作。从实验结果来看，张正友提出的棋盘标定法精度更高，更适合应用在机器视觉的标定领域。其算法的标定流程如图1所示。采用张氏平面标定方法进行双目摄像头的标定。具体实施方式三：与具体实施方式二不同的是，本实施方式的基于双目视觉的车前行人检测与人车距离获取方法，步骤三所述的通过SSD算法检测车前行人信息的过程，具体为：首先，通过深度神经网络提取整个输入图片的深度特征；其次，针对不同尺度的深度特征图设计不同大小的特征抓取盒，将这些盒与真实目标边框相匹配用来训练；再次，通过提取这些特征抓取盒对应的深度特征图的特征来预测盒中目标类别以及目本文档来自技高网...

【技术保护点】
1.一种基于双目视觉的车前行人检测与人车距离获取方法，其特征在于：所述的检测与人车距离获取方法通过以下步骤实现：步骤一、安装设置摄像头并进行双目摄像头的标定，获得摄像机的参数：摄像头的焦距和双目摄像头的距离的信息；步骤二、在标定了双目摄像头之后，对双目摄像头采集的图像进行校正、以及包括去噪的图像预处理过程；步骤三、在图像预处理过程之后，将多层特征融合到原始的SSD网络中，检测车前行人信息；SSD是指Single Shot MultiBox Detector，表示基于回归的目标检测与识别方法；步骤四、对SSD算法检测的行人信息进行立体匹配过程；步骤五、对立体匹配过程后的图像信息，通过三角测量计算人车之间的距离。

【技术特征摘要】
1.一种基于双目视觉的车前行人检测与人车距离获取方法，其特征在于：所述的检测与人车距离获取方法通过以下步骤实现：步骤一、安装设置摄像头并进行双目摄像头的标定，获得摄像机的参数：摄像头的焦距和双目摄像头的距离的信息；步骤二、在标定了双目摄像头之后，对双目摄像头采集的图像进行校正、以及包括去噪的图像预处理过程；步骤三、在图像预处理过程之后，将多层特征融合到原始的SSD网络中，检测车前行人信息；SSD是指SingleShotMultiBoxDetector，表示基于回归的目标检测与识别方法；步骤四、对SSD算法检测的行人信息进行立体匹配过程；步骤五、对立体匹配过程后的图像信息，通过三角测量计算人车之间的距离。2.根据权利要求1所述的基于双目视觉的车前行人检测与人车距离获取方法，其特征在于：步骤一所述的进行双目摄像头的标定的过程为：相机的标定就是确定摄像机的成像几何模型和相机参数，成像几何模型是指成像点在成像面的坐标与实际目标之间的关系；相机参数是指摄像头的内参数和外参数，内参数是由相机型号决定，是摄像头的内在光学属性，外参数一般是指相机在不同坐标系的相对关系；采用张氏平面标定方法进行双目摄像头的标定。3.根据...

【专利技术属性】
技术研发人员：杨玲，秦爱景，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23