基于纵向双目视觉的车用障碍物检测方法技术

本发明专利技术涉及一种无人驾驶车用障碍物检测方法，具体涉及一种基于纵向双目视觉的车用障碍物检测方法，包括：一、相机选择与安装；二、相机内、外部参数的获取与保存；三、图像采集；四、图像特征点检测与匹配；五、障碍物判定。本发明专利技术前置相机和后置相机选择同种型号的单目摄像机，规格参数完全一致，检测障碍物的成本较低，前置相机和后置相机用于采集障碍物图像，并通过USB接口将图像传输给障碍物特征点匹配模块进行处理，最后障碍物判定模块计算匹配好的各对特征点的距离指标以判断是否存在立体障碍物，解决了其他的基于双目视觉的障碍物检测方法不能直接判断特征点所对应的物点是否具有高度的缺陷，使无人驾驶更为安全可靠。

Vehicle Obstacle Detection Method Based on Longitudinal Binocular Vision

【技术实现步骤摘要】
基于纵向双目视觉的车用障碍物检测方法
本专利技术涉及一种无人驾驶车用障碍物检测方法，具体涉及一种基于纵向双目视觉的车用障碍物检测方法。
技术介绍
现有的车用障碍物检测方法及系统主要基于系统激光雷达、毫米波雷达或双目视觉技术。公开号为CN105866790A的中国专利提出了一种用激光雷达识别障碍物方法；公开号为CN104899855A的中国专利提出了一种基于双目摄像头系统和三维激光雷达的三维障碍物检测方法；公开号为CN103411536A的中国专利提出了一种环境感知识别障碍物的方法，该方法在两个CCD摄像机采集图像的畸变校正过程中加入了切向畸变校正，进一步有效的提高图像坐标获取的准确性，同时在立体障碍物匹配的过程中加入了极线约束条件，缩小了特征点匹配范围，减少了立体匹配过程的计算量，提高了立体特征匹配的匹配精度；公开号为CN101852609A的中国专利公开了一种基于机器人双目立体视觉的地面障碍物检测方法，采用双目立体视觉传感器识别障碍物，该专利根据双目的基线长度和焦距，利用已知图像的几何构形解析出图像中各行的地面视差值；在地面视差值的基础上，通过反投影模型计算出某像素对应场景点的三维坐标，从而初步判断该像素属于障碍物或是地面点。上述技术虽然能判断出障碍物，但是激光、雷达等传感器成本高，已有双目视觉检测障碍物技术不能直接判断出特征点所对应的物点是否具有高度。
技术实现思路
为解决上述技术问题，本专利技术的目的在于：提供一种基于纵向双目视觉的车用障碍物检测方法，可判断特征点所对应的物点是否具有高度，从而判断物点是否属于立体障碍物，使无人驾驶更为安全可靠。本专利技术为解决其技术问题所采用的技术方案为：所述基于纵向双目视觉的车用障碍物检测方法，包括以下步骤：步骤一、相机选择与安装：在汽车发动机舱盖上安装前置相机，在汽车前挡风玻璃后方安装后置相机；步骤二、相机参数的获取与保存：获取并保存前置相机和后置相机内部参数及外部参数；步骤三、图像采集：前置相机和后置相机同时对障碍物进行图像采集，保存图像信息并发送至障碍物特征点匹配模块；步骤四、图像特征点检测与匹配：障碍物特征点匹配模块检测并匹配同一时刻前置相机所采集图像中的特征点和后置相机所采集图像中的特征点，标记前、后置相机同一时刻的特征点为一对特征点；步骤五、障碍物判定：障碍物判定模块计算匹配后各对特征点的距离指标，并根据距离指标判断特征点所对应的物点是否属于立体障碍物。前置相机和后置相机选择同种型号的单目摄像机，规格参数完全一致，前置相机和后置相机用于采集障碍物图像，并通过USB接口将图像传输给障碍物特征点匹配模块进行处理，最后障碍物判定模块计算匹配好的各对特征点的距离指标以判断是否存在立体障碍物。其中，优选方案为：步骤一前、后置相机的安装方式为：所述前置相机与后置相机纵向安装在同一条直线上，前置相机镜头轴线与地面和汽车中轴线平行，后置相机安装方向与前置相机安装方机安装方向为使镜头俯仰角度为0度时，镜向一致。步骤二所述前置相机和后置相机的相机内部参数包括相机分辨率、帧率和视差角度；步骤二所述前置相机和后置相机的外部参数包括前置相机安装高度h1、后置相机安装高度h2、前置相机与后置相机安装时纵向水平距离△d、前/后置相机焦距f、前置相机俯仰角θ1、后置相机俯仰角θ2、前/后置相机像元尺寸μ。步骤四中每对特征点的检测采用Harris角点判别法，利用水平、垂直差分算子对前置相机拍摄图像每个像素点和后置相机拍摄图像每个像素点进行滤波以求取水平梯度，假设前置相机拍摄图像当前分析的像素点坐标(x,y)，假设后置相机当前分析的像素点坐标(u,v)，计算像素点(x,y)在x方向和y方向的水平梯度Ix和Iy，计算像素点(u,v)在x方向和y方向的水平梯度Iu和Iv，Ix2，Iy2和IxIy分别为Ix和Iy之间的两两内积。Iu2，Iv2和IuIv分别为Iu和Iv之间的两两内积。首先建立M矩阵，对于像素点(x,y)和像素点(u,v)，矩阵M(x,y)和M(u,v)通过下述公式计算：由M矩阵的表达式可以看出，如果某一点的矩阵M特征值很大，那么在该点任意移动很小的距离，就会引起较大的灰度值的变化，说明该点是一个Harris角点。像素点(x,y)的Harris角点值c(x,y)即为矩阵M(x,y)的值与像素点在x方向和y方向的水平梯度Ix和Iy的和的比值，像素点(u,v)的Harris角点值c(u,v)即为矩阵M(u,v)的值与像素点在x方向和y方向的水平梯度Iu和Iv的和的比值，通过下式计算：当c(x,y)和c(u,v)的值大于给定的阈值时，则认为该像素点为一个Harris角点，每一个Harris角点与它所有的相邻点进行比较，与它同尺度的八个相邻点和上下相邻尺度对应的18个点共26个点比较，以确保在尺度空间和图像空间都检测到特征点，一个Harris角点若在26个点中是最大或者最小，则该角点为一个特征点。步骤四中每对特征点匹配采用直方图比较匹配算法，具体过程为：检测并匹配到某时刻前置相机所采集图像中的特征点和后置相机所采集图像中的特征点共计n对，n为正整数，前置相机所采集图像特征点记为Pi，i＝1,2,…,n，后置相机所采集图像特征点记为Qi，i＝1,2,…,n，HPi(k)，k＝0,1,2,...,L-1，表示特征点Pi的局部特征，HQi(k)，k＝0,1,2,...,L-1，表示特征点Qi的局部特征，L表示直方图的维度，直方图匹配D(Pi，Qi)由下式表示：当匹配距离D(Pi，Qi)小于其预设阈值时，认为两个特征点是匹配的，否则为不匹配。步骤五障碍物判定的计算过程为：步骤四中检测并匹配到某时刻前置相机所采集图像中的特征点和后置相机所采集图像中的特征点共计n对，n为正整数，定义第i对特征点的距离指标为li，i＝1,2,…,n，计算得到前置相机到第i对特征点所对应的物点的距离di，以及后置相机到第i对特征点所对应的物点的距离Ti，按照公式li＝|Ti-di-△d|，△d为前置相机与后置相机安装时纵向水平距离，计算第i对特征点的距离指标li，若第i对特征点的距离指标大于预设阈值，则判断第i对特征点所对应的物点具有高度，该物点属于立体障碍物，否则判断第i对特征点所对应的物点位于水平地面上，该物点不属于立体障碍物。所述前置相机到第i对特征点所对应的物点的距离di计算过程为：以前置相机采集图像左上角为原点建立以像素为单位的直角坐标系，将该直角坐标系作为前置相机所采集图像的图像坐标系，设前置相机采集图像的中点坐标为(x0,y0)，第i对特征点中前置相机所采集图像的特征点的坐标为(xi,yi)，按照公式计算前置相机到第i对特征点所对应的物点的距离di，上式中，h1为前置相机安装高度、f为前/后置相机焦距、θ1为前置相机俯仰角、μ为前/后置相机像元尺寸，前置相机和后置相机型号相同。所述后置相机到第i对特征点所对应的物点的距离Ti计算过程为：以后置相机采集图像左上角为原点建立以像素为单位的直角坐标系，将该直角坐标系作为后置相机所采集图像的图像坐标系，设后置相机采集图像的中点坐标为(u0,v0)，第i对特征点中后置相机所采集图像的特征点的坐标为(ui,vi)，按照公式计算后置相机到第i对特征点所对应的物点的距离本文档来自技高网...

【技术保护点】
1.一种基于纵向双目视觉的车用障碍物检测方法，其特征在于，包括以下步骤：步骤一、相机选择与安装：在汽车(1)发动机舱盖上安装前置相机(2)，在汽车(1)前挡风玻璃后方安装后置相机(3)；步骤二、相机参数的获取与保存：获取并保存前置相机(2)和后置相机(3)内部参数及外部参数；步骤三、图像采集：前置相机(2)和后置相机(3)同时对障碍物进行图像采集，保存图像信息并发送至障碍物特征点匹配模块；步骤四、图像特征点检测与匹配：障碍物特征点匹配模块检测并匹配同一时刻前置相机(2)所采集图像中的特征点和后置相机(3)所采集图像中的特征点，标记前、后置相机同一时刻的特征点为一对特征点；步骤五、障碍物判定：障碍物判定模块计算匹配后各对特征点的距离指标，并根据距离指标判断特征点所对应的物点是否属于立体障碍物。

【技术特征摘要】
1.一种基于纵向双目视觉的车用障碍物检测方法，其特征在于，包括以下步骤：步骤一、相机选择与安装：在汽车(1)发动机舱盖上安装前置相机(2)，在汽车(1)前挡风玻璃后方安装后置相机(3)；步骤二、相机参数的获取与保存：获取并保存前置相机(2)和后置相机(3)内部参数及外部参数；步骤三、图像采集：前置相机(2)和后置相机(3)同时对障碍物进行图像采集，保存图像信息并发送至障碍物特征点匹配模块；步骤四、图像特征点检测与匹配：障碍物特征点匹配模块检测并匹配同一时刻前置相机(2)所采集图像中的特征点和后置相机(3)所采集图像中的特征点，标记前、后置相机同一时刻的特征点为一对特征点；步骤五、障碍物判定：障碍物判定模块计算匹配后各对特征点的距离指标，并根据距离指标判断特征点所对应的物点是否属于立体障碍物。2.根据权利要求1所述的基于纵向双目视觉的车用障碍物检测方法，其特征在于，步骤一前、后置相机的安装方式为：所述前置相机(2)与后置相机(3)纵向安装在同一条直线上，前置相机(2)镜头轴线与地面和汽车(1)中轴线平行，后置相机(3)安装方向与前置相机(2)安装方机安装方向为使镜头俯仰角度为0度时，镜向一致。3.根据权利要求1所述的基于纵向双目视觉的车用障碍物检测方法，其特征在于，步骤二所述前置相机(2)和后置相机(3)的相机内部参数包括相机分辨率、帧率和视差角度；步骤二所述前置相机(2)和后置相机(3)的外部参数包括前置相机安装高度h1、后置相机安装高度h2、前置相机(2)与后置相机(3)安装时纵向水平距离△d、前/后置相机焦距f、前置相机俯仰角θ1、后置相机俯仰角θ2、前/后置相机像元尺寸μ。4.根据权利要求1所述的基于纵向双目视觉的车用障碍物检测方法，其特征在于，步骤四中每对特征点的检测采用Harris角点判别法。5.根据权利要求1所述的基于纵向双目视觉的车用障碍物检测方法，其特征在于，步骤四中每对特征点匹配采用直方图比较匹配算法，具体过程为：检测并匹配到某时刻前置相机(2)所采集图像中的特征点和后置相机(3)所采集图像中的特征点共计n对，n为正整数，前置相机(2)所采集图像特征点记为Pi，i＝1,2,…,n，后置相机(3)所采集图像特征点记为Qi，i＝1,2,…,n，HPi(k)，k＝0,1,2,...,L-1，表示特征点Pi的局部特征，HQi(k)，k＝0,1,2,...,L-1，表示特征点Qi的局部特征，L表示直方图的维度，直方图匹配D(Pi，Qi)由下式表示：当匹配距离D(Pi，Qi)小于其预设阈值时，认为两个特征点是匹配的，否则为不匹配。6.根据...

【专利技术属性】
技术研发人员：徐艺，马晓田，孙烨辉，桑晓青，宫晓彤，高善尚，
申请(专利权)人：山东理工大学，
类型：发明
国别省市：山东,37