基于双目识别的障碍物检测方法、系统、设备及存储介质技术方案

本发明专利技术提供了基于双目识别的障碍物检测方法、系统、设备及存储介质，该方法包括以下步骤：使用双目摄像装置拍摄防撞区域的彩色图像，根据左图像和右图像计算视差矩阵和三维点云，基于左图像与视差矩阵得到三维矩阵，将三维矩阵进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物标识；基于左图像中每个像素点与三维点云的映射关系，将三维点云的每个点标示代表障碍物种类的障碍物标识；获得双目摄像装置与地面之间的夹角，将三维点云的每个点投影为俯视图，在俯视图中获得障碍物的位置以及障碍物种类。本发明专利技术能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。

【技术实现步骤摘要】
基于双目识别的障碍物检测方法、系统、设备及存储介质
本专利技术涉及传感器识别领域，具体地说，涉及用于行车场景下的基于双目识别的障碍物检测方法、系统、设备及存储介质。
技术介绍
近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。尤其是，精确实时的防碰撞预警有重要的应用意义，尤其是在辅助驾驶安全警示和自动驾驶的自动控制中起到决定性作用，比如在自动驾驶中，防碰撞预警可以尽可能多地减少事故，避免人身和财产损失；在自动驾驶中，防碰撞预警越精确，安全性越高。目前，对于防碰撞预警方法主要有，一是基于激光雷达传感器或毫米波雷达，首先进行标定，对低于一定阈值的区域判断为地面，该方法所需激光雷达成本很高，很难普及使用，毫米波精度远没有激光雷达高；二是利用单目彩色摄像头，通过机器学习和计算机视觉的方法来检测前方障碍物，该方法严重依赖于训练的样本和人工设计的特征，可行驶区域千差万别，遇到训练样本中不存在的情况则检测不出来，扩展性、通用性不强，另一方面，单目相机无法准确地获取深度信息，得到的结果往往不符合真实场景，最后该方法实时性也难以保障。r>因此，本专利技术提供了一种基于双目识别的障碍物检测方法、系统、设备及存储介质。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供基于双目识别的障碍物检测方法、系统、设备及存储介质，克服了现有技术的困难，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。本专利技术的实施例提供一种基于双目识别的障碍物检测方法，包括以下步骤：S110、使用双目摄像装置拍摄防撞区域的彩色图像；S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；S130、基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；S140、基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；S105、根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；以及S106、根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；S107、在所述俯视图中获得障碍物的位置以及障碍物种类。优选地，所述步骤S120包括以下步骤：S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。优选地，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。优选地，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。优选地，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。优选地，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]。统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。优选地，在所述步骤S110中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。优选地，所述步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：Za＝fba/d；Xa＝(Za×(u-cx))/f；Ya＝(Za×(v-cy))/f；其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为深度值，u，v为像素的横纵坐标，cx，cy为中心点。优选地，所述步骤S130中，所述三维矩阵中的每个点的等于该像素点在左图像中的横坐标xc，第二维等于该像素点在左图像中的纵坐标yc，第三维是像素点的颜色RGB值与深度值D的组合参数(R，G，B，D)。优选地，所述步骤S150中包括以下步骤：S151、使用视差图构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：其中k为直线的斜率，xb，yb分别是深度值与图像的行数；S152、将地面表现为行数与深度值的线性方程：yb＝kxb+b；S153、所述夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(本文档来自技高网...

【技术保护点】
1.一种基于双目识别的障碍物检测方法，其特征在于，包括以下步骤：/nS110、使用双目摄像装置拍摄防撞区域的彩色图像；/nS120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；/nS130、基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；/nS140、基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；/nS105、根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；以及/nS106、根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；/nS107、在所述俯视图中获得障碍物的位置以及障碍物种类。/n

【技术特征摘要】
1.一种基于双目识别的障碍物检测方法，其特征在于，包括以下步骤：
S110、使用双目摄像装置拍摄防撞区域的彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；
S130、基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；
S140、基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；
S105、根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；以及
S106、根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；
S107、在所述俯视图中获得障碍物的位置以及障碍物种类。


2.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；
S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；
S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及
S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。


3.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：



其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。


4.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；
将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。


5.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。


6.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：



其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]；
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。


7.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，在所述步骤S110中通过...

【专利技术属性】
技术研发人员：谭黎敏，顾荣琦，刘若晨，
申请(专利权)人：上海西井信息科技有限公司，
类型：发明
国别省市：上海;31