基于双目立体视觉的汽车防碰撞预警方法和系统技术方案

基于立体视觉的汽车防碰撞预警方法和系统，包括：由车身上搭载的双目摄像头得到视差图；从视差图得到V视差图；对V视差图二值化；使用RANSAC方法来从V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；以及通过所提取的直线得到原灰度图像中的可行驶区域；计算出属于地面的点在真实世界坐标系中的三维坐标，使用RANSAC来拟合地面平面模型；将整个场景由相机坐标转换到世界坐标，时生成平面图，由平面图求取占据地图；从占据地图中分割得到每个障碍物的位置，并通过视差图来计算障碍物到本车的距离；当前车距离小于一定阈值时进行报警或者进一步决策。适应各种路面和路况，对视差图精度要求低、不依赖数据和人工设计特征所带来的影响。

Vehicle collision avoidance early warning method and system based on binocular stereo vision

The vehicle anti-collision warning method and system based on stereoscopic vision include the parallax graph obtained by the binocular camera on the body; the parallax diagram of the V is obtained from the parallax graph; the V parallax diagram is two valued; the RANSAC method is used to fit the piecewise line from the point of the V parallax map; and the straight line is filtered according to the multi frame image; and Get the moving area in the original gray image through the extracted line; calculate the three-dimensional coordinates of the ground point in the real world coordinate system, use RANSAC to fit the ground plane model; transform the whole scene from the camera coordinates to the world coordinates, generate the plane map and occupy the map by the plane map; from occupying The location of each obstacle is segmented in the map, and the distance between the obstacles and the car is calculated by the parallax diagram; the current car distance is less than a certain threshold and makes the alarm or further decision. To adapt to various roads and road conditions, the accuracy of parallax map is low, and the influence of data and artificial design features does not depend on it.

【技术实现步骤摘要】
【国外来华专利技术】基于双目立体视觉的汽车防碰撞预警方法和系统
本专利技术总体地涉及汽车自动驾驶技术，更具体地涉及基于双目立体视觉的汽车防碰撞技术。
技术介绍
精确实时的防碰撞预警有重要的应用意义，尤其是在辅助驾驶安全警示和自动驾驶的自动控制中起到决定性作用，比如在自动驾驶中，防碰撞预警可以尽可能多地减少事故，避免人身和财产损失；在自动驾驶中，防碰撞预警越精确，安全性越高。目前，对于防碰撞预警方法主要有，一是基于激光雷达传感器或毫米波雷达，首先进行标定，对低于一定阈值的区域判断为地面，该方法所需激光雷达成本很高，很难普及使用，毫米波精度远没有激光雷达高；二是利用单目彩色摄像头，通过机器学习和计算机视觉的方法来检测前方障碍物，该方法严重依赖于训练的样本和人工设计的特征，可行驶区域千差万别，遇到训练样本中不存在的情况则检测不出来，扩展性、通用性不强，另一方面，单目相机无法准确地获取深度信息，得到的结果往往不符合真实场景，最后该方法实时性也难以保障。近年来，已经提出了一些基于机器视觉(包括单目视觉和立体视觉)的汽车安全驾驶技术。专利文献1CN101135558B公开了一种基于机器视觉的汽车防撞预警技术，其中采用机器视觉的方法采集前方车辆车牌特征以及车道线信息，根据其前方车辆车牌在机器视觉的投影成像像素点的多少大小，进行与前方车辆距离的计算，结合本车的车速、转向等状态信息计算出前车的行驶状态，根据本车与车道线边界的相对距离，判断是否行驶在安全的车道范围之内等。专利文献1用机器学习的方法进行检测，严重依赖于训练的样本和人工设计的特征，行驶中遇到的场景区域千差万别，遇到训练样本中不存在的情况则检测不出来，扩展性、通用性不强；另一方面，单目相机无法准确地获取深度信息和速度信息，得到的结果往往不符合真实场景；最后该方法实时性也难以保障。专利文献2CN102685516A公开了一种基于立体视觉技术的主动安全式辅助驾驶方法。该主动安全式辅助驾驶系统综合利用光机电信息技术，由立体视觉子系统、图像快速处理子系统以及安全辅助驾驶子系统组成，包括两台高分辨率CCD摄像机、环境光照度传感器、双通道视频采集卡、同步控制器、数据传输电路、供电电路、图像快速处理算法库、语音提醒模块、屏幕显示模块以及主动安全驾驶控制模块等。在各种天气条件下，实时识别分道线、前方车辆、自行车、行人等危险目标的相对距离、相对速度和相对加速度等参数，通过语音提示驾驶员采取的应对措施，危急情况下实现自动减速和紧急刹车，全天候地保证行车安全。专利文献2也用基于机器学习的识别的方法进行检测，严重依赖于训练的样本和人工设计的特征，行驶中遇到的场景区域千差万别，遇到训练样本中不存在的情况则检测不出来，扩展性、通用性不强，但在距离计算上通过双目可以达到较精确的结果。需要通用性更强、实时性更强、对训练数据和人工设计特征依赖小的基于机器视觉的汽车防碰撞预警技术。
技术实现思路
鉴于以上情况，提出了本专利技术。根据本专利技术的一个方面，提供了一种基于双目立体视觉的汽车防碰撞预警方法，可以包括：通过汽车车身上搭载的双目摄像头拍摄得到沿汽车行进方向的汽车前方的左右两张灰度图像，计算得到视差图；从视差图转换得到V视差图；对V视差图进行二值化；使用RANSAC方法来从二值化后的V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；以及通过所提取的直线得到原灰度图像中的可行驶区域；根据原始图像和视差图，计算出属于地面的点在真实世界坐标系中的三维坐标，假设地面为平面模型，使用RANSAC来拟合该平面，得到地面模型；将原始灰度图像中的整个场景由相机坐标转换到世界坐标，同时生成平面图，由平面图求取占据地图；从占据地图中通过连通域标记检测算法分割得到每个障碍物的位置，并转换到原始图像中标记出来，并通过视差图来计算障碍物到本车的距离；当前车距离小于一定阈值时进行报警或者传入决策模块参与决策。根据上述的汽车防碰撞预警方法，由平面图求取占据地图可以包括：首先依据各个点的世界坐标，将高于地面第一阈值高度的点抽取出来，将这些点转换到地面坐标系中；将高于第一阈值高度并低于第二阈值高度的点在占据地图中标出；占据地图中每个像素的值是其相应点的高度累加和，由此得到占据地图。根据上述汽车防碰撞预警方法，所述从占据地图中通过连通域标记检测算法分割得到每个障碍物的位置可以包括：根据占据地图中每个像素值的大小将其转换为彩色带有标记的图像，使得像素值越大越偏向红色，像素值越小越偏向于蓝色，通过连通域标记检测算法分割出不同的物体，由此得到每个障碍物的位置。根据上述的汽车防碰撞预警方法,其中，所述对V视差图进行二值化可以包括：求取每一行像素值的最大值，将每一行中仅最大值所处像素的灰度值设置为255，其余像素灰度值设置为0。根据上述汽车防碰撞预警方法，使用RANSAC方法来拟合一段分段直线可以包括：反复执行下述操作序列，直至达到预定结束标准：选择V视差图中的最大值点中的一组随机子集来进行直线拟合，得到直线模型；用得到的直线模型去测试所有的其它数据，如果某个点适用于估计的直线模型，认为它也是局内点，如果有超出预定数目的点被归类为局内点，那么估计的模型就认为是合理的，然后用所有局内点重新估计模型，并估计局内点与模型的错误率；如果模型的错误率低于当前最好的模型，则用该模型替代当前最好的模型；以最后得到的最好的模型作为该段分段直线。根据上述汽车防碰撞预警方法，所述使用RANSAC方法来拟合多段分段直线可以包括：首先按照上述方法来提取第一条直线，提取完毕后，将属于第一直线的点从V视差图中去除，然后针对剩下的点按照权利要求5所述的方法来提取第二条直线，如此反复下去，直到剩余的点的数目小于预定阈值。根据上述汽车防碰撞预警方法，所述根据多帧图像平滑滤波直线可以包括：设定一个时间窗口，假设直线模型表示为ax+by+c＝0，对每帧图像得到直线模型参数，针对每个参数对每帧进行累加，当每来一帧新的图像，从累加的参数结果中减去最开始一帧图像的直线模型参数，再加上当前帧图像的直线模型参数，再求平均作为这一帧的直线模型参数。根据上述汽车防碰撞预警方法，所述通过所提取的直线得到原灰度图像中的可行驶区域包括：针对V视差图中的每一行，选取提取的直线上的视差值为d的点，在视差图对应的行中，比较每一个像素的视差值和d的差值，当差值小于一定阈值时，则将原图对应位置判定为安全的可行驶区域。根据本专利技术的另一方面，提供了一种基于双目立体视觉的汽车防碰撞预警系统，可以包括：双目摄像头，持续拍摄得到沿汽车行驶方向的汽车前方的左右两张灰度图像；计算装置，包括存储器、处理器、通信接口、总线，存储器、通信接口和处理器都连接到总线，存储器中存储有计算机可执行指令，计算装置经由通信接口能够获得双目摄像头拍摄得到的左右两张灰度图像，当处理器执行所述计算机可执行指令时，执行下述方法：基于左右两张灰度图像，计算得到视差图；从视差图转换得到V视差图；对V视差图进行二值化；使用RANSAC方法来来从二值化后的V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；通过所提取的直线得到原灰度图像中的可行驶区域；根据原始图像和视差图，计算出属于地面的点在真实世界坐标系中的三维坐标，假设地面为平面模型，使用RANSAC来本文档来自技高网...

【技术保护点】
1.一种基于双目立体视觉的汽车防碰撞预警方法，包括：通过汽车车身上搭载的双目摄像头拍摄得到沿汽车行进方向的汽车前方的左右两张灰度图像，计算得到视差图；从视差图转换得到V视差图；对V视差图进行二值化；使用RANSAC方法来从二值化后的V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；以及通过所提取的直线得到原灰度图像中的可行驶区域；根据原始图像和视差图，计算出属于地面的点在真实世界坐标系中的三维坐标，假设地面为平面模型，使用RANSAC来拟合该平面，得到地面模型；将原始灰度图像中的整个场景由相机坐标转换到世界坐标，同时生成平面图，由平面图求取占据地图；从占据地图中通过连通域标记检测算法分割得到每个障碍物的位置，并转换到原始图像中标记出来，并通过视差图来计算障碍物到本车的距离；当前车距离小于一定阈值时进行报警或者传入决策模块参与决策。

【技术特征摘要】
【国外来华专利技术】1.一种基于双目立体视觉的汽车防碰撞预警方法，包括：通过汽车车身上搭载的双目摄像头拍摄得到沿汽车行进方向的汽车前方的左右两张灰度图像，计算得到视差图；从视差图转换得到V视差图；对V视差图进行二值化；使用RANSAC方法来从二值化后的V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；以及通过所提取的直线得到原灰度图像中的可行驶区域；根据原始图像和视差图，计算出属于地面的点在真实世界坐标系中的三维坐标，假设地面为平面模型，使用RANSAC来拟合该平面，得到地面模型；将原始灰度图像中的整个场景由相机坐标转换到世界坐标，同时生成平面图，由平面图求取占据地图；从占据地图中通过连通域标记检测算法分割得到每个障碍物的位置，并转换到原始图像中标记出来，并通过视差图来计算障碍物到本车的距离；当前车距离小于一定阈值时进行报警或者传入决策模块参与决策。2.根据权利要求1的汽车防碰撞预警方法，由平面图求取占据地图包括：首先依据各个点的世界坐标，将高于地面第一阈值高度的点抽取出来，将这些点转换到地面坐标系中；将高于第一阈值高度并低于第二阈值高度的点在占据地图中标出；占据地图中每个像素的值是其相应点的高度累加和，由此得到占据地图。3.根据权利要求1的汽车防碰撞预警方法，所述从占据地图中通过连通域标记检测算法分割得到每个障碍物的位置包括：根据占据地图中每个像素值的大小将其转换为彩色带有标记的图像，使得像素值越大越偏向红色，像素值越小越偏向于蓝色，通过连通域标记检测算法分割出不同的物体，由此得到每个障碍物的位置。4.根据权利要求1的汽车防碰撞预警方法,其中，所述对V视差图进行二值化包括：求取每一行像素值的最大值，将每一行中仅最大值所处像素的灰度值设置为255，其余像素灰度值设置为0。5.根据权利要求1的汽车防碰撞预警方法，使用RANSAC方法来拟合一段分段直线包括：反复执行下述操作序列，直至达到预定结束标准：选择V视差图中的最大值点中的一组随机子集来进行直线拟合，得到直线模型；用得到的直线模型去测试所有的其它数据，如果某个点适用于估计的直线模型，认为它也是局内点，如果有超出预定数目的点被归类为局内点，那么估计的模型就认为是合理的，然后用所有局内点重新估计模型，并估计局内点与模型的错误率；如果模型的错误率低于当前最好的模型，则用该模型替代当前最好的模型；以最后得到的最好的模型作为该段分段直线。6.根据权利要求5的汽车防碰撞预警方法，所述使用RANSAC方法来拟合多段分段直线包括：首先按照权利要求5所述的方法来提取第一条直线，提取完毕后，将属于第一直线的点从V视差图中去除，然后针对剩下的点按照权利要求5所述的方法来提取第二条直线，如此反复下去，直到剩余的点的数目小于预定阈值。7.根据权利要求1的汽车防碰撞预警方法，所述根据多帧图像平滑滤波直线包括：设定一个时间窗口，假设直线模型表示为ax+by+c＝0，对每帧图像得到直线模型参数，针对每个参数对每帧进行累加，当每来一帧新的图像，从累加的参数结果中减去最开始一帧图像的直线模型参数，再加上当前帧图像的直线模型参数，再求平均作为这一帧的直线模型参数。8.根据权利要求1到7任一项的汽车防碰撞预警方法，所述通过所提取的直线得到原灰度图像中的可行驶区域包括：针对V视差图中的每一行，选取提取的直线上的视差值为d的点，在视差图对应的行中，比较每一个像素的视差值和d的差值，当差值小于一定阈值时，则将原图对应位置判定为安全的可行驶区域。9.一种基于双目立体视觉的汽车防碰撞预警系统，包括：双目摄像头，持续拍摄得到沿汽车行驶方向的汽车前方的左右两张灰度图像；计算装置，包括存储器、处理器、通信接口、总线，存储器、通信接口和处理器都连接到总线，存储器中存储有计算机可执行指令，计算装置经由通信接口能够获得双目摄像头拍摄得到的左右两张灰度图像，当处理器执行所述计算机可执行指令时，执行下述方法：基于左右两张灰度图像，计算得到视差图；从视差图转换得到V视差图；对V视差图进行二值化；使用RANSAC方法来来从二值化后的V视差图的点中拟合得到分段直线；根据多帧图像平滑滤波直线；通过所提取的直线得到原灰...

【专利技术属性】
技术研发人员：李斌，赵勇，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11