一种基于双目视觉的地平面检测方法技术

本发明专利技术涉及一种基于双目视觉的地平面检测方法，包括以下步骤：获取双目图像采集设备采集的左右目原始图像；对左右目原始图像进行预处理，利用立体匹配技术获得稠密视差图；利用特征算子在稠密视差图上进行运算，得到特征图；对特征图进行分割，将其分割成多个区域块；对每个区域块进行二类分类，判断此区域是否属于地平面区域；对地平面区域进行后处理，剔除不符合条件的连通域，确定最终地平面区域。本发明专利技术适用于不同地平面环境下的地平面检测，能有效应对不平坦路面的检测问题，且可以精准处理地平面与障碍物边界。

A method of horizon detection based on binocular vision

The invention relates to a binocular vision horizon based on face detection method, which comprises the following steps: obtain binocular image acquisition equipment acquisition project about the original image; on the left. The original images are preprocessed using stereo matching techniques to obtain dense disparity map; operator operations on a dense disparity map using the feature, feature map; the characteristics of image segmentation, which is divided into a plurality of blocks; two class classification for each region, determine whether the plane area belongs to this area; on the ground plane area for postprocessing, does not conform to a connected domain, to determine the final plane area. The invention is applicable to the detection of the ground surface in different plane environments, and has the effect of detecting the uneven surface of the road surface, and can accurately process the ground plane and the obstacle boundary.

【技术实现步骤摘要】
一种基于双目视觉的地平面检测方法
本专利技术涉及图像处理
，特别是涉及一种基于双目视觉的地平面检测方法。
技术介绍
地平面检测是智能驾驶等领域的一项关键技术，目前提出的地平面检测方法主要有以下几种：(1)基于超声探测器、激光雷达、毫米波雷达等障碍物探测器的检测方式。利用障碍物探测器检测前方障碍区，确定可通行地平面。(2)基于单目视觉的检测方法。主要利用单目图像的色度、纹理等2D信息，对地平面进行检测。此类方法易受光照、阴影等影响，且在较复杂的环境下并不能得到较好性能。(3)基于双目视觉的检测方法。主要分为基于视差图的方法与基于3D点云的方法。基于视差图的方法主要利用统计的方法生成V/U视差图，在此基础上进行地平面的检测。基于3D点云的方法将视差图转换成3D点云信息进行地平面建模。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于双目视觉的地平面检测方法，适用于不同地平面环境下的地平面检测，能有效应对不平坦路面的检测问题，且可以精准处理地平面与障碍物边界。本专利技术解决其技术问题所采用的技术方案是：提供一种基于双目视觉的地平面检测方法，包括以下步骤：(1)获取双目图像采集设备采集的左右目原始图像；(2)对左右目原始图像进行预处理，利用立体匹配技术获得稠密视差图；(3)利用特征算子在稠密视差图上进行运算，得到特征图；(4)对特征图进行分割，将其分割成多个区域块；(5)对每个区域块进行二类分类，判断此区域是否属于地平面区域；(6)对地平面区域进行后处理，剔除不符合条件的连通域，确定最终地平面区域。所述步骤(3)具体为：依次以视差图各像素点为中心取像素块；以每个像素块为中心对其八邻域块或四邻域块进行采样；将各像素块平均视差值以一定策略进行比较，按照一定规则得到八/四个二进制码；将八/四个二进制码按照一定顺序排列得到八/四位二进制编码；将所述八/四位二进制编码转换成十进制编码；每个中心块里的中心像素值赋为上述十进制编码数值，得到特征图。所述中心的像素块及其八邻域像素块或四邻域像素块的大小根据实际应用场景进行调整。所述步骤(4)具体为：利用图像色度信息对原始图像进行超像素分割；将分割区域映射到特征图中，将特征图分割成多个超像素块。所述步骤(4)具体为：直接将特征图分割成多个不重合的矩形像素块。所述步骤(5)为直接利用阈值判断各区域块的像素统计特性进行分类：提取特征图区域块或其质心窗中像素的统计特性；设置阈值判断此区域块是否属于地平面区域。所述步骤(5)提取特征图各区域块图像特征向量，利用机器学习算法进行分类：统计每个特征图区域块或其质心窗中像素点的规律，得到特征向量；利用机器学习方法分析特征向量，对区域块进行分类。所述步骤(5)利用深度卷积网络直接分析各区域块特征图进行分类：直接在特征图上基于各区域块进行采样，将采样图像输入深度卷积网络；利用深度卷积网络对输入样本图像进行分类。所述步骤(6)具体包括以下子步骤：(61)判断是否有多个地平面连通域，若只有一个属于地平面区域的连通域，则此连通域为最终地平面区域，否则执行步骤(62)；(62)统计各地平面区域连通面积，若面积小于阈值T1则剔除此地平面连通域；(63)判断是否有多个地平面连通域，若只有一个属于地平面区域的连通域，则此区域为最终地平面区域，否则执行步骤(64)；(64)将连通域面积最大的地平面区域视差值按行进行统计，得到V视差图；(65)将V视差图规范化到0-255之间；(66)检测V视差图中地平面区域映射斜线，得到图像每行对应的地平面视差统计值；(67)将每个地平面连通区域的视差值与视差统计值相减，若差值绝对值大于阈值T1则将此连通域删除；(68)最后未被删除的地平面连通域即为最终地平面区域。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术利用一种基于视差图的特征算子可以快速有效地提取地平面及非地平面区域特征。此算子直接在获取的稠密视差图上进行运算，无需转换成3D点云进行建模，从而减少运算量。该算子提取路面局部区域信息，有别于直接利用V\U视差图等基于全局统计的方法，因此适用于不同地平面环境下的地平面检测，尤其能有效应对不平坦路面的检测问题，且可以精准处理地平面与障碍物的边界。本专利技术采用的方法结合稠密视差图像信息，不易受天气、光照、阴影等因素影响。附图说明图1是本专利技术的流程图；图2是地面连通域判断流程图；图3是左目原始图像；图4是右目原始图像图5是稠密视差图；图6是视差算子示意图；图7是利用基于视差的算子运算后得到的特征图；图8地平面区域检测结果图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种基于双目视觉检测地平面的方法，如图1所示，具体包括以下步骤：步骤1，获取双目摄像机采集到的左右目原始图像。其中左右目图像分别如图3和图4所示。步骤2，对左右目图像进行预处理，利用立体匹配技术获得稠密视差图，如图5所示。步骤3，利用特征算子在稠密视差图上进行运算，得到特征图P。具体为：(1)依次以视差图各像素点为中心取像素块；(2)以每个像素块为中心，并对其八邻域块进行采样，如图6所示，b0为中心像素块，b1-b8为其八邻域块；(3)对各像素块平均视差值进行比较，按照一定规则得到八个二进制码，该步骤有两种可实施方案：方案一：如图6所示，若D(b0)>D(b1)、D(b0)>D(b3)、D(b0)>D(b4)，则对应v1、v3、v4赋值为1，否则赋值为0。若D(b2)>D(b0)、D(b5)>D(b0)、D(b6)>D(b0)，则对应v2、v5、v6赋值为1，否则赋值为0。若D(b0)＝D(b7)、D(b0)＝D(b8)，则对应v7、v8赋值为1，否则赋值为0。其中，D(bi)为bi像素块的内像素点的平均视差值。方案二：如图6所示，若(D(b0)+D(b7)+D(b8))/3>(D(b1)+D(b3)+D(b4))/3，则v1赋值为1，否则赋值为0。若(D(b2)+D(b5)+D(b6))/3>(D(b0)+D(b7)+D(b8))/3，则v2赋值为1，否则赋值为0。若D(b0)>D(b1)、D(b0)>D(b3)、D(b0)>D(b4)，则对应v3、v4、v5赋值为1，否则赋值为0。若D(b2)>D(b0)、D(b5)>D(b0)、D(b6)>D(b0)，则对应v6、v7、v8赋值为1，否则赋值为0。其中，D(bi)为bi像素块的内像素点的平均视差值。(4)将八个二进制码按照一定顺序排列得到八位二进制编码v1v2v3v4v5v6v7v8。(5)将上述八位二进制编码转换成十进制编码。每个中心像素块里的中心像素值赋为上述十进制编码数值，最终得到特征图P。如图7所示。像素块的尺寸可根据实际应用场景进行调整。在本实施方式中，中心像素块及其领域像素块只包含一个像素点。值得一提的是，本实施方式中还可以仅仅对中心像素块的四邻本文档来自技高网...

【技术保护点】
一种基于双目视觉的地平面检测方法，其特征在于，包括以下步骤：(1)获取双目图像采集设备采集的左右目原始图像；(2)对左右目原始图像进行预处理，利用立体匹配技术获得稠密视差图；(3)利用特征算子在稠密视差图上进行运算，得到特征图；(4)对特征图进行分割，将其分割成多个区域块；(5)对每个区域块进行二类分类，判断此区域是否属于地平面区域；(6)对地平面区域进行后处理，剔除不符合条件的连通域，确定最终地平面区域。

【技术特征摘要】
1.一种基于双目视觉的地平面检测方法，其特征在于，包括以下步骤：(1)获取双目图像采集设备采集的左右目原始图像；(2)对左右目原始图像进行预处理，利用立体匹配技术获得稠密视差图；(3)利用特征算子在稠密视差图上进行运算，得到特征图；(4)对特征图进行分割，将其分割成多个区域块；(5)对每个区域块进行二类分类，判断此区域是否属于地平面区域；(6)对地平面区域进行后处理，剔除不符合条件的连通域，确定最终地平面区域。2.根据权利要求1所述的基于双目视觉的地平面检测方法，其特征在于，所述步骤(3)具体为：依次以视差图各像素点为中心取像素块；以每个像素块为中心对其八邻域块或四邻域块进行采样；将各像素块平均视差值以一定策略进行比较，得到八/四个二进制码；将八/四个二进制码按照一定顺序排列得到八/四位二进制编码；将所述八/四位二进制编码转换成十进制编码；每个中心块里的中心像素值赋为上述十进制编码数值，得到特征图。3.根据权利要求2所述的基于双目视觉的地平面检测方法，其特征在于，所述中心的像素块及其八邻域像素块或四邻域像素块的大小根据实际应用场景进行调整。4.根据权利要求1所述的基于双目视觉的地平面检测方法，其特征在于，所述步骤(4)具体为：利用图像色度信息对原始图像进行超像素分割；将分割区域映射到特征图中，将特征图分割成多个超像素块。5.根据权利要求1所述的基于双目视觉的地平面检测方法，其特征在于，所述步骤(4)具体为：直接将特征图分割成多个不重合的矩形像素块。6.根据权利要求1所述的基于双目视觉的地平面检测方法，其特征在于，所述步骤(5)为...

【专利技术属性】
技术研发人员：王康如，曲磊，张晓林，陈利利，许宝建，谷宇章，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：上海,31