一种基于深度信息提取的墙面平整度检测方法技术

本发明专利技术公开了一种基于深度信息提取的墙面平整度检测方法，属于利用双目视觉的距离测量技术。本发明专利技术利用双目摄像机提取相机到墙面的深度信息，分别从不同的角度采集待检测区域的两组图像对并得到对应的深度信息，即得到两幅深度信息图，在获取深度信息图的过程中，通过对现有Hhartley矫正法的改进，以提升校正过程的实时性和准确率；并对其中一幅深度信息图进行旋转和平移，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图，取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。本发明专利技术可以用于智能抹灰作业，其操作简便、智能，且平整度检测的时效性、准确率高。

Method for detecting wall roughness based on depth information extraction

The invention discloses a method for detecting wall roughness based on depth information extraction, belonging to the distance measuring technique using binocular vision. The invention uses binocular camera camera to extract depth information of the wall, from different angles collection areas to be inspected two groups of image and corresponding depth information, to obtain the depth information of two images, in the process of obtaining the depth information in the graph, by improving the existing Hhartley correction method, to enhance the real-time the correction process and accuracy; and in which a depth information map rotation and translation, the image space coordinates of the two depth information map overlap, formation and strengthening depth information, strengthen the depth information map mode from a depth value as tested area distance, smoothness and size preset distance value based on the threshold judgment areas to be inspected. The invention can be used for intelligent plastering operation, the operation is simple and intelligent, and the timeliness and accuracy of smoothness detection are high.

【技术实现步骤摘要】
一种基于深度信息提取的墙面平整度检测方法
本专利技术属于双目视觉领域，具体涉及对墙面的深度信息提取技术。
技术介绍
双目立体视觉(BinocularStereoVision)是机器视觉的一种重要形式，其基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。基于双目立体视觉获取物体的深度信息主要包括以下步骤：摄像机系统标定(获取摄像机的内、外参数)、图像获取、图像校正(基于摄像机的内外参数对采集的图像对进行图像校正，以使得相对应的像素点位于同一水平线上)、双目立体匹配和视差计算、基于视差获取深度信息。在图像校正处理过程中，比较常见的Hhartley矫正算法(具体可参考文献具体可参考文献HartleyR,ZissermanA.Multipleviewgeometryincomputervision[J].CambridgeUniversityPress,2003)，其基于特征点匹配来计算对极几何的基础矩阵F，完成图像校正。hartley矫正算法中，匹配用到的特征点一般采用SIFT(ScaleInvariantFeatureTransform)特征点提取法来获取，其主要包括以下四个步骤：检测尺度空间的极值点、筛选极值点(剔除不好的极值点)、基于当前极值点选取特征点的主方向和生成特征点描述子。虽然SIFT特征点的特征性较强，但是对于实时性要求较高的双目视觉来说，其存在以下不足：(1)特征点的计算时间较长；(2)生成的这特征点数量太多，在进行特征点匹配时，其计算度复杂，且容易出现误匹配；(3)SIFT特征点不是图像直观上的特征点，反映图像结构的直观性差。随着建筑智能化的发展，智能抹灰机将逐步替代现有的人工、半自动抹灰作业，因此对墙面深度信息的智能化检测势在必行。当前，主要通过主动红外光设备获取深度信息，但是该方式容易受外界光线的影响，同时设备昂贵，操作复杂，算法复杂度高。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于双目立体视觉来获取待检测区域的墙面每点到相机平面的深度信息，利用深度信息来判断墙面是否平整，并定位不平整区域，进而实现抹灰作业的智能化。本专利技术的一种基于深度信息提取的墙面平整度检测方法，包括下列步骤：步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理；步骤3：分别对两组图像对进行图像校正处理：301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；其中提取特征点的处理为：对图像进行Harris角点检测(具体可参考文献HarrisC,StephensM.Acombinedcornerandedgedetector[C].Alveyvisionconference.1988)得到角点；在图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P1的主方向：计算第一矩形区域内每个角点的梯度模和方向(梯度模和方向一一对应)，并对各梯度模进行加权处理：距离第一矩形区域的中心点越近，则对应角点的梯度模的权重越大；基于与梯度模对应的方向，对加权后的梯度模进行统计：按照8个角度区间(360°均分为8段得到)，将属于同一角度区间的加权后的梯度模进行叠加，取8个叠加结果中的最大者对应的角度区间作为角点P1的主方向；在图像中以每个角点为中心确定16*16的第二矩形区域，再将第二矩形区域均分为16个4*4的子块，以第二矩形区域为单位分别计算位于第二矩形区域的中心的角点P2的128维特征向量描述子：分别计算各子块内的每个角点的梯度模和方向，按照8个角度区间(360°均分为8段得到)，基于每个梯度模对应的方向，将属于同一角度区间的梯度模进行叠加，得到8纬的子块特征向量，16个子块的子块特征向量构成当前角点的128维特征向量描述子；将每个角点作为特征点，由每个角点的128维特征向量描述子和主方向得到各特征点的特征向量；302：根据得到的基础矩阵F，采用Hartley矫正算法对图相对进行图像校正处理；步骤4：分别对每组图像对进行双目立体匹配和视差计算；步骤5：基于每组视差分别计算待检测区域每个像素点的深度值得到两幅深度信息图，其中b表示双目摄像机的摄像机间距，f表示焦距，c表示待检测区域每个像素点的视差；步骤6：基于两组图像对的成像空间坐标，调整其中一幅深度信息图的成像空间坐标，使得两幅深度信息图的成像空间坐标重叠，生成加强深度信息图；取加强深度信息图的深度值的众数作为待检测区域的距离值，基于距离值与预设阈值的大小关系来判决待检测区域的平整度。比如，大于预设阈值则可判定待检测区域的平整度为凹，小于，则待检测区域的平整度为凸。本专利技术在图像校正处理时，对现有的Hhartley矫正算法进行了改进，基于Harris角点的检测结合SIFT特征向量描述子的特征点，能有效提高现有Hhartley矫正算法的处理实效以及提高特征点匹配效率。同时，为了克服单幅场景的深度信息获取时，由于摄像机的角度以及外界的光照原因，可能会出现遮挡区域或者弱纹理区域造成深度信息的空洞(即某个深度变化较大的区域容易出现视差值计算为无穷大)，使得最终得到的待检测区域的深度信息(三维点云)出现空洞无点的情况，本专利技术分别从不同的角度拍摄两组图像对，分别恢复出其深度信息图，然后根据两次拍摄之间的空间关系，进行平移和旋转恢复，使得两次拍摄的图片在空间上得以重合，从而使得深度信息在空间中的重合叠加，从而得到部分区域加强的深度信息图，恢复出更加稠密准确的深度信息，以保证平整度检测的准确率。进一步的，为了提高获取双目摄像机的内、外参数的处理效率，本专利技术步骤1中，获取用于墙面检测的双目摄像机的内、外参数具体为：101：双目摄像机采集多张棋盘格图像；102：采用Harris角点检测算法检测出各棋盘格图像中所有的候选角点；103：对棋盘格图像进行二值化处理后，对候选角点进行筛选处理：在二值化后的棋盘格图像中，确定一个以候选角点为中心的矩形，判断矩形边所占的像素点的两类像素值的个数是否相同，若是，则保留当前角点，否则删除；104：确定候选角点的坐标：分别以步骤102筛选后的候选角点为中心，确定一个方形的检测窗口，并将检测窗口基于中轴线均分为四个区域，将非相邻的两个区域分别定义为第一子区域、第二子区域；在预设的搜索范围内按预设步长移动检测窗口，并计算检测窗口在当前位置时的第一子区域、第二子区域的像素灰度值的差值平方和δ；将搜索范围内最小的δ对应的位置的中心作为当前候选角点的坐标值；105：基于步骤103得到的各候选角点的坐标，采用棋盘格标定法，计算双目摄像机的内、外参数。由于采用了上述技术方案，本专利技术的有益效果是：操作简便、智能，且检测的时效性、准确率高。附图说明图1是棋盘格图像中的理想角点示意图；图2是本专利技术改进的棋盘格标定法示意图；图3是图像校正处理所涉及的特征点提取的示意图；图4是用于比对本专利技术在图像校正处理时的特征点提取与现有方式的性能的测试图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本专利技术作进一步地详细描述。本发本文档来自技高网...

【技术保护点】
一种基于深度信息提取的墙面平整度检测方法，其特征在于，包括下列步骤：步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理；步骤3：分别对两组图像对进行图像校正处理：301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；其中提取特征点的处理为：对图像进行Harris角点检测得到角点；在图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P

【技术特征摘要】
1.一种基于深度信息提取的墙面平整度检测方法，其特征在于，包括下列步骤：步骤1：采用棋盘格标定法获取用于墙面检测的双目摄像机的内、外参数：步骤2：采用双目摄像机分别从不同的角度采集待检测区域的两组图像对，并进行图像去噪处理；步骤3：分别对两组图像对进行图像校正处理：301：提取图像对各图像的特征点并进行特点匹配，计算基础矩阵F；其中提取特征点的处理为：对图像进行Harris角点检测得到角点；在图像中以各角点为中心确定8*8的第一矩形区域，以第一矩形区域为单位分别计算位于第一矩形区域的中心的角点P1的主方向：计算第一矩形区域内每个角点的梯度模和方向，并对各梯度模进行加权处理：距离第一矩形区域的中心点越近，则对应角点的梯度模的权重越大；基于与梯度模对应的方向，对加权后的梯度模进行统计：按照8个角度区间，将属于同一角度区间的加权后的梯度模进行叠加，取8个叠加结果中的最大者对应的角度区间作为角点P1的主方向；在图像中以每个角点为中心确定16*16的第二矩形区域，再将第二矩形区域均分为16个4*4的子块，以第二矩形区域为单位分别计算位于第二矩形区域的中心的角点P2的128维特征向量描述子：分别计算各子块内的每个角点的梯度模和方向，按照8个角度区间，基于每个梯度模对应的方向，将属于同一角度区间的梯度模进行叠加，得到8纬的子块特征向量，16个子块的子块特征向量构成当前角点的128维特征向量描述子；将每个角点作为特征点，由每个角点的128维特征向量描述子和主方向得到各特征点的特征向量；其中，所述8个角度区间为360°均分为8段得到；302：根据得到的基础矩阵F，...

【专利技术属性】
技术研发人员：陈思，于鸿洋，陈宏洋，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51