基于轮廓识别的机器人可变视角障碍物检测方法技术

一种基于轮廓识别的机器人可变视角障碍物检测方法，包括：(1)使用标定板对双目视觉系统进行标定；(2)使用两台摄像机同时对同一场景进行拍摄，对左右两幅图像进行极线校正，然后提取边缘并连接；(3)寻找目标物体的轮廓并进行匹配；(4)重建出轮廓的三维点云并优化三维轮廓点云；(5将转台旋转一定角度，确保两次拍摄具有重叠区域，对另一个方向进行三维重建；(6)寻找两组三维轮廓点云的重叠区域；(7)采用七参数法对两组三维轮廓点云进行初始配准；(8)赋予重叠区域的对应点权重，对重叠区域的三维轮廓点云进行迭代最近点法运算，完成三维轮廓点云的精确配准。本发明专利技术配准精度高，且运算量小，具有较高实时性。

【技术实现步骤摘要】
基于轮廓识别的机器人可变视角障碍物检测方法
本专利技术属于计算机视觉和图像测量
，尤其涉及机器人视觉导航中基于轮廓识别的机器人可变视角障碍物检测方法。
技术介绍
双目三维重建是机器视觉中一个非常重要的研究领域，广泛应用于机器人导航中。经过相机标定，图像采集，图像预处理，立体匹配和三维重建后可以得到物体的三维信息。目前，绝大多数三维重建方法都是基于固定视角，即机器人每次获得的三维信息的范围是固定的。这使得机器人在同一个坐标系中不可能分析大视角范围的障碍物，并进行三维重建。为了使机器人能根据实际要求，实现可变视角内的障碍物检测，从而更加全面地感知外界环境信息，以便更好地进行路径规划及其它相关工作，需要对两个三维点云进行拼接。目前大多数的图像特征提取和匹配算法存在一个矛盾:当提取的特征量足够多时,图像的匹配误差率将大大提高；而当匹配准确度很高的时候,往往提取的的特征量是很稀疏的,不能满足三维重建的要求,典型的如Sift点的提取和匹配,sift是Lowe提出的一种采用多尺度高斯差分图像检测关键点的方法,其中每个关键点的位置和尺度对应于一个局部稳定的区域,每个特征点都有与之对应的特征向量,匹配准确率高,但是其特征点的数量有限,很难达到三维重建的要求。用于三维数据拼接的方法主要有三种：第一种：通过精密平台、经纬仪、激光跟踪仪等大型装置来扩展测量范围,这种方法中所用的测量装置价格昂贵，而且无法应用于野外机器人的自主导航中。第二种：通过在测量装置相邻两次测量的公共视场内粘贴标记点，利用其中非共线的三个点来求取拼接矩阵，这种方法需要人为粘贴标记点，也无法应用于野外机器人的自主导航中。第三种：迭代最近点算法，当点比较多时，这种方法存在迭代运算量大，运行时间长等问题,且不适合于表面曲率变化不丰富的被测物,对重叠区域的查找也是一个难点。所以一种既能够提取图像足够多的特征信息，又能够保证图像特征匹配的准确率同时能适应野外快速自动拼接的方法成为函待解决的问题。
技术实现思路
为了克服现有的机器人障碍物检测方法的计算量大、快速性较差的不足，本专利技术提供了一种基于轮廓识别的机器人可变视角障碍物检测方法，因为图像的边缘包含了用于识别的有用信息，且相对于所有点的密集匹配大大减少了计算量，且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接。为了解决上述技术问题采用的技术方案如下：一种基于轮廓识别的机器人可变视角障碍物检测方法，包括下列步骤：(1)双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc，并设置双目视觉系统的全局坐标系O1；(2)图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两幅图像Pl1，Pr1，并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的像素点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘；(3)基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓，对左右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配；(4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系，通过轮廓特征点的图像坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云；(5)对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范围，将转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像Pl2，Pr2，设置双目视觉系统的全局坐标系O2,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建；(6)寻找两组三维点云的重叠区域：对两组图像中的左图像Pl1，Pl2进行轮廓匹配，寻找匹配轮廓对应的三维轮廓点云N和M，即重叠区域；(7)初始配准：分别计算两组重叠区域三维轮廓点云的重心，并分别以两组重叠区域三维轮廓点云中距离重心最远的点pf1、pf2，中间的点pm1、pm2和最近的点pn1、pn2为特征点，以双目视觉系统的全局坐标系O1为基准，采用七参数法计算两组三维轮廓点云的旋转矩阵Ri和平移矩阵Ti，从而完成两组三维轮廓点云的初始配准；(8)精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta，从而将两组三维轮廓点云转换到全局坐标系O1下，完成三维轮廓点云的精确配准。进一步，所述步骤(3)，基于轮廓识别的立体匹配过程包括下列步骤：(3.1)从目标物体的边缘图像中，提取目标物体的轮廓；(3.2)计算左右两幅图像中目标物体轮廓的匹配度，将匹配系数小于阈值σ1的轮廓视为匹配轮廓；(3.3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配。(3.4)若目标物体的轮廓已经历遍，则基于轮廓识别的立体匹配结束，否则，重复步骤(3.2)、(3.3)。再进一步，所述检测方法还包括步骤：(9)加权融合：采用加权平均融合算法融合配准后的三维轮廓点云，以消除点云间可能存在的裂缝，使三维轮廓点云更加平滑。更进一步，所述步骤(4)中，所述的根据轮廓的连续性原理优化三维轮廓点云，即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去。所述步骤(8)包括下列步骤：(8.1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点，作为对应点并赋予对应点权重，对应点的距离越远，赋给它的权值越小：其中Dist(p1,p2)表示对应点(p1,p2)之间的欧式空间距离，Distmax表示对应点距离的最大值。给定阈值σ2，如果对应点的Weight≥σ2，保留该对应点，否则剔除该对应点；(8.2)判断是否历遍所有对应点，如果没有历遍，寻找下一组对应点，重复步骤(8.1)，否则，以双目视觉系统的全局坐标系O1为基准，对重叠区域不同权重三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云之间的旋转矩阵Ra和平移矩阵Ta；(8.3)通过旋转矩阵Ra和平移矩阵Ta，将两组三维轮廓点云转换到全局坐标系O1下，完成三维轮廓点云的精确配准。本专利技术的有益效果为：因为图像的边缘包含了用于识别的有用信息，且相对于所有点的密集匹配大大减少了计算量，且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接；不需要标记点等，能自动完成可变视角下的三维轮廓点云拼接，配准精度高，且运算量小，具有较高实时性。附图说明图1是本专利技术的基于轮廓识别的机器人可变视角障碍物三维重建和拼接流程图。图2是本专利技术的极线校正示意图图3是本专利技术的轮廓点匹配的流程图。图4是本专利技术的三维重建的示意图。图5是本专利技术的基于赋予三维轮廓点云权重的ICP算法的精确配准流程图。具体实施方案下面参照附图,对本专利技术具体实施方案做更为详细的描述。图1是本专利技术的整个三维重建和拼接的流本文档来自技高网...

【技术保护点】
一种基于轮廓识别的机器人可变视角障碍物检测方法，其特征在于：所述检测方法包括下列步骤：(1)双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc，并设置双目视觉系统的全局坐标系O1；(2)图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两幅图像Pl1，Pr1，并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的像素点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘；(3)基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓，对左右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配；(4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系，通过轮廓特征点的图像坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云；(5)对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范围，将转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像Pl2，Pr2，设置双目视觉系统的全局坐标系O2,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建；(6)寻找两组三维点云的重叠区域：对两组图像中的左图像Pl1，Pl2进行轮廓匹配，寻找匹配轮廓对应的三维轮廓点云N和M，即重叠区域；(7)初始配准：分别计算两组重叠区域三维轮廓点云的重心，并分别以两组重叠区域三维轮廓点云中距离重心最远的点pf1、pf2，中间的点pm1、pm2和最近的点pn1、pn2为特征点，以双目视觉系统的全局坐标系O1为基准，采用七参数法计算两组三维轮廓点云的旋转矩阵Ri和平移矩阵Ti，从而完成两组三维轮廓点云的初始配准；(8)精确配准：赋予重叠区域的对应点权重，对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算，求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta，从而将两组三维轮廓点云转换到全局坐标系O1下，完成三维轮廓点云的精确配准。...

【技术特征摘要】
1.一种基于轮廓识别的机器人可变视角障碍物检测方法，其特征在于：所述检测方法包括下列步骤：(1)双目立体视觉系统的标定：将两个CCD摄相机装于机器人的转台上，使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数，对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc，并设置双目视觉系统的全局坐标系O1；(2)图像采集及预处理：使用两台摄像机同时对同一场景进行拍摄，得到左右两幅图像Pl1，Pr1，并对两幅图像进行极线校正，然后逐行扫描每幅图像，提取灰度变化剧烈的像素点为候选边缘点，并用闭运算方法连接图像中目标物体的边缘；(3)基于轮廓识别的立体匹配：从目标物体的边缘图像中，寻找目标物体的轮廓，对左右两幅图像中目标物体的轮廓分别进行匹配，采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配；分别从左右两幅边缘图像中提取多个目标物体的轮廓{Ai,i＝1,2,…,m}及{Bj,j＝1,2,…,n}；计算Ai与Bj的匹配度，若匹配系数小于1的轮廓，则Ai与Bj是匹配轮廓；若匹配系数大于1，令j＝j+1，然后计算Ai与Bj的匹配度，直到找到匹配轮廓或历遍右图所有目标物体的轮廓；对于匹配的轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配；(4)基于轮廓识别的快速三维重建：利用己经标定好的系统参数进行目标物体轮廓的三维重建，通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc确定物体轮廓各点的空间三维坐标和图像坐标的关系，通过轮廓特征点的图像坐标可得到空间三维坐标，根据轮廓的连续性原理优化三维轮廓点云，即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L，以平均距离的两倍即2L为阈值，若存在三维点到相邻任一三维点的距离大于2L，则将其视为噪声点，予以舍去；(5)对另一个方向进行三维重建：根据双目立体视觉的系统单次拍摄的视角范围，将转台旋转一定角度，确保两次拍摄具有重叠区域，得到另外一组图像Pl2，Pr2，设置双目视...

【专利技术属性】
技术研发人员：艾青林，沈智慧，应申舜，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33