基于单目机器人与测距传感器结合的舱门实时定位方法技术

本发明专利技术公开了一种基于单目机器人与测距传感器结合的舱门实时定位方法，包括步骤：1)利用张正友标定算法标定摄像机的内参、畸变参数；2)建立起基于视觉深度的三维定位模型；3)视频图像实时拍摄；4)分割目标区域；5)判断视野内的舱门情况，以使其目标区域位于视野内获得ROI；6)根据3)所得结果，利用几何特征精确定位得目标点图像坐标；7)结合测距传感器的深度信息，得到舱门目标点的世界坐标；8)根据所得世界坐标，控制机器人行为。通过本发明专利技术可以提供一套方便、简单的机器人实时定位舱门的方法，该方法可应用于飞机舱门、轮船舱门等类似场景，追求舱门实时定位的准确性与智能化的同时，也保证方案的可行性且简单、易实现。

【技术实现步骤摘要】
基于单目机器人与测距传感器结合的舱门实时定位方法
本专利技术涉及图像模式识别领域及智能机器人
，尤其是指一种基于单目机器人与测距传感器结合的舱门实时定位方法。
技术介绍
机器人技术经过四十多年的发展，已经成为了未来新型制造业的核心装备。如今机器人关键技术日臻成熟，在各个领域广泛应用，发展方向具有种类繁多、形式多样、功能各异等特点。不管是在服务机器人还是工业机器人的关键技术中，机器人的定位、导航和控制技术一直是一大研究热点。随着机器人的应用场景越来越广泛，同时对其智能化的要求越来越高，在工业机器人的舱门装配和服务机器人的室外应用中，舱门的实时检测与定位的问题在智能机器人的技术应用研究中也愈发有价值。因此，一套方便、简单的机器人实时检测与定位舱门的方法也愈发有意义。本专利技术中采用单目视觉与激光测距传感器结合的视觉定位方法，在目前机器视觉的
中，双目视觉和多目视觉一直存在立体匹配的障碍，其对于摄像机的安装也有特定要求；而单目视觉如果仅依靠一个摄像头是无法完成物体的三维定位的，必须借助其他外部已知信息。所以借助测距传感器增加辅助信息后的单目视觉定位方法，既简单补充了单目视觉的三维定位深度信息，又避免了双目视觉中立体匹配困难的问题，从而最终提高舱门实时定位的精度和可行性，达到机器人目标行为的准确性与智能化。
技术实现思路
本专利技术的目的在于针对机器人应用中的需求，提供一套方便、简单的机器人实时检测与定位舱门的方法，该方法可应用于飞机舱门、轮船舱门等类似场景，追求舱门实时定位的准确性与智能化的同时，也保证方案的可行性且简单、易实现。为了实现上述目的，本专利技术所提供的技术方案为：一种基于单目机器人与测距传感器结合的舱门实时定位方法，主要通过结合激光测距传感器的单目视觉系统来实现机器人对舱门的实时定位，以达到机器人的行为目的。主要包括以下步骤：1)利用张正友标定算法标定摄像机的内参、畸变参数；2)利用已知信息建立起基于视觉深度的三维定位模型；3)视频图像实时拍摄；4)利用传统图像处理算法分割目标区域；5)判断视野内的舱门情况，以使其目标区域位于视野内获得ROI；6)根据3)所得结果，利用几何特征精确定位得目标点图像坐标；7)结合测距传感器的深度信息，得到舱门目标点的世界坐标；8)根据所得世界坐标，控制机器人行为。在步骤1)中，采用张正友标定算法来获得摄像头的内参、畸变参数，仅需使用一个打印出来的棋盘格就可以，此方法克服了传统标定法需要的高精度标定物的缺点，同时相对于自标定而言，提高了精度且便于操作。摄像机标定的目标是建立图像坐标系和世界坐标系之间的关系，即求解摄像机的投影矩阵以及5个畸变参数，建立视觉系统几何其中投影矩阵包括了摄像机的5个内参和6个外参。摄像机内参描述的是图像坐标系与摄像机坐标系之间的关系，只与摄像机本身有关，而摄像机外参描述的是摄像机坐标系和世界坐标系之间的关系，与摄像机的安装、世界坐标系的选取有关。主要步骤如下：1.1)棋盘格标定板的准备用A4纸张打印一张棋盘格(单元格宽度已知)贴在平板上，用摄像机在两个以上不同的位置对棋盘格进行多角度拍摄(一般10-20张)。1.2)计算摄像机内参根据摄像机模型，设三维世界坐标的点X＝[X,Y,Z,1]T，二维图像像素坐标为m＝[u,v,1]T，则标定棋盘格平面到图像平面的单应性关系为：s0m＝K[R,T]X其中s为世界坐标系到图像坐标系的尺度因子，K为摄像机内参，R为旋转矩阵，T为平移向量。令其中α，β为焦距与像素横纵比的融合，γ为径向畸变参数。注意，s对于齐次坐标来说，不会改变齐次坐标值。张正友标定法中，将世界坐标系设在棋盘格平面上，棋盘格平面设为Z＝0的平面。则可得单应性矩阵H＝K[r1,r2,t]，即H＝[h1h2h3]＝λK[r1r2t]H是一个齐次矩阵，有8个未知数，至少需要8个方程，所以通过4个以上棋盘格对应角点的标定板图像可得到单应性矩阵H。由上式可得由旋转矩阵r1和r2正交，可得||r1||＝||r2||＝1带入可得：即每个单应性矩阵能提供两个方程，而内参矩阵包含5个参数，要求解至少需要3个单应性矩阵。为了得到3个不同的单应性矩阵，至少要使用3幅棋盘格平面的图片进行标定。通过改变摄像机和标定板之间的相对位置来得到3张不同的图片。为了方便计算可定义如下：B是一个对称阵，所以B的有效元素为6个，把这6个元素写成向量b，即b＝[B11B12B22B13B23B33]T推导可得νij＝[hi1hj1hi1hj2+hi2hj1hi2hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3」利用约束条件可得到：通过上式可知至少需要3幅棋盘格平板的图像，才能计算得B，然后通过cholesky分解，得到摄像机的内参矩阵K。1.3)最大似然估计上述的推导结果是基于理想情况下的解，但由于可能存在高斯噪声，所以需要使用最大似然估计进行优化。设采集了n副包含棋盘格的图像进行标定，每副图像里有棋盘格角点m个。令第i副图像上的角点Mj在上述计算得到的摄像机矩阵下图像上的投影点为：其中Ri和ti是第i副图对应的旋转矩阵和平移向量，K是内参矩阵。则角点mij的概率密度函数为：构造似然函数：让L取得最大值，即让该式最小。这里使用的是多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解。1.4)径向畸变估计张正友标定法只关注了影响最大的径向畸变。其数学表达式为：其中，(u,v)是理想无畸变的像素坐标，是实际畸变后的像素坐标。(u0,v0)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标。k1和k2为前两阶的畸变参数。化成矩阵形式：记为：Dk＝d，则可得：k＝[k1k2]T＝(DTD)-1DTd，计算得畸变参数k。使用最大似然的思想优化结果，即同1.3)，LM法计算下列函数值最小的参数值：在步骤2)中三维定位模型的建立需要凭借已知三维世界坐标的棋盘格标定板标定得到该位置的外参，建立起指定世界坐标系下的定位模型，在之后的实时定位中，结合激光测距传感器的距离深度信息，就可获得指定世界坐标系下的三维坐标。包括以下几步：2.1)标定已知位置下的外参首先，外参由旋转矩阵与平移向量构成，即[R|t]＝[r1r2r3t]。由1)中的推导可得：则r3＝r1×r2，t＝λK-1h3可得该位置下的一组外参[R0|t0]。由于外参描述的是摄像机、世界坐标系之间的位置关系，本专利技术中摄像机的安装是固定不变的，且最终机器人的行为目标皆可以机器人为参考下的舱门的相对坐标为本方案中的世界坐标系，故而把世界坐标系选定在机器人上，即摄像机与世界坐标系是相对静止的，也即它们之间的位置关系是固定不变的。基于上述前提，我们定义之后用到的几个坐标系：·坐标系{C}：摄像机坐标系，原点与光心重合，Z轴为摄像机的光轴；·坐标系{S}：机器人上的已知位置三维坐标系，该坐标系需与外参标定板的位置关系已知；·坐标系{W}：机器人上的最终世界坐标系，与坐标系{S}的位置关系已知；·坐标系{D}：引入一个与坐标系{C}原点重合，即该坐标系与坐标系{C}之间的位置关系只有旋转无平移；且与摄像机坐标系{S}的坐标轴方向一致，即该坐标系与坐标系{S}之间的位置关本文档来自技高网...

【技术保护点】
1.基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于：通过结合激光测距传感器的单目视觉系统来实现机器人对舱门的实时定位，以达到机器人的行为目的，包括以下步骤：1)利用张正友标定算法标定摄像机的内参、畸变参数；2)建立起基于视觉深度的三维定位模型；3)视频图像实时拍摄；4)分割目标区域；5)判断视野内的舱门情况，以使其目标区域位于视野内获得感兴趣区域(ROI)；6)根据3)所得结果，利用几何特征精确定位得目标点图像坐标；7)结合测距传感器的深度信息，得到舱门目标点的世界坐标；8)根据所得世界坐标，控制机器人行为。

【技术特征摘要】
1.基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于：通过结合激光测距传感器的单目视觉系统来实现机器人对舱门的实时定位，以达到机器人的行为目的，包括以下步骤：1)利用张正友标定算法标定摄像机的内参、畸变参数；2)建立起基于视觉深度的三维定位模型；3)视频图像实时拍摄；4)分割目标区域；5)判断视野内的舱门情况，以使其目标区域位于视野内获得感兴趣区域(ROI)；6)根据3)所得结果，利用几何特征精确定位得目标点图像坐标；7)结合测距传感器的深度信息，得到舱门目标点的世界坐标；8)根据所得世界坐标，控制机器人行为。2.根据权利要求1所述的基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于步骤2)包括以下几步：2.1)标定已知位置下的外参首先，外参由旋转矩阵与平移向量构成，即[R|t]＝[r1r2r3t]，其中s为世界坐标系到图像坐标系的尺度因子，K为摄像机内参，R为旋转矩阵，T为平移向量，H是一个齐次矩阵，根据张正友标定法原理的推导可得：则r3＝r1×r2，t＝λK-1h3可得该位置下的一组外参[R0|t0]；2.2)坐标换算模型需要定义以下几个坐标系：坐标系{C}：摄像机坐标系，原点与光心重合，Z轴为摄像机的光轴；坐标系{S}：机器人上的已知位置三维坐标系，该坐标系需与外参标定板的位置关系已知；坐标系{W}：机器人上的最终世界坐标系，与坐标系{S}的位置关系已知；坐标系{D}：引入一个与坐标系{C}原点重合，即该坐标系与坐标系{C}之间的位置关系只有旋转无平移；且与摄像机坐标系{S}的坐标轴方向一致，即该坐标系与坐标系{S}之间的位置关系只有平移无旋转。通过该坐标系来计算目标点的三维坐标；坐标的整体模型如下：根据上述张正友标定法得到已知位置P0下的一组外参[R0|t0]，首先，从坐标系的定义可知，结合该外参标定板和坐标系{S}的已知关系，可获得坐标系{C}下坐标系{S}位置关系的旋转矩阵和平移矩阵计算得到摄像机光心相对于坐标系{S}原点的Z方向上的距离由于坐标系{D}相对于坐标系{C}原点重合，即只有旋转无平移；坐标系{D}相对于坐标系{S}只是原点偏移，即只有平移无旋转，所以也可得到坐标系{D}跟坐标系{S}的关系通过坐标系位置关系的传递可得坐标系{D}与坐标系{C}的关系，如下：最后就可得到归一化的坐标从坐标系{C}转换到坐标系{D}，即可计算出对应点的在{D}坐标系下的归一化坐标PD＝[XD,YD,ZD]T。3.根据权利要求1所述的基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于：在步骤3)中，采用摄像头进行图像的实时拍摄，该摄像头安装在机器人部件上，与舱门底边相近高度，且其拍摄方向尽量与舱门平面垂直，以保证摄像头的视场覆盖整个舱门目标区域且镜头畸变较小。4.根据权利要求1所述的基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于步骤4)中主要步骤如下：4.1)分割舱门的侧边与底边首先机器人的摄像机安装固定，且由于摄像机视场的限制本方案的应用场景为在距离舱门一定范围内拍摄，根据所得图像的像素灰度值进行统计分析，观察得舱门边框的像素分布规律，如针对具有明显标志线的舱门边框，具有同行或同列相邻前一像素灰度值减后一像素的灰度值的灰度差，在舱门边框附近呈类正弦函数的正负峰值分布，故而分割算法可分别计算灰度图的横向、纵向相邻像素灰度差结果，根据舱门侧边、底边的梯度宽度特征介于固定范围内，进行灰度差结果图的阈值二值化运算，可分别得舱门两侧边和底边的提取结果二值图，也即可分别初步提取出舱门的两侧边、底边。4.2)分割ROI在侧边、底边提取结果的基础上进行中值滤波，根据Seed-filling种子填充法进行连通域分析，除去一些太窄/太宽的连通域后，并分别找两条高度最高的连通域connected-D1,connected-D2，以及一条宽度最宽的连通域connected-D3，即为舱门两侧边、底边的提取结果，获得这三条连通域的两端点、高、宽数据，并返回两侧边连通域connected-D1,connected-D2的最底点Pconnected-D1.b、Pconnected-D2.b，以及底边连通域connected-D3的两端点Pconnected-D3.t、Pconnected-D3.b，这四点即为目标附近点；后续基于该步骤的检测结果判断舱门各边的检测情况，并划分舱门图像感兴趣区域(ROI)。5.根据权利要求4所述的基于单目机器人与测距传感器结合的舱门实时定位方法，其特征在于：在步骤5)中，根据步骤4)中所得的四个点Pconnected-D1.b、Pconnected-D2.b、Pconnected-D3.t、Pconnected-D3.b判断视野内的舱门情况，由于舱门在机器人摄像机的视野范围内的不确定性，且有可能只拍摄到舱门的部分区域，故而可分为以下7中情况：情况1：舱门的整个下半部分均不在视野范围内。即满足要求的三条连通域在步骤4)中都未被检测到，返回结果以使机器人随机移动，并进行下一帧的图像处理；情况2：只拍摄到舱门的左/右半侧边，即在步骤4)中只检测到侧边连通域connected-D1/connected-D2中的一条，根据Pconnec...

【专利技术属性】
技术研发人员：邱姣姣，葛红，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东,44