The invention discloses a robot surface motion positioning method and a motion positioning system. The method uses RGB D depth camera to obtain the color image and depth image of the surface in front of the robot motion for feature matching, records the triaxial angular velocity and triaxial acceleration values of the inertial measurement unit, optimizes the rotation matrix and translation vector obtained by feature matching, and according to the depth image. Point cloud stitching. At the same time, according to the output value of wheel encoder, the motion speed of the robot is calculated. In the grid, the planar odometer method is used to calculate the displacement of the robot. The depth point cloud stitching method adopted in the invention makes full use of all scene information of robot surface movement, uses encoder to obtain real-time speed of the robot, improves the position and attitude positioning accuracy of the robot movement on the surface for a long time, and has strong anti-interference ability.
【技术实现步骤摘要】
机器人曲面运动定位方法及其运动定位系统
本专利技术涉及一种计算机视觉技术，具体涉及一种机器人曲面运动定位方法及其运动定位系统。
技术介绍
随着机器人技术的发展以及人力成本的增加，机器人代替人工进行高层建筑外墙清洗、大型结构件表面检测和维护、大型船舶等大型设备焊接及检测，可以提高生产效率、降低制造成本、减少人工劳动强度和操作风险。工业爬壁机器人由作业平台和能够吸附壁面运动的移动底盘组成，能实现在垂直壁面等危险环境移动和作业。工业爬壁机器人需要根据自身的姿态和位置信息调整作业单元的角度和位置，如焊接、打磨、表面清洗等等。机器人作业于相对封闭环境内、三维复杂空间曲面上时，无法接收到GPS信号，也很难去搭建人工标记用于绝对位置定位和姿态定位，采用磁吸附方式的机器人搭载的磁强计输出值也不可靠。在相对定位方法中，采用陀螺仪估计姿态，加速度计积分估计位置的捷联惯导法在短时间内定位精度较高，但长时间运行漂移误差累计。利用相机等视觉传感器的导航技术近年来也得到了广泛应用，但是大型结构件或大型设备表面存在少纹理区域，纯视觉导航效果不佳。采用相机和惯性测量单元组合进行位置和姿态定位的方...
【技术保护点】
1.一种机器人曲面运动定位方法，其特征在于，所述方法包括如下步骤：1)建立机器人曲面运动定位系统，定义坐标系：机器人曲面运动定位系统包括机器人及其设置在机器人上的附属机构，所述附属机构包括RGB‑D相机、惯性测量单元、增量式编码器、吸附机构和运动机构，所述吸附机构用于使机器人吸附在物体表面，所述运动机构用于驱动机器人运动；所述坐标系包括空间惯性坐标系、RGB‑D相机坐标系、图像平面坐标系、机器人坐标系；2)机器人开始运动，采集RGB‑D深度相机的深度图像和彩色图像，从当前帧中提取ORB特征点，计算三维坐标，如果是第一帧，保存所述第一帧特征点和对应深度，否则与上一帧图像进行O...
【技术特征摘要】
1.一种机器人曲面运动定位方法，其特征在于，所述方法包括如下步骤：1)建立机器人曲面运动定位系统，定义坐标系：机器人曲面运动定位系统包括机器人及其设置在机器人上的附属机构，所述附属机构包括RGB-D相机、惯性测量单元、增量式编码器、吸附机构和运动机构，所述吸附机构用于使机器人吸附在物体表面，所述运动机构用于驱动机器人运动；所述坐标系包括空间惯性坐标系、RGB-D相机坐标系、图像平面坐标系、机器人坐标系；2)机器人开始运动，采集RGB-D深度相机的深度图像和彩色图像，从当前帧中提取ORB特征点，计算三维坐标，如果是第一帧，保存所述第一帧特征点和对应深度，否则与上一帧图像进行ORB特征匹配，形成特征点对，并将特征点的ORB特征和对应特征点坐标加入BoW中，以特征点对在图像中的坐标(u，v)和在RGB-D相机坐标系中的三维坐标(x，y，z)作为输入参数，调用OpenCV中的SolvePnPRansac函数求解匹配连续两帧的图像特征点，获得机器人在两帧图像之间的旋转矩阵Rk和平移向量并对深度图像点云拼接成曲面；3)对步骤2)拼接好的点云表面进行网格划分，对这些网格编号；将每个网格称为近似平面Si(i＝1,2，3…)；计算近似平面Si到空间惯性坐标系的变换矩阵Cis；4)根据步骤3)判断机器人的空间位置及所处的近似平面，同时采集机器人两只驱动轮编码器输出值，计算机器人运动速度，在所在近似平面内采用平面里程计法计算机器人位移，求得机器人在空间惯性坐标系中的三维坐标；5)根据步骤4)计算的机器人的三维坐标和构成近似平面的离散点，采用PNPoly算法判断机器人是否停留在步骤3)的近似平面内，如果仍在该近似平面内，继续采用平面里程计法计算，否则根据机器人位置坐标寻找其所在的近似平面，并返回步骤4)；6)选取从第k-n帧到第k帧的图像帧，计算特征点对对应的共同特征点在第k帧的重投影误差、第k帧时由步骤2中的特征点对获得的机器人旋转矩阵和惯性测量单元输出的第k-1帧与第k帧之间的三轴角速度积分获取的旋转矩阵的误差值、第k帧时步骤4)中平面里程计法计算的机器人位移与步骤2)机器人位移的误差值、第k帧时步骤4)中平面里程计法计算的机器人三维坐标对应点与步骤2)点云曲面的距离；7)对步骤6)计算的误差构造非线性最小二乘优化函数，通过高斯牛顿法迭代求解出第k帧时机器人的旋转矩阵和平移向量；8)寻找关键帧中特征点是否出现在词袋中，如果是，根据关键帧特征点重投影误差修正当前旋转矩阵和位置，否则将特征点并入词袋，返回步骤2)。2.根据权利要求1所述的机器人曲面运动定位方法，其特征在于：步骤2)中，计算特征点在RGB-D相机坐标系中对应的三维坐标公式如式(1)(2)：其中fx和fy是相机在X和Y两轴上的焦距；cx和cy是相机光圈中心；s是深度图像的缩放因子；u和v是特征点在图像中的坐标；(x，y，z)是特征点在图像坐标系中的三维坐标。3.根据权利要求1所述的机器人曲面运动定位方法，其特征在于：步骤3)中，划分网格的方法是：在彩色图像中，设定筛选半径为R，在步骤2)提取的ORB特征点中，筛选出欧式距离半径R内特征点数量超过20的点pj，根据步骤2)点云曲面计算点pj所在的切平面法向量构造成一个离散点以构造的离散点为节点，并随机器人运动形成离散点集，划分成网格。4.根据权利要求1所述的机器人曲面运动定位方法，其特征在于：步骤4)中，获取机器人在空间惯性坐标系中的三维坐标的步骤为：当机器人在物体表面运动时，在时刻t，根据其位置坐标判断其所处近似平面Si，在近似平面Si内运动时，驱动轮编码器采样次数为N，采样时间间隔恒定为f，计算近似平面内的位移d(t+Nf)如式(3)所示：其中机器人平面内运动方向vl，vr分别为左右驱动轮的速度；由近似平面到空间坐标系的变换矩阵Cis将机器人在近似平面Si中的位移变化映射到空间惯性坐标系中，求得机器人在下一时刻的三维坐标5.根据权利要求1所述的机器人曲面运动定位方法，其特征在于：步骤6)中选取从第k-n帧到第k帧的图像帧，计算特征点对对应的共同特征点在当前图像第k帧的重投影误差如式(4)所示，其中，α是图像帧序数，β是第α帧图像中共同特征点的个数；是第α帧图像中第β个共同特征点在第k帧彩色图像中对应的RGB-D相机坐标系下的三维坐标；是第α帧图像中第β个共同特征点在第α帧彩色图像中对应的RGB-D相机坐标系下的三维坐标；Rα+1是第α帧和第α+1帧之间的旋转矩阵；是第α帧和第α+1帧之间的位移。6.根据权利要求1所述的机器人曲面运动定位方法，其特征在于：与第k帧的对应时刻，通过步骤2)的特征点对获得的机器人旋转矩阵和惯性测量单元输出第k-...
【专利技术属性】
技术研发人员：张文，孙振国，陈咏华，张文东，陈强，
申请(专利权)人：清华大学，浙江清华长三角研究院，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。