一种基于RGB-D相机的机器人手眼系统及其自标定方法技术方案

本发明专利技术公开了一种基于RGB‑D相机的机器人手眼系统及其自标定方法，涉及机器人技术领域，包括以下步骤：(1)机器人通过底座固定在台面上，通过连接件带动RGB‑D相机运动，获取一系列环境的深度图，并同时记录下机器人位姿；(2)利用连续的深度图对所拍摄场景进行三维重建，获取拍摄每一张深度图时相机的位姿；(3)将同一时刻的相机位姿和机器人位姿结合构成关于机器人末端和相机相对位姿的约束方程；(4)将所有时刻位姿组合构建一个关于机器人末端和相机相对位姿的方程组；(5)通过Tsai‑Lenz方法对方程组进行求解，得到机器人末端和相机的相对位姿。本发明专利技术不需要借助特殊的标记物，并且算法简单，可用于在线标定，大大提高了机器人手眼标定的效率。

【技术实现步骤摘要】
一种基于RGB-D相机的机器人手眼系统及其自标定方法
本专利技术涉及机器人
，尤其涉及一种基于RGB-D相机的机器人手眼系统及其自标定方法
技术介绍
在“中国制造2025”计划提出的背景下，中国工业对柔性生产线和智能机器人的需求越来越迫切。让机器人智能化的一种重要手段就是利用机器视觉给予机器人看的能力。机器视觉指的是通过视觉传感器获取环境的图像信息，使得机器具有视觉感知的功能。通过机器视觉，可以让机器人辨识物体，并确定物体的位置。机器人的运动坐标系和相机的坐标系之间通过“手眼标定”进行结合，这里可以将机器人的末端执行器看作人的手，而视觉传感器看作人的眼睛。机器人手眼系统一般分为两种，眼在手上(eye-in-hand)和眼在手外(eye-to-hand)，前者将视觉传感器固定在机器人末端执行器上，可以随着机器人末端运动，后者将视觉传感器固定在环境中，不随机器人末端运动。前者往往具有更高的灵活性，而且使得机器人的动作具有更高的精度。传统的机器人手眼系统采用高精度的标记物，如立方体或者棋盘格等装置，在图像中提取角点，并通过射影几何方式计算出相机到标记物的相对位置，同时记录下机器人末端的位置，通过多次拍摄得到多组数据计算机器人末端到相机之间的相对位姿。但是这种方法由于需要高精度的标记物，往往需要做离线标定，大大限制了这种标定方法的使用范围。因此，本领域的技术人员致力于开发一种基于RGB-D相机的机器人手眼系统及其自标定方法，该方法不需要特殊的标记物，只需要机器人周围环境具有一定的空间复杂度，即可通过算法计算进行手眼系统的离线或者在线标定。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是克服现有技术中需要高精度的标记物，限制了传统标定方法的使用范围的缺点，解决传统标定方法需要使用高精度的标记物导致只能进行离线标定的问题。为实现上述目的，本专利技术提供了一种基于RGB-D相机的机器人手眼系统自标定方法，包括以下步骤：步骤S1、通过机器人带动安装在机器人末端的RGB-D相机运动，获取一系列周围环境深度图，并记录下同一时刻机器人的位姿信息；步骤S2、利用一系列连续的深度图对所拍摄场景进行三维重建，从而获得每张深度图拍摄时的相机位姿；步骤S3、将同一时刻的相机位姿和机器人位姿结合成一个数据对，并将任意两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程；步骤S4、将所有时刻位姿两两组合构建一个大的关于机器人末端和相机相对位姿的方程组；步骤S5、采用Tsai-Lenz算法对方程组进行求解，得到机器人末端和相机的相对位姿。同时本专利技术提供了一种基于RGB-D相机的机器人手眼系统，包括机器人、工作台、机器人基座、刚性连接件、RGB-D相机和机器人末端执行器；所述机器人基座设置在所述工作台上；所述机器人设置在所述机器人基座上；所述刚性连接件设置在所述机器人末端；所述RGB-D相机设置在所述刚性连接件上；所述机器人末端执行器设置在所述刚性连接件上。进一步地，所述获取同一时刻的机器人位姿和RGB-D相机的深度图，是通过硬件触发或者软件触发的方式触发所述RGB-D相机获取一帧图像，同时通过socket或者机器人API获取所述机器人位姿。进一步地，所述根据一系列连续的深度图对所拍摄的场景进行三维重建，是通过TSDFVolume模型将多帧深度图进行融合，对所述场景进行三维重建并估计出每一张深度图对应的所述RGB-D相机位姿。进一步地，所述将两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程，是通过在连续的多时刻数据中任意选取两个时刻的数据进行组合，建立的约束方程是最基本的位姿矩阵变换，没有其它先验假设。进一步地，所述通过Tsai-Lenz方法对方程组进行求解以得到机器人末端和相机的相对位姿，是通过将所述机器人末端与所述相机之间相对变换矩阵的旋转和平移部分分开求解，采用罗德里格斯参数表示位姿的变化，先求解旋转向量，再求解旋转矩阵。进一步地，所述步骤S1中RGB-D相机位置被设置为参考坐标系的原点，方向矩阵为单位阵。进一步地，所述机器人在移动过程中，任意两个位姿之间满足以下公式：其中下标g表示机器人末端坐标系，c代表相机坐标系，i、j表示记录的位姿序号，如：c_i表示第i组记录的位姿中相机坐标系，Hcjci表示将空间中点在从处于i位姿时相机坐标系中的坐标转换为处于j位姿时相机坐标系中的坐标。进一步地，所述机器人基座与所述工作台刚性连接，所述RGB-D相机与所述机器人末端执行器之间刚性连接，所述机器人能够带着所述RGB-D相机和所述末端执行器一起运动。进一步地，所述工作台是包括工作台面在内的视觉传感器周围的所有环境信息。与现有技术相比，本专利技术不需要借助特殊的标记物，并且算法简单，可用于在线标定，大大提高了机器人手眼标定的效率。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的一个较佳实施例的手眼标定基本模型示意图；图2是本专利技术的一个较佳实施例的手眼标定系统结构示意图。具体实施方式以下参考说明书附图介绍本专利技术的多个优选实施例，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，本专利技术的保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。本专利技术采用以下技术方案：将RGB-D相机固定在机器人末端执行器上，让RGB-D相机可以随着机器人末端移动，并且保持两者的连接是刚性的，不会有相对移动。操作机器人进行运动并通过深度传感器采集机器人周围环境的深度图数据。以采集到第一张深度图时相机的姿态作为参考坐标系对机器人周围的环境进实时三维重建，同时记录下每一次采集深度图数据时机器人的位姿。在对机器人周围环境进行重建的同时可以估计出每一次采集到深度图时的相机相对参考坐标系的位姿。对于这种形式的机器人手眼系统，其基本模型如图1所示。在机器人移动过程中，任意两个位姿之间满足以下公式：其中下标g表示机器人末端坐标系，c代表相机坐标系，i、j表示记录的位姿序号，如：ci表示第i组记录的位姿中相机坐标系，Hcjci表示将空间中点在从处于i位姿时相机坐标系中的坐标转换为处于j位姿时相机坐标系中的坐标。由于机器人末端与相机之间的相对位置是固定的，因此Hgc省略了下标i,j。令A＝Hgjgi，B＝Hgjgi，X＝Hgc，则公式(1)可以简记为：AX＝XB(2)将上式拆分，写成分块矩阵的形式为：其中R和t分别是变换矩阵中的旋转和平移分量，比较等式两侧可以得到方程组：对于方程组(5)的求解，本专利技术采用Tsai两步求解法，该方法通常被称为Tsai-Lenz方法，是最广泛使用的机器人手眼标定方法之一。如图2所示，本专利技术的机器人手眼自标定方法包括：机器人底座1，机器人2，机器人末端与视觉传感器的刚性连接装置3，机器人末端执行器4，该末端执行器是机器人执行具体任务的执行机构，RGB-D视觉传感器5，工作台环境6，本专利本文档来自技高网...

【技术保护点】
1.一种基于RGB‑D相机的机器人手眼系统自标定方法，其特征在于，包括以下步骤：步骤S1、通过机器人带动安装在机器人末端的RGB‑D相机运动，获取一系列周围环境深度图，并记录下同一时刻机器人的位姿信息；步骤S2、利用一系列连续的深度图对所拍摄场景进行三维重建，从而获得每张深度图拍摄时的相机位姿；步骤S3、将同一时刻的相机位姿和机器人位姿结合成一个数据对，并将任意两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程；步骤S4、将所有时刻位姿两两组合构建一个大的关于机器人末端和相机相对位姿的方程组；步骤S5、采用Tsai‑Lenz算法对方程组进行求解，得到机器人末端和相机的相对位姿。

【技术特征摘要】
1.一种基于RGB-D相机的机器人手眼系统自标定方法，其特征在于，包括以下步骤：步骤S1、通过机器人带动安装在机器人末端的RGB-D相机运动，获取一系列周围环境深度图，并记录下同一时刻机器人的位姿信息；步骤S2、利用一系列连续的深度图对所拍摄场景进行三维重建，从而获得每张深度图拍摄时的相机位姿；步骤S3、将同一时刻的相机位姿和机器人位姿结合成一个数据对，并将任意两组不同时刻的数据对进行组合以构成关于机器人末端和相机相对位姿的约束方程；步骤S4、将所有时刻位姿两两组合构建一个大的关于机器人末端和相机相对位姿的方程组；步骤S5、采用Tsai-Lenz算法对方程组进行求解，得到机器人末端和相机的相对位姿。2.一种基于RGB-D相机的机器人手眼系统，其特征在于，包括机器人、工作台、机器人基座、刚性连接件、RGB-D相机和机器人末端执行器；所述机器人基座设置在所述工作台上；所述机器人设置在所述机器人基座上；所述刚性连接件设置在所述机器人末端；所述RGB-D相机设置在所述刚性连接件上；所述机器人末端执行器设置在所述刚性连接件上。3.如权利要求1所述的基于RGB-D相机的机器人手眼系统自标定方法，其特征在于，所述获取同一时刻的机器人位姿和RGB-D相机的深度图，是通过硬件触发或者软件触发的方式触发所述RGB-D相机获取一帧图像，同时通过socket或者机器人API获取所述机器人位姿。4.如权利要求1所述的基于RGB-D相机的机器人手眼系统自标定方法，其特征在于，所述根据一系列连续的深度图对所拍摄的场景进行三维重建，是通过TSDFVolume模型将多帧深度图进行融合，对所述场景进行三维重建并估计出每一张深度图对应的所述RGB-D相...

【专利技术属性】
技术研发人员：李明洋，王家鹏，任明俊，
申请(专利权)人：上海节卡机器人科技有限公司，
类型：发明
国别省市：上海,31