一种用于协作机器人位姿估计的图像数据集快速构建方法技术

本发明专利技术公开了一种用于协作机器人位姿估计的图像数据集快速构建方法，包含步骤：在机器人基座与相机相对固定的情况下，保证机器人的运动范围处于相机的视野范围内，将标定板与机器人的末端固定连接，保证标定板的坐标系的唯一性，同时保存每张标定板的图片对应的机器人的末端的工具中心点位姿数据；根据所得到的多组标定板的图片与对应的机器人的末端的工具中心点位姿数据，设计标定算法以求解机器人的基座坐标系到相机的坐标系的第一变换矩阵及相机内参，根据机器人的DH参数及构型完成机器人的关键点图像像素点的映射，并进一步生成相关的数据信息。该种方法具有自动化程度高、速度快、准确率高、信息丰富等优势，保证了后续工作的可靠性。

A Fast Method for Constructing Image Data Set for Posture Estimation of Collaborative Robots

【技术实现步骤摘要】
一种用于协作机器人位姿估计的图像数据集快速构建方法
本专利技术涉及机器人领域，尤其涉及一种用于协作机器人位姿估计的图像数据集快速构建方法。
技术介绍
近年来，随着深度学习等新型机器学习算法在图像领域取得重大突破，如何将深度学习等新型算法迁移到机器人领域也逐渐成为该领域的研究热点，目前机器人领域结合深度学习算法最为成功的案例是Bin-Picking，即散乱物体的位姿识别与抓取，其中使用到的通常是二维图像或三维点云的数据集，虽然在其他任务中诸如机器人避障运动规划中不一定使用图像等视觉信息，并取得了一定的进展，但通常都是在实验环境或仿真环境下实现，难以应用于实际生产工作中，因此，采用视觉信息构建数据集是深度学习算法的主流方向。深度学习等机器学习算法往往要求大规模的数据集才能取得较为理想的结果，如果使用图像领域中的手工标注数据集的方法过于费时费力，难以短时间构建规模较大的数据集。机器人领域使用图像信息作为数据集的优势在于，机器人可以使用本体的DH等关键参数进行精确建模，获得机器人本身任意位置的详细信息，同时结合张正友提出的一种简单的相机标定方法，通过拍摄多张标定板图像，经过图像处理，可以获得精确的相机内外参数，再结合机器人末端位姿数据，可以标定出机器人基座和相机坐标系的变换关系，由此完成机器人基座坐标系到相机坐标系再到图像像素坐标系的精确映射。协作机器人是近年来机器人领域的热点，为了保证它的本质安全性，它在设计、结构与传感器的使用上区别于传统工业机器人，由此可以实现同一工作区中的人机协作任务。但是现阶段由于机器人内部传感器数据的单一性，例如往往只能根据检测所受的外力矩大小来判断是否碰撞，难以保证整个任务的安全性，因此在真正的人机协作场景中需要加入外部传感器结合安全检测算法来实时监测协作机器人的位姿，作为整个系统安全的另一层保障。因此，本领域的技术人员致力于开发一种用于协作机器人位姿估计的图像数据集快速构建方法，该种方法相对于图像领域的手工标注方法具有速度快、准确率高、信息丰富等优势，对使用的协作机器人种类没有特定要求，可以快速应用于不同的协作机器人场景。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何解决使用机器学习算法进行协作机器人位姿估计的数据集采集问题，可以大幅度的提高数据集采集效率，并确保数据集的准确性和稳定性。为实现上述目的，本专利技术提供了一种用于协作机器人位姿估计的图像数据集快速构建方法，包含如下步骤：步骤1：在机器人基座与相机相对固定的情况下，保证所述机器人的运动范围处于所述相机的视野范围内，将标定板与所述机器人的末端固定连接，保证所述标定板的坐标系的唯一性，同时保存每张所述标定板的图片对应的所述机器人的末端的工具中心点位姿数据；步骤2：根据步骤1中所得到的多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据，基于张正友棋盘格标定法标定相机内外参数，设计标定算法以求解所述机器人的基座坐标系到所述相机的坐标系的第一变换矩阵；步骤3：根据所述机器人的关节-轴参数及构型解算出所述机器人的关键点在机器人基座坐标系下的位置，同时结合步骤2中得到的所述第一变换矩阵与所述相机内参矩阵，完成所述机器人的关键点在图像像素点的映射。进一步地，步骤1中的所述标定板的两边棋盘格数目分别为奇数和偶数，以保证棋盘格坐标系原点的不变性和采集过程中标定板坐标系的稳定性。进一步地，步骤1中的机器人的所述工具中心点位姿被设置为在六个自由度上均发生变化，以获得多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据。进一步地，获取与多组所述标定板的图片对应的工具中心点位姿数据包括步骤：步骤1.1：记机器人末端工具中心点初始位姿表示为(x,y,z,rx,ry,rz)，其中x,y,z是工具中心点初始坐标数据，rx,ry,rz为工具中心点的旋转向量表示；步骤1.2：将步骤1.1的所述工具中心点位姿转换为旋转矩阵形式，如式(1)：式(1)中,θ＝norm(r)，I为对角阵；步骤1.3：将步骤1.2中所得的旋转矩阵，转换为齐次矩阵T0:其中，步骤1.4：设第二变换矩阵为其中r1,r2,r3,t分别是3×1的列向量，计算经过变换后的工具中心点位姿公式如式(2)：Tn＝TfT0(2)步骤1.5：依次改变r1,r2,r3,t向量的值，得到工具中心点在六个自由度发生变化后的位姿。进一步地，步骤2中第一变换矩阵的求解过程如下：步骤2.1：构建等式：TG2T＝TG2CTC2BTB2T；其中，TG2C为相机外参，即所述标定板的坐标系到所述相机的坐标系的变换矩阵；TG2T为固定不变的所述标定板的坐标系到工具中心点坐标系的变换矩阵；TT2B为所述机器人的位姿数据，即所述工具中心点坐标系到所述机器人的基座的坐标系的变换矩阵；TB2C为所述机器人的基座的坐标系到所述相机的坐标系的变换矩阵；TC2B,TB2T分别是TB2C,TT2B的逆阵；步骤2.2：记TG2C＝D，TB2T＝E，TC2B＝X，构建矩阵A和矩阵B，满足式(3)：其中，矩阵下标n表示第n次的采集数据；步骤2.3：求解步骤2.2中所述矩阵X，X的逆矩阵即为第一变换矩阵TB2C。进一步地，步骤2中的所述相机内参矩阵是相机坐标系到图像坐标系的变换矩阵，记为II，其中，fx,fy,u,v是标定参数。进一步地，步骤3中计算所述机器人的关键点在机器人基座坐标系下的位置，具体包括以下步骤：步骤3.1：选择相对机器人基座不动的关键点作为关键点基准原点，并记为步骤3.2：以步骤3.1的p1为出发点，以机器人其他关键点离基准原点动作自由度远近，按照DH方法依次计算各关键点在机器人基座坐标系下的位置，并将坐标记为记为pi(i＝2,3,4…)；pi为其他关键点的坐标向量。进一步地，步骤3中求所述机器人的关键点至图像像素点的映射包括以下步骤：步骤8.1：构建所述齐次坐标其中pi是关键点i(i＝1,2,3,4…)在机器人基座坐标系下的空间坐标；步骤8.2：记其中x,y是实际像素位置乘以尺度因子的结果，z为该尺度因子；T为第一变换矩阵；步骤8.3：关键点i的实际像素位置进一步地，还包括基于所述关键点的实际像素位置和相机图像分辨率大小，生成图像中机器人的包围框，具体步骤如下：步骤9.1：构建包含所有所述关键点实际像素位置的点集<pi>；步骤9.2：对所述点集<pi>的元素坐标，分别按照x,y方向进行最大最小排列获得pmin(xmin,ymin),pmax(xmax,ymax)，为所述点集中横纵坐标最小和最大的点；步骤9.3：在所述步骤9.2的基础上，根据实际相机图像分辨率大小生成图像中机器人的包围框，其中，所述包围框的左上角和右下角点坐标分别为：pbox1＝(xmin-0.05h,ymin-0.05h)pbox2＝(xmax+0.05h,ymax+0.05h)其中，h为图像的像素高度，pbox1为所述包围框左上角点，pbox2为所述包围框右下角点。进一步地，步骤3之后还包括保存步骤，保存内容包括所述相机采集的图像、各关键点在图像像素所在的横纵坐标、各关键点在相机坐标系下的三维坐标。与现有技术相比，本专利技术针对目前图像数据集使用人工标注的缺点，结合机器人自身的构型特本文档来自技高网...

【技术保护点】
1.一种用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，包含如下步骤：步骤1：在机器人基座与相机相对固定的情况下，保证所述机器人的运动范围处于所述相机的视野范围内，将标定板与所述机器人的末端固定连接，保证所述标定板的坐标系的唯一性，同时保存每张所述标定板的图片对应的所述机器人的末端的工具中心点位姿数据；步骤2：根据步骤1中所得到的多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据，基于张正友棋盘格标定法标定相机内外参数，求解所述机器人的基座坐标系到所述相机的坐标系的第一变换矩阵；步骤3：根据所述机器人的关节‑轴参数及构型解算出所述机器人的关键点在机器人基座坐标系下的位置，同时结合步骤2中得到的所述第一变换矩阵与所述相机内参矩阵，完成所述机器人的关键点在图像像素点的映射。

【技术特征摘要】
1.一种用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，包含如下步骤：步骤1：在机器人基座与相机相对固定的情况下，保证所述机器人的运动范围处于所述相机的视野范围内，将标定板与所述机器人的末端固定连接，保证所述标定板的坐标系的唯一性，同时保存每张所述标定板的图片对应的所述机器人的末端的工具中心点位姿数据；步骤2：根据步骤1中所得到的多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据，基于张正友棋盘格标定法标定相机内外参数，求解所述机器人的基座坐标系到所述相机的坐标系的第一变换矩阵；步骤3：根据所述机器人的关节-轴参数及构型解算出所述机器人的关键点在机器人基座坐标系下的位置，同时结合步骤2中得到的所述第一变换矩阵与所述相机内参矩阵，完成所述机器人的关键点在图像像素点的映射。2.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，步骤1中的所述标定板的两边棋盘格数目分别为奇数和偶数，以保证棋盘格坐标系原点的不变性和采集过程中标定板坐标系的稳定性。3.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，步骤1中的机器人的所述工具中心点位姿被设置为在六个自由度上均发生变化，以获得多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据。4.如权利要求3所述的用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，所述步骤1获取与多组所述标定板的图片对应的工具中心点位姿数据包括以下步骤：步骤1.1：记机器人末端工具中心点初始位姿表示为(x,y,z,rx,ry,rz)，其中x,y,z是工具中心点初始坐标数据，rx,ry,rz为工具中心点的旋转向量表示；步骤1.2：将步骤1.1的所述工具中心点位姿转换为旋转矩阵形式，如式(1)：式(1)中,θ＝norm(r)，I为对角阵；步骤1.3：将步骤1.2中所得的旋转矩阵，转换为齐次矩阵T0:其中，步骤1.4：设第二变换矩阵为其中r1,r2,r3,t分别是3×1的列向量，计算经过变换后的工具中心点位姿公式如式(2)：Tn＝TfT0(2)步骤1.5：依次改变r1,r2,r3,t向量的值，得到工具中心点在六个自由度发生变化后的位姿。5.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法，其特征在于，步骤2中第一变换矩阵的求解过程如下：步骤2.1：构建等式：TG2T＝TG2CTC2BTB2T；其中，TG2C为相机外参，即所述标定板的坐标系到所述相机的坐标系的变换矩阵；TG2T为固定不变的所述标定板的坐标系到工具中心点坐标系的变换矩阵；TT2B为所述机器人的位姿数据，即所述工具中心点坐标系到所述机器人的基座的坐标系的变换矩阵；TB2C为所...

【专利技术属性】
技术研发人员：庄春刚，朱向阳，周凡，沈逸超，赵恒，朱磊，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31