【技术实现步骤摘要】
一种用于协作机器人位姿估计的图像数据集快速构建方法
本专利技术涉及机器人领域,尤其涉及一种用于协作机器人位姿估计的图像数据集快速构建方法。
技术介绍
近年来,随着深度学习等新型机器学习算法在图像领域取得重大突破,如何将深度学习等新型算法迁移到机器人领域也逐渐成为该领域的研究热点,目前机器人领域结合深度学习算法最为成功的案例是Bin-Picking,即散乱物体的位姿识别与抓取,其中使用到的通常是二维图像或三维点云的数据集,虽然在其他任务中诸如机器人避障运动规划中不一定使用图像等视觉信息,并取得了一定的进展,但通常都是在实验环境或仿真环境下实现,难以应用于实际生产工作中,因此,采用视觉信息构建数据集是深度学习算法的主流方向。深度学习等机器学习算法往往要求大规模的数据集才能取得较为理想的结果,如果使用图像领域中的手工标注数据集的方法过于费时费力,难以短时间构建规模较大的数据集。机器人领域使用图像信息作为数据集的优势在于,机器人可以使用本体的DH等关键参数进行精确建模,获得机器人本身任意位置的详细信息,同时结合张正友提出的一种简单的相机标定方法,通过拍摄多张标定板图像,经过图像处理,可以获得精确的相机内外参数,再结合机器人末端位姿数据,可以标定出机器人基座和相机坐标系的变换关系,由此完成机器人基座坐标系到相机坐标系再到图像像素坐标系的精确映射。协作机器人是近年来机器人领域的热点,为了保证它的本质安全性,它在设计、结构与传感器的使用上区别于传统工业机器人,由此可以实现同一工作区中的人机协作任务。但是现阶段由于机器人内部传感器数据的单一性,例如往往只能根据检测所受的外 ...
【技术保护点】
1.一种用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,包含如下步骤:步骤1:在机器人基座与相机相对固定的情况下,保证所述机器人的运动范围处于所述相机的视野范围内,将标定板与所述机器人的末端固定连接,保证所述标定板的坐标系的唯一性,同时保存每张所述标定板的图片对应的所述机器人的末端的工具中心点位姿数据;步骤2:根据步骤1中所得到的多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据,基于张正友棋盘格标定法标定相机内外参数,求解所述机器人的基座坐标系到所述相机的坐标系的第一变换矩阵;步骤3:根据所述机器人的关节‑轴参数及构型解算出所述机器人的关键点在机器人基座坐标系下的位置,同时结合步骤2中得到的所述第一变换矩阵与所述相机内参矩阵,完成所述机器人的关键点在图像像素点的映射。
【技术特征摘要】
1.一种用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,包含如下步骤:步骤1:在机器人基座与相机相对固定的情况下,保证所述机器人的运动范围处于所述相机的视野范围内,将标定板与所述机器人的末端固定连接,保证所述标定板的坐标系的唯一性,同时保存每张所述标定板的图片对应的所述机器人的末端的工具中心点位姿数据;步骤2:根据步骤1中所得到的多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据,基于张正友棋盘格标定法标定相机内外参数,求解所述机器人的基座坐标系到所述相机的坐标系的第一变换矩阵;步骤3:根据所述机器人的关节-轴参数及构型解算出所述机器人的关键点在机器人基座坐标系下的位置,同时结合步骤2中得到的所述第一变换矩阵与所述相机内参矩阵,完成所述机器人的关键点在图像像素点的映射。2.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,步骤1中的所述标定板的两边棋盘格数目分别为奇数和偶数,以保证棋盘格坐标系原点的不变性和采集过程中标定板坐标系的稳定性。3.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,步骤1中的机器人的所述工具中心点位姿被设置为在六个自由度上均发生变化,以获得多组所述标定板的图片与对应的所述机器人的末端的工具中心点位姿数据。4.如权利要求3所述的用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,所述步骤1获取与多组所述标定板的图片对应的工具中心点位姿数据包括以下步骤:步骤1.1:记机器人末端工具中心点初始位姿表示为(x,y,z,rx,ry,rz),其中x,y,z是工具中心点初始坐标数据,rx,ry,rz为工具中心点的旋转向量表示;步骤1.2:将步骤1.1的所述工具中心点位姿转换为旋转矩阵形式,如式(1):式(1)中,θ=norm(r),I为对角阵;步骤1.3:将步骤1.2中所得的旋转矩阵,转换为齐次矩阵T0:其中,步骤1.4:设第二变换矩阵为其中r1,r2,r3,t分别是3×1的列向量,计算经过变换后的工具中心点位姿公式如式(2):Tn=TfT0(2)步骤1.5:依次改变r1,r2,r3,t向量的值,得到工具中心点在六个自由度发生变化后的位姿。5.如权利要求1所述的用于协作机器人位姿估计的图像数据集快速构建方法,其特征在于,步骤2中第一变换矩阵的求解过程如下:步骤2.1:构建等式:TG2T=TG2CTC2BTB2T;其中,TG2C为相机外参,即所述标定板的坐标系到所述相机的坐标系的变换矩阵;TG2T为固定不变的所述标定板的坐标系到工具中心点坐标系的变换矩阵;TT2B为所述机器人的位姿数据,即所述工具中心点坐标系到所述机器人的基座的坐标系的变换矩阵;TB2C为所...
【专利技术属性】
技术研发人员:庄春刚,朱向阳,周凡,沈逸超,赵恒,朱磊,
申请(专利权)人:上海交通大学,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。