一种机器人机械臂末端姿态的调整方法技术

本发明专利技术提供了一种机器人机械臂末端姿态的调整方法，属于机器人机械臂控制技术领域。主要解决移动机器人在操作电气柜按钮时，因移动机器人定位误差造成机器人机械臂末端姿态偏差，导致机械臂不能精准操作按钮的问题。调整方法包括：机器人移动到目标电气柜操作面板前、驱动机械臂带动相机并拍取校正板图片、识别得到定位圆位置、根据三个顶点和定位圆的位置关系获取三个顶点的坐标信息，计算出三个方向的倾斜角，再依据坐标转换求取机械臂末端在基坐标系下的目标姿态，并驱动机械臂使末端到达目标姿态。本发明专利技术基于深度相机视觉信息求取机械臂末端的目标姿态，实现对机器人机械臂末端姿态的调整。端姿态的调整。端姿态的调整。

【技术实现步骤摘要】
一种机器人机械臂末端姿态的调整方法


[0001]本专利技术属于机器人机械臂控制
，具体的，涉及一种机器人机械臂末端姿态的调整方法。

技术介绍

[0002]机器人的刚需时代正在来临，机器人技术正在深刻改变着人类的生产和生活方式。随着机器人相关理论研究与硬件技术的发展，各种各样的机器人广泛地应用于工业生产、仓储、安防巡检和太空探索等领域，替代人们从事重复繁重的劳动或者具有危险性的工作，极大地提高了生产生活效率。但无论是移动机器人还是机械臂，它们的使用场景比较有限，功能较为单一，不能从事相对复杂、灵活的任务。移动机械臂作为一种新型机器人，在结构上将可自由移动的机器人和机械臂结合起来，既有移动机器人工作空间的广阔性，又有机械臂操作空间的灵活性。而且为移动机械臂配备激光雷达、相机等环境感知传感器后，能够很大程度上增强其环境信息获取的能力，实现更加复杂的操作也成为可能。
[0003]近年来，随着国家电网系统、高速铁路系统的快速发展，我国电力和铁路系统的自动化程度有了明显提升。而变电站是电力传输的枢纽，其安全可靠的运行与国民经济建设和电气化铁路交通系统的安全运行息息相关。受变电站户内设备体型小、运动空间狭窄等因素限制，站内设备操作大多依靠人工进行，操作人员不仅费时费力，而且面临较大的劳动风险，同时变电站面临着人力成本上升和人力资源短缺等问题。针对此种情况，为了实现变电所无人化管理，许多变电所引入移动机械臂代替操作人员操作变电所内的设备，如对电气柜上的按钮下达指令，但在实际应用过程中，机器人很难精准识别和定位目标按扭，常常因为机器人无法正确完成操作过程而引起更大的安全问题，因此，为了解决机器人精确识别和定位目标按钮，精准按下按钮完成操作过程的问题，本专利技术提出一种机械臂末端姿态调整的方法，利用可靠的取像装置和校正工具开发有效的数学模型，以达到通过机器人技术代替人工对设备进行精准操作的目的。
[0004]中国专利技术专利文献(CN114378822A)于2022年4月22日公开的《一种基于视觉的机器人机械臂末端位姿的调整方法》采用了一种基于视觉的机器人机械臂末端姿态的调整方法，该方法虽然做到了机械臂末端的目标姿态的调整，但受到机械臂第四、五、六关节调整角度的限制，使用范围较为局限，难以适应调整角度较大情况下机器人机械臂末端姿态的调整。
[0005]在机器人作业中，机械臂末端姿态的准确性，直接影响着机器人是否能精确完成操作。其中，对于机器人操作电气柜按钮技术的研究还存在以下技术问题：
[0006]1、移动小车到达目标电气柜操作位置，定位不精确，存在定位误差，小车上面机械臂的初始位姿及按钮拍照位姿和电气柜操作面板因此产生一定的倾斜，使得机械臂无法精确地操作目标按钮。
[0007]2、受电气柜的限制，电气柜操作面板可能与地面不垂直，存在一定的倾斜，机械臂到达按钮拍照位姿时，机械臂末端轴垂面和电气柜操作面板并不平行，因而在随后的相机
拍照识别和按钮定位过程中，机械臂操作总是存在偏差，无法更为精确的完成按下目标按钮的过程。

技术实现思路

[0008]针对现有技术的不足，本专利技术提供了一种机器人机械臂末端姿态调整的方法，能够使机器人精确识别定位电气柜按钮，进而精准按下按钮。
[0009]本专利技术的目的是这样实现的，本专利技术提供了一种机器人机械臂末端姿态的调整方法，本调整方法涉及的系统包括机器人、电气柜和校正板，其中，所述电气柜操作面上装有按钮，将按钮的圆心记为点A；所述校正板为矩形，粘贴在电气柜操作面的上方，该校正板上设有一个黑色的直角三角形和一个黑色的校正板定位圆，将校正板定位圆的圆心记为点C4，直角三角形的三个顶点分别记为顶点C1、顶点C2和顶点C3，其中顶点C1为直角三角形直角处的顶点；校正板粘贴完成后，顶点C1位于校正板的左上角，顶点C1和顶点C2的连线为水平线，顶点C1和顶点C3的连线与顶点C1和顶点C2的连线垂直，点C4和顶点C1的连线垂直于顶点C2和顶点C3的连线，且校正板定位圆位于直角三角形的右下方；所述校正板定位圆用于相机识别定位校正板和确定三个顶点的位置；
[0010]所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机，所述6自由度机械臂包括6个旋转关节和机械臂基座，所述6个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六，6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转，其中，第四关节轴和第五关节轴相互垂直，第五关节轴和第六关节轴相互垂直；所述末端执行器和深度相机均安装在6自由度机械臂的末端上，且深度相机的光轴与第六关节轴平行，深度相机跟随6自由度机械臂运动；
[0011]所述调整方法包括以下步骤：
[0012]步骤1，定义像素坐标系、图像坐标系、相机坐标系、电气柜操作面坐标系、机械臂末端坐标系和机械臂基座坐标系，并使用深度相机进行相机标定；
[0013]所述像素坐标系以图像左上角为原点建立的以像素为单位的直角坐标系，包括互相垂直的像素U轴和像素V轴，像素U轴上的横坐标为像素在其图像中的列数，方向为平行于图像面向右，像素V轴上的纵坐标为像素在其图像中的行数，方向为垂直于像素U轴向下；
[0014]所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系，包括互相垂直的图像X轴和图像Y轴，图像X轴与像素U轴平行且方向一致，图像Y轴与像素V轴平行且方向一致；
[0015]所述相机坐标系是以相机光心为原点建立的坐标系，包括相机Xc轴、相机Yc轴和相机Zc轴，其中，相机Zc轴为相机光轴且取摄影方向为正方向，相机Xc轴与像素U轴平行且方向一致，相机Yc轴与像素V轴平行且方向一致；
[0016]所述电气柜操作面坐标系是以点C4为原点建立的坐标系，包括操作面Xt轴、操作面Yt轴、操作面Zt轴，其中，操作面Zt轴与操作面法线平行，方向由操作面外指向操作面内，操作面Yt轴与顶点C1和顶点C3所在直角边平行，方向为顶点C1指向顶点C3，操作面Xt轴与顶点C1和顶点C2所在直角边平行，方向为顶点C1指向顶点C2；
[0017]所述机械臂末端坐标系以旋转关节六中心为原点建立的坐标系，包括机械臂末端
Xe轴、机械臂末端Ye轴和机械臂末端Ze轴，其中，机械臂末端Ze轴为第六关节轴，即械臂末端Ze轴与相机光轴平行且方向一致，机械臂末端Xe轴与相机Xc轴平行且方向一致，机械臂末端Ye轴与相机Yc轴平行且方向一致；
[0018]机械臂基座坐标系以机械臂基座中心点为原点建立的坐标系，包括机械臂基座X
b
轴、机械臂基座Y
b
轴和机械臂基座Z
b
轴，其中，机械臂基座Z
b
轴和第一关节轴平行，机械臂基座X
b
轴以AGV小车正前方为正方向，机械臂基座Y
b
轴由坐标系右手法则确定；
[0019]使用相机标定算法对深度相机进行相机标定，标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人机械臂末端姿态的调整方法，其特征在于，本调整方法涉及的系统包括机器人、电气柜和校正板，其中，所述电气柜操作面上装有按钮，将按钮的圆心记为点A；所述校正板为矩形，粘贴在电气柜操作面的上方，该校正板上设有一个黑色的直角三角形和一个黑色的校正板定位圆，将校正板定位圆的圆心记为点C4，直角三角形的三个顶点分别记为顶点C1、顶点C2和顶点C3，其中顶点C1为直角三角形直角处的顶点；校正板粘贴完成后，顶点C1位于校正板的左上角，顶点C1和顶点C2的连线为水平线，顶点C1和顶点C3的连线与顶点C1和顶点C2的连线垂直，点C4和顶点C1的连线垂直于顶点C2和顶点C3的连线，且校正板定位圆位于直角三角形的右下方；所述校正板定位圆用于相机识别定位校正板和确定三个顶点的位置；所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机，所述6自由度机械臂包括6个旋转关节和机械臂基座，所述6个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六，6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转，其中，第四关节轴和第五关节轴相互垂直，第五关节轴和第六关节轴相互垂直；所述末端执行器和深度相机均安装在6自由度机械臂的末端上，且深度相机的光轴与第六关节轴平行，深度相机跟随6自由度机械臂运动；所述调整方法包括以下步骤：步骤1，定义像素坐标系、图像坐标系、相机坐标系、电气柜操作面坐标系、机械臂末端坐标系和机械臂基座坐标系，并使用深度相机进行相机标定；所述像素坐标系以图像左上角为原点建立的以像素为单位的直角坐标系，包括互相垂直的像素U轴和像素V轴，像素U轴上的横坐标为像素在其图像中的列数，方向为平行于图像面向右，像素V轴上的纵坐标为像素在其图像中的行数，方向为垂直于像素U轴向下；所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系，包括互相垂直的图像X轴和图像Y轴，图像X轴与像素U轴平行且方向一致，图像Y轴与像素V轴平行且方向一致；所述相机坐标系是以相机光心为原点建立的坐标系，包括相机Xc轴、相机Yc轴和相机Zc轴，其中，相机Zc轴为相机光轴且取摄影方向为正方向，相机Xc轴与像素U轴平行且方向一致，相机Yc轴与像素V轴平行且方向一致；所述电气柜操作面坐标系是以点C4为原点建立的坐标系，包括操作面Xt轴、操作面Yt轴、操作面Zt轴，其中，操作面Zt轴与操作面法线平行，方向由操作面外指向操作面内，操作面Yt轴与顶点C1和顶点C3所在直角边平行，方向为顶点C1指向顶点C3，操作面Xt轴与顶点C1和顶点C2所在直角边平行，方向为顶点C1指向顶点C2；所述机械臂末端坐标系以旋转关节六中心为原点建立的坐标系，包括机械臂末端Xe轴、机械臂末端Ye轴和机械臂末端Ze轴，其中，机械臂末端Ze轴为第六关节轴，即械臂末端Ze轴与相机光轴平行且方向一致，机械臂末端Xe轴与相机Xc轴平行且方向一致，机械臂末端Ye轴与相机Yc轴平行且方向一致；机械臂基座坐标系以机械臂基座中心点为原点建立的坐标系，包括机械臂基座X
b
轴、机械臂基座Y
b
轴和机械臂基座Z
b
轴，其中，机械臂基座Z
b
轴和第一关节轴平行，机械臂基座X
b
轴以AGV小车正前方为正方向，机械臂基座Y
b
轴由坐标系右手法则确定；
使用相机标定算法对深度相机进行相机标定，标定出的结果为深度相机的内参矩阵M，其表达式为：式中，f
x
为图像坐标系中图像X轴上的归一化焦距，f
x
＝f/d
x
，其中，f为深度相机的焦距，单位为mm，d
x
为像素坐标系中的每个像素在图像X轴上的物理尺寸，单位为mm/pixel；f
y
为图像坐标系中图像Y轴上的归一化焦距，f
y
＝f/d
y
，d
y
为像素坐标系中的每个像素在图像Y轴上的物理尺寸，单位为mm/pixel；u0为图像坐标系的原点在像素坐标系中的横坐标，v0为图像坐标系的原点在像素坐标系中的纵坐标，即图像坐标系的原点在像素坐标系中的坐标为(u0，v0)；步骤2，机器人移动到目标电气柜操作面板板前，驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照，然后对拍摄得到的图像做图像处理，得到顶点C1、顶点C2和顶点C3的像素坐标和深度值，分别为：顶点C1的像素坐标(u1，v1)和深度值d1，顶点C2的像素坐标(u2，v2)和深度值d2，顶点C3的像素坐标(u3，v3)和深度值d3；步骤3，根据步骤1标定出的内参矩阵M和顶点坐标变换公式一分别计算出顶点C1在相机坐标系下的相机坐标(x
c1
，y
c1
，z
c1
)、顶点C2在相机坐标系下的相机坐标(x
c2
，y
c2
，z
c2
)，顶点C3在相机坐标系下的相机坐标(x
c3
，y
c3
，z
c3
)，所述顶点坐标变换公式一的表达式为：其中，Z是顶点在相机坐标系下测出来的深度值，即顶点到深度相机平面的距离，u为顶点在像素坐标系下的横坐标，v为顶点在像素坐标系下的纵坐标，(x
c
，y
c
，z
c
)为顶点在相机坐标系下的相机坐标，所述深度相机平面为相机Xc轴、相机Yc轴构成的平面；步骤4，根据顶点C1、顶点C2和顶点C3的坐标关系，求深度相机的相机Xc轴与操作面Xt轴的倾斜角、相机Yc轴与操作面Yt轴的倾斜角、相机Zc轴与操作面Zt轴的倾斜角，所述求解过程如下：步骤4.1，过顶点C1做一条平行于相机Xc轴的直线，过顶点C2做该直线的垂线，并将其交点记为交点Q1，连接顶点C1、顶点C2、交点Q1构成一个直角三角形，∠Q1C1C2即为深度相机的相机Xc轴与操作面Xt轴的倾斜角，其表达式为：步骤4.2，沿着深度相机光轴的方向，将顶点C3投影到过顶点C1且平行于相机Xc
...

【专利技术属性】
技术研发人员：朱敏，陈洋，胡若海，储昭碧，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：