一种基于视觉的机器人机械臂末端位姿的调整方法技术

本发明专利技术提供了一种基于视觉的机器人机械臂末端位姿的调整方法，属于机器人机械臂控制技术领域。主要解决移动机器人在操作电气柜按钮时，由于电气柜操作面板板倾斜和移动机器人定位误差带来的机器人机械臂末端位姿偏差，从而导致移动机械臂不能精确地对按钮开关操作的问题。调整方法包括：首先机器人移动到目标电气柜操作面板板前，其次驱动机械臂带动相机到校正板拍照处拍取图片并对其进行图片处理，获取三个圆心的坐标信息，再根据三个圆的坐标关系计算出三个方向的倾斜角，并旋转相应旋转关节调整机械臂末端位姿，最后驱动机械臂对目标按钮开关进行操作。本发明专利技术能够基于深度相机的视觉信息，实现对机器人机械臂末端位姿的调整，且定位精准。且定位精准。且定位精准。

【技术实现步骤摘要】
一种基于视觉的机器人机械臂末端位姿的调整方法


[0001]本专利技术属于机器人机械臂控制
，具体的，涉及一种基于视觉的机器人机械臂末端位姿的调整方法。

技术介绍

[0002]机器人的刚需时代正在来临，机器人技术正在深刻改变着人类的生产和生活方式。随着其技术的不断发展和成熟，机器人产业发展逐渐从制造业向生活领域转移，然而现实生活中的环境复杂多变，要使机器人能够在多种场合下服务于人们的生活和工作，尚需要解决很多问题。
[0003]变电站是对电能的电压和电流进行变换、集中和分配的场所，受变电站户内设备体型小、运动空间狭窄等因素限制，站内设备操作大多依靠人工进行，操作人员不仅费时费力，而且面临较大的劳动风险。为了实现变电所无人化管理，许多变电所采用移动机械臂代替操作人员操作变电所内的设备，如对电气柜上的按钮开关下达指令，但在实际应用过程中，机器人很难精准识别和定位目标按钮，常常因为机器人无法正确完成操作过程而引起更大的安全问题，因此，为了解决机器人精确识别和定位目标按钮开关，精准按下按钮开关完成操作过程的问题，本专利技术提出一种基于视觉的机械臂末端位姿调整的方法，利用可靠的取像装置开发有效的数学模型，以达到通过机器人技术代替人工对设备进行精准操作的目的。
[0004]中国专利技术专利文献(CN108453727B)于2018年8月28日公开的《基于椭圆特征的机械臂末端误差校正方法及系统》采用一种基于椭圆特征的机械臂末端误差校正方法，该方法虽然做到了校正机械臂末端因局部柔性或关节间隙引起的控制误差，进而完成机械臂末端位姿校正，但受机械臂构型约束且校正过程较于复杂，适用范围较为局限，难以适应不同机械臂末端的位姿校正。
[0005]在机器人作业中，机械臂末端位姿的准确性，直接影响着机器人是否能精确完成作业及操作。其中，对于机器人操作电气柜按钮开关技术的研究还存在以下技术问题：
[0006]1、移动小车到达目标电气柜操作位置，定位不精确，存在定位误差，小车上面机械臂的初始位姿及按钮开关拍照位姿和电气柜操作面板因此产生一定的倾斜，使得机械臂无法精确地操作目标按钮开关。
[0007]2、受电气柜的限制，电气柜操作面板可能与地面不垂直，存在一定的倾斜，机械臂到达按钮开关拍照位姿时，机械臂末端轴垂面和电气柜操作面板并不平行，因而在随后的相机拍照识别和按钮开关定位过程中，机械臂操作总是存在偏差，无法更为精确的完成按下目标按钮开关的过程。

技术实现思路

[0008]针对现有技术的不足，本专利技术提供了一种基于视觉的机械臂末端位姿调整的方法，能够使机器人精确识别定位电气柜按钮开关，进而精准按下按钮开关。
[0009]本专利技术的目的是这样实现的，本专利技术提供了一种基于视觉的机器人机械臂末端位姿的调整方法，本调整方法涉及的系统包括机器人、电气柜和校正板；所述电气柜的操作面板上装有按钮开关，将按钮开关的圆心记为点A；所述校正板粘贴在电气柜操作面板上，该校正板上设有三个黑色的圆，分别记为圆1、圆2和圆3，将圆1、圆2和圆3的圆心分别记为点C1、点C2和点C3，校正板粘贴完成后，点C1和点C2连成的直线为水平线，C3位于点C1和点C2的下方，且点C3与点C1连成的直线与点C1和点C2连成的直线垂直；
[0010]所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机，所述6自由度机械臂包括6个旋转关节和机械臂基座，所述6 个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六，6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转，其中第四关节轴和第五关节轴相互垂直，第五关节轴和第六关节轴相互垂直；所述末端执行器和深度相机均安装在6自由度机械臂的末端上，且深度相机的光轴与第六关节轴平行，深度相机跟随6自由度机械臂运动；
[0011]所述调整方法包括以下步骤：
[0012]步骤1，定义图像坐标系、像素坐标系和相机坐标系，并使用相机标定算法对深度相机进行相机标定；
[0013]所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系，包括互相垂直的图像X轴和图像Y轴；所述像素坐标系以图像左上角为原点建立的以像素为单位的直接坐标系，包括互相垂直的像素U轴和像素V轴，像素U轴上的横坐标为像素在其图像中的列数，像素V轴上的纵坐标为像素在其图像中的行数，且像素U轴与图像X 轴平行、像素V轴与图像Y轴平行；所述相机坐标系是以相机光心为原点建立的坐标系，包括相机Xc轴、相机Yc轴和相机Zc轴，其中，相机Zc轴为相机光轴，相机Xc轴与像素坐标系中的像素U轴平行，相机Yc轴与像素坐标系中的像素V轴平行；
[0014]使用相机标定算法对深度相机进行相机标定，标定出的结果为深度的内参矩阵M，其表达式为：
[0015][0016]式中，
[0017]f
x
为图像坐标系中图像X轴上的归一化焦距，f
x
＝f/d
x
，其中， f为深度相机的焦距，单位为mm，d
x
为像素坐标系中的每个像素在图像X轴上的物理尺寸，单位为mm/pixel；
[0018]f
y
为图像坐标系中图像Y轴上的归一化焦距，f
y
＝f/d
y
，d
y
为像素坐标系下每个像素在图像Y轴上的物理尺寸，单位为mm/pixel；
[0019]u0为图像坐标系的原点在像素坐标系中的横坐标，v0为图像坐标系的原点在像素坐标系中的纵坐标，即图像坐标系的原点在像素坐标系中的坐标为(u0，v0)；
[0020]步骤2，机器人移动到目标电气柜操作面板板前，驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照，然后对拍摄得到的图像做图像处理，得到点C1、点C2和点C3的像素坐标和深度值，分别为：点C1的像素坐标(u1，v1)和深度值d1，点C2的像素坐标(u2，v2)和深度值d2，点C3的像素坐标(u3，v3)和深度值d3；
[0021]步骤3，根据步骤1标定出的内参矩阵M和圆心坐标变换公式一分别计算出点C1在相机坐标系下的相机坐标(x
c1
，y
c1
，z
c1
)、点C2在相机坐标系下的相机坐标(x
c2
，y
c2
，z
c2
)，点C3在相机坐标系下的相机坐标(x
c3
，y
c3
，z
c3
)，所述圆心坐标变换公式一的表达式为：
[0022][0023]其中，Z是圆心在相机坐标系下测出来的深度值，即圆心到深度相机平面的距离，u为圆心在像素坐标系下的横坐标，v为圆心在像素坐标系下的纵坐标，(x
c
，y
c
，z
c
)为圆心在相机坐标系下的坐标；
[0024]步骤4，根据点C1、点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的机器人机械臂末端位姿的调整方法，其特征在于，本调整方法涉及的系统包括机器人、电气柜和校正板；所述电气柜的操作面板上装有按钮开关，将按钮开关的圆心记为点A；所述校正板粘贴在电气柜操作面板上，该校正板上设有三个黑色的圆，分别记为圆1、圆2和圆3，将圆1、圆2和圆3的圆心分别记为点C1、点C2和点C3，校正板粘贴完成后，点C1和点C2连成的直线为水平线，C3位于点C1和点C2的下方，且点C3与点C1连成的直线与点C1和点C2连成的直线垂直；所述机器人包括AGV小车、6自由度机械臂、末端执行器和深度相机，所述6自由度机械臂包括6个旋转关节和机械臂基座，所述6个旋转关节由机械臂基座开始依次为旋转关节一、旋转关节二、旋转关节三、旋转关节四、旋转关节五、旋转关节六，6个旋转关节依次分别绕第一关节轴、第二关节轴、第三关节轴、第四关节轴、第五关节轴、第六关节轴旋转，其中第四关节轴和第五关节轴相互垂直，第五关节轴和第六关节轴相互垂直；所述末端执行器和深度相机均安装在6自由度机械臂的末端上，且深度相机的光轴与第六关节轴平行，深度相机跟随6自由度机械臂运动；所述调整方法包括以下步骤：步骤1，定义图像坐标系、像素坐标系和相机坐标系，并使用相机标定算法对深度相机进行相机标定；所述图像坐标系以相机光轴与图像平面的交点为原点建立的坐标系，包括互相垂直的图像X轴和图像Y轴；所述像素坐标系以图像左上角为原点建立的以像素为单位的直角坐标系，包括互相垂直的像素U轴和像素V轴，像素U轴上的横坐标为像素在其图像中的列数，像素V轴上的纵坐标为像素在其图像中的行数，且像素U轴与图像X轴平行、像素V轴与图像Y轴平行；所述相机坐标系是以相机光心为原点建立的坐标系，包括相机Xc轴、相机Yc轴和相机Zc轴，其中，相机Zc轴为相机光轴，相机Xc轴与像素坐标系中的像素U轴平行，相机Yc轴与像素坐标系中的像素V轴平行；使用相机标定算法对深度相机进行相机标定，标定出的结果为深度相机的内参矩阵M，其表达式为：式中，f
x
为图像坐标系中图像X轴上的归一化焦距，f
x
＝f/d
x
，其中，f为深度相机的焦距，单位为mm，d
x
为像素坐标系中的每个像素在图像X轴上的物理尺寸，单位为mm/pixel；f
y
为图像坐标系中图像Y轴上的归一化焦距，f
y
＝f/d
y
，d
y
为像素坐标系下每个像素在图像Y轴上的物理尺寸，单位为mm/pixel；u0为图像坐标系的原点在像素坐标系中的横坐标，v0为图像坐标系的原点在像素坐标系中的纵坐标，即图像坐标系的原点在像素坐标系中的坐标为(u0，v0)；步骤2，机器人移动到目标电气柜操作面板板前，驱动6自由度机械臂使深度相机到达校正板拍摄位置进行拍照，然后对拍摄得到的图像做图像处理，得到点C1、点C2和点C3的像素坐标和深度值，分别为：点C1的像素坐标(u1，v1)和深度值d1，点C2的像素坐标(u2，v2)和深度值d2，点C3的像素坐标(u3，v3)和深度值d3；
步骤3，根据步骤1标定出的内参矩阵M和圆心坐标变换公式一分别计算出点C1在相机坐标系下的相机坐标(x
c1
，y
c1
，z
c1
)、点C2在相机坐标系下的相机坐标(x
c2
，y
c2
，z
c2
)，点C3在相机坐标系下的相机坐标(x
c3
，y
c3
，z
c3
)，所述圆心坐标变换公式一的表达式为：其中，Z是圆心在相机坐标系下测出来的深度值，即圆心到深度相机平面的距离，u为圆心在像素坐标系下的横坐标，v为圆心在像素坐标系下的纵坐标，(x
c
，y
c
，z
c
)为圆心在相机坐标系下的坐标；步骤4，根据点C1、点C2和点C3的坐标关系，求深度相机在Xc、Yc、Zc三个方向的倾斜角，所述求解过程如下：步骤4.1，过点C1做一条平行于相机Xc轴的直线，过点C2做该直线的垂线，并将其交点记为交点Q1，连接点C1、点C2、交点Q1构成一个直角三角形，∠Q1C1C2即为深度相机在Xc轴方向的倾斜角，其表达式为：步骤4.2，沿着深度相机光轴的方向，将点C3投影到过点C1且平行于相机Xc
‑
Yc轴的平面上，记为点Q2，连接点C3、点C1、点Q2构成一个直角三角形，∠Q2C1C3即为深度相机在Yc轴方向的倾斜角，其表达式为：步骤4.3，沿着深度相机光轴的方向，将点C1投影到过点C2且平行于相机Xc
‑
Yc轴的平面上，记为点Q3，连接点C1、点C2、点Q3构成一个直角三角形C1Q3C2，∠Q3C2C1即为深度相机在Zc轴方向的倾斜角，其表达式为：步骤5，进行6自由度机械臂末端位姿的调整，具体的，将旋转关节四旋转∠Q2C1C3，将旋转关节五旋转∠Q3C2C1，将旋转关节六旋转∠Q1C1C2；步骤6，按照步骤2的方法再次获取点C1、点C2、点C3的像素坐标和深度值，并分别记为调整后的点C1的像素坐标(u

【专利技术属性】
技术研发人员：朱敏，陈洋，胥子豪，储昭碧，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：