一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统技术方案

本发明专利技术公开的一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统，所述方法通过计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵，根据相对移动变换矩阵计算移相对动，通过控制机械手再次移动，计算补偿矩阵，利用补偿矩阵进行控制机械手进行相对运动，即可直接将工具与目标物对准。本发明专利技术解决了机械手应用中不规则非对称外接工具的工具坐标系难以标定的问题。对称外接工具的工具坐标系难以标定的问题。对称外接工具的工具坐标系难以标定的问题。

【技术实现步骤摘要】
一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统


[0001]本专利技术涉及机械手标定
，更具体的，涉及一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统。

技术介绍

[0002]在我国，工业机器人广泛应用于制造业，不仅仅应用于汽车制造业，大到航天飞机的生产，军用装备，高铁的开发，小到圆珠笔的生产都有广泛的应用。相比于固定程序固定走位的机器人应用，结合机器视觉，通过机器视觉检测报告元件的位置和方向，可以实现机器人定位引导，自动化水平进一步提高。机器人定位引导中，一般通过法兰盘将视觉(相机)与工具(吸盘、焊枪、夹具、戳具等)固定安装在机械手末端关节，因此需要事先进行视觉(相机)与机械手、机械手与工具等的位置关系标定。
[0003]机械手与工具坐标系的标定，在应用中仍然有一些需要解决的问题。工具坐标系的原点称为工具中心点TCP(Tool Center Point)，例如吸盘中心、夹具虚拟中心等，一般的机器人系统本身提供TCP标定，通过人工将中心对准某一点，做出几种特殊姿态来实现，亦有一些其他高精度的TCP标定方法，已经比较成熟。但TCP标定，由于只是尖端位置对准，得到的工具坐标系与机械手末端坐标系的转换关系只有平移变换，没有旋转变换，即仅经由TCP标定得到的工具坐标系的方向与机械手末端是一样的。而实际应用中，并非只要TCP对准就可以了，存在许多场景是需要机械手抓取或对位匹配不规则不对称的目标物，如“D”型孔洞，还有目标物朝向(法向)不固定的场景，除了TCP(中心点)对准，还需要工具与目标物在各方向都对准。
[0004]现有的标定方法没有解决机械手应用中不规则非对称外接工具的工具坐标系难以标定的问题，因此亟需一种基于立体视觉的机械手外接不规则非对称工具的标定方法。

技术实现思路

[0005]鉴于上述问题，本专利技术的目的是提供一种基于立体视觉的机械手外接不规则非对称工具的标定方法及系统，能够精确地使工具与目标匹配对齐，应对复杂场景，提升工业应用自动化水平。
[0006]本专利技术第一方面提供了一种基于立体视觉的机械手外接不规则非对称工具的标定方法，包括以下步骤：
[0007]确定目标物坐标系的方向及位置，并分别对工具中心点、相机进行标定；
[0008]计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵；
[0009]根据相对移动变换矩阵计算相对移动，所述相对移动包括：相对平移量和旋转量；
[0010]机械手末端根据得到的相对平移进行第一次相对运动，并记此时的机械手末端在机械手基坐标系下的位姿为P1；
[0011]控制机械手绕工具中心点旋转运动，使得工具方向与目标物方向对准；并记此时的机械手末端在机械手基坐标系下的位姿为P2；
[0012]根据位姿P1和P2计算补偿矩阵；
[0013]利用补偿矩阵计算相对运动欧拉角，控制机械手进行相对运动，即可直接将工具与目标物对准。
[0014]本方案中，所述确定目标物坐标系的方向及位置，并分别对工具中心点、相机进行标定，具体包括：
[0015]根据目标物特征确定目标物坐标系方向；
[0016]确定目标物坐标系在相机坐标系中的方向及位置；
[0017]将工具中心点在机械手末端坐标系中进行标定，得到标定结果；
[0018]将相机与机械手末端进行手眼标定，得到手眼标定结果；
[0019]本方案中，所述根据目标物特征确定目标物坐标系方向包括：
[0020]目标物坐标系包括法向Vec_Z、Y方向Vec_Y、X方向Vec_X，其中，所述方向为目标中心点处点云的法向或目标虚拟中心点延伸的法向；所述Y方向为目标上易于抓取且位置固定的与法向垂直的方向；所述X方向为与法向和Y方向均垂直的方向。
[0021]本方案中，目标物坐标系在相机坐标系中的方向及位置表示为：
[0022][0023]本方案中，工具中心点在机械手末端坐标系中进行标定，得到标定结果表示为：
[0024]本方案中，计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵；
[0025]表达式为：其中表示相机与机械手末端进行手眼标定结果。
[0026]本方案中，所述根据相对移动变换矩阵计算相对移动，所述相对移动包括：相对平移量和旋转量，具体过程为：相对移动变换矩阵为刚性变换，前三行三列为旋转矩阵R，最后一列为平移量t，相对移动的位置变化即变换矩阵中的平移量t，利用matlab函数rotm2eul计算得到旋转量，机械手的方向旋转量用Rz、Ry、Rx三个欧拉角表示。
[0027]本方案中，所述根据位姿P1和P2计算补偿矩阵，具体过程为：
[0028]位姿P1的(x,y,z)位置为t1，其中x,y，z表示位姿P1的坐标,欧拉角姿态用matlab函数eul2rotm转换为旋转矩阵R1；位姿P2的位置为t2，姿态旋转矩阵为R2。则位姿P1到位姿P2的补偿矩阵为：
[0029][0030]本方案中，利用补偿矩阵计算相对运动欧拉角，控制机械手基于末端坐标系进行相对运动，即可直接将工具与目标物对准具体过程为：
[0031]确定固定转换关系：相机
‑
机械手末端工具TCP
‑
机械手末端工具方向与机械手末端旋转补偿
[0032]获取相机拍摄得到的目标物在相机中的位置和方向
[0033]计算出从拍摄位置运动到不规则不对称工具对准目标物的机械手末端相对运动转换矩阵：
[0034][0035]利用现有的工具计算机械手运动的欧拉角，控制机械手按照计算得出的欧拉角进行相对运动，即可直接将工具与目标物对准。
[0036]本专利技术第二方面提供了一种基于立体视觉的机械手外接不规则非对称工具的标定系统，包括存储器和处理器，所述存储器中包括基于立体视觉的机械手外接不规则非对称工具的标定程序，所述基于立体视觉的机械手外接不规则非对称工具的标定方法程序被所述处理器执行时实现如下步骤：
[0037]确定目标物坐标系的方向及位置，并分别对工具中心点、相机进行标定；
[0038]计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵；
[0039]根据相对移动变换矩阵计算相对移动，所述相对移动包括：相对平移量和旋转量；
[0040]机械手末端根据得到的相对平移进行第一次相对运动，并记此时的机械手末端在机械手基坐标系下的位姿为P1；
[0041]控制机械手绕工具中心点旋转运动，使得工具方向与目标物方向对准；并记此时的机械手末端在机械手基坐标系下的位姿为P2；
[0042]根据位姿P1和P2计算补偿矩阵；
[0043]利用补偿矩阵计算相对运动欧拉角，控制机械手进行相对运动，即可直接将工具与目标物对准。
...

【技术保护点】

【技术特征摘要】
1.一种基于立体视觉的机械手外接不规则非对称工具的标定方法，其特征在于，包括以下步骤：确定目标物坐标系的方向及位置，并分别对工具中心点、相机进行标定；计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵；根据相对移动变换矩阵计算相对移动，所述相对移动包括：相对平移量和旋转量；机械手末端根据得到的相对平移进行第一次相对运动，并记此时的机械手末端在机械手基坐标系下的位姿为P1；控制机械手绕工具中心点旋转运动，使得工具方向与目标物方向对准；并记此时的机械手末端在机械手基坐标系下的位姿为P2；根据位姿P1和P2计算补偿矩阵；利用补偿矩阵计算相对运动欧拉角，控制机械手进行相对运动，即可直接将工具与目标物对准。2.根据权利要求1所述的一种基于立体视觉的机械手外接不规则非对称工具的标定方法，其特征在于，所述确定目标物坐标系的方向及位置，并分别对工具中心点、相机进行标定，具体包括：根据目标物特征确定目标物坐标系方向；确定目标物坐标系在相机坐标系中的方向及位置；将工具中心点在机械手末端坐标系中进行标定，得到标定结果；将相机与机械手末端进行手眼标定，得到手眼标定结果。3.根据权利要求2所述的一种基于立体视觉的机械手外接不规则非对称工具的标定方法，其特征在于，所述根据目标物特征确定目标物坐标系方向包括：目标物坐标系包括法向Vec_Z、Y方向Vec_Y、X方向Vec_X，其中，所述方向为目标中心点处点云的法向或目标虚拟中心点延伸的法向；所述Y方向为目标上易于抓取且位置固定的与法向垂直的方向；所述X方向为与法向和Y方向均垂直的方向。4.根据权利要求2所述的一种基于立体视觉的机械手外接不规则非对称工具的标定方法，其特征在于，目标物坐标系在相机坐标系中的方向及位置表示为：其中，表示，表示，表示，表示。5.根据权利要求2所述的一种基于立体视觉的机械手外接不规则非对称工具的标定方法，其特征在于，工具中心点在机械手末端坐标系中进行标定，得到标定结果表示为：其中t
x
表示，t
y
表示t
z
表示。6.根据权利要求1所述的一种基于立体视觉的机械手外接不规则非对称工具的标定方
法，其特征在于，计算工具中心点从拍摄位置移动到目标物中心，且机械手末端的方向与目标物坐标系方向对齐的机械手末端相对移动变换矩阵；表达式为：其中表示相机与机械手末端进行手眼标定结果。7.根据权利要求1所述的一种基于立体...

【专利技术属性】
技术研发人员：许允迪，周才健，周柔刚，
申请(专利权)人：金华汇萃智能科技有限公司苏州汇萃智能科技有限公司嘉兴逸君辰科技有限公司，
类型：发明
国别省市：