一种基于视觉的两次校准的双臂协同装配方法组成比例

本发明专利技术公开了一种基于视觉的两次校准的双臂协同装配方法，首先利用双目相机采集图像，提取待装配目标的特征点，并确定待装配目标的朝向，随后调整主机械臂姿态和位置，之后调整从机械臂，采集实时图像数据流，获取待装配目标灰度信息；选取待装配目标对应目标框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准；将从机械臂以目标物体中心点为圆心，在侧面进行图像采集，完成前后方向和垂直角度的校准。本发明专利技术的基于视觉的两次校准的双臂协同装配方法，解决了现有方案中单个相机获取的信息不足从而装配精度低的问题，提高了机械臂装配的精度，且兼具快速性与鲁棒性。且兼具快速性与鲁棒性。且兼具快速性与鲁棒性。

【技术实现步骤摘要】
一种基于视觉的两次校准的双臂协同装配方法


[0001]本专利技术属于机器人视觉领域，特别涉及一种基于视觉的两次校准的双臂协同装配方法。

技术介绍

[0002]在工业生产中，装配成本占总成本的50％以上。随着工业机器人的发展，机器人有望替代人工完成装配任务。但工业生产中存在零件种类多、体积小而难以定位的问题，机器人在精密装配工作中的应用是一个挑战。以夹爪精准夹取螺丝为例，当夹爪中心轴与螺栓中心轴对不准时，夹爪用力时可能导致装配失败，装配工件或机器人都可能被损坏。
[0003]目前在简单的应用场景中，工件的初始位姿和目标位姿是事先规定的，机械臂只是通过示教系统或按照固定的程序进行固定操作。但现实大部分的应用场景中，工件的初始位姿或目标位姿并非严格固定不变的。这种情况下，视觉引导定位是一个理想的解决办法。机械臂通过视觉系统感知工作环境，获取工件初始位姿。现有的单相机视觉系统，在接近待装配物体后，存在视野盲区或本身的机械结构遮挡问题，导致装配精度低；多相机视觉系统难以找准适合高精度装配的观测位置。

技术实现思路

[0004]本专利技术的目的在于提供一种基于视觉的两次校准的双臂协同装配方法，解决单相机视觉系统，在接近待装配物体后，存在视野盲区或本身的机械结构遮挡问题，装配精度低的问题；多相机视觉系统难以找准适合高精度装配的观测位置的问题，实现对装配目标的高精度校准。
[0005]实现本专利技术目的的技术解决方案为：一种基于视觉的两次校准的双臂协同装配方法，包括以下步骤：
[0006]步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定；
[0007]步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配目标的特征点，并确定待装配目标的朝向；
[0008]步骤3、调整主机械臂姿态，使夹爪中心轴与待装配目标的中心轴平行；
[0009]步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或目标物体信息显著减少；
[0010]步骤5、调整从机械臂，以待装配目标的中心点为圆心，以逆时针或顺时针方向扫描半周，并采集实时图像数据流，获取待装配目标灰度信息；
[0011]步骤6、选取待装配目标对应目标框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准；
[0012]步骤7、将从机械臂以目标物体中心点为圆心，以顺时针或逆时针方向旋转 1/4周，在侧面进行观察，完成前后方向和垂直角度的校准。
[0013]本专利技术与现有技术相比，其显著优点为：
[0014](1)本专利技术使用两个双目相机，可以在初始条件下，第一次校准前，获得较高精度的待装配物体的位姿；
[0015](2)本专利技术的两次校准方法，可以有效帮助主机械臂对准夹爪中心轴与待装配物体中心轴；
[0016](3)本专利技术应用于在目标物处于危险环境，人难以进行示教操作时，通过从机械臂的位姿调整进行两次校准，辅助主机械臂完成装配任务；
[0017](4)本专利技术应用于复杂环境，在目标物发生遮挡、变形、尺度变化时，本专利技术依旧可以自动调整从机械臂至适合观测的位姿进行视觉信息获取，兼具高精度、快速性与鲁棒性。
[0018]下面结合附图和具体实施方式对本专利技术作进一步详细描述。
附图说明
[0019]图1为本专利技术的基于视觉的两次校准的双臂协同装配方法的流程图。
具体实施方式
[0020]一种基于视觉的两次校准的双臂协同装配方法，包括以下步骤：
[0021]步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定，具体为：
[0022]设定双目相机的初始工作位置，使两个双目相机的光轴平行且与两个双目相机光心的连线垂直，并分别标定出双目相机到装有该双目相机的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵，以及两个相机各自的内参矩阵、外参矩阵与畸变系数。
[0023]步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配目标的特征点，并确定待装配目标的朝向，具体为：
[0024]步骤2
‑
1：利用主、从机械臂上的双目相机对待装配目标进行图像采集；
[0025]步骤2
‑
2：利用步骤1获得的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，对步骤2
‑
1中主从摄像机采集的图像对进行矫正；
[0026]步骤2
‑
3：基于Harris算子对经过步骤2
‑
2中矫正的从机械臂的双目相机拍摄的图像进行角点检测，提取待装配目标的6个特征点，分别为u1、u2、u3、 u4、u5、u6，使用6个特征点的中心坐标作为待装配目标的中心坐标u0：
[0027][0028]步骤2
‑
4：基于NCC(Normalized Cross Correlation)匹配算法对步骤2
‑
3 中经过矫正的图像对在两视图行对正的基础上计算视差，并获得视差图；
[0029]步骤2
‑
5、使用步骤2
‑
3中获得的图像坐标在步骤2
‑
4中获得的视差图中找到对应点的视差值，基于三角测距原理，确定深度信息，基于深度值，获得待装配目标的六个特征点、待装配目标中心点的世界坐标和待装配目标对应目标框中的灰度平均值Δ0；
[0030]步骤2
‑
6、定义机械臂基座平面为水平面，选取3个横坐标最小的特征点确定待装配目标法向量，确定待装配目标朝向。
[0031]步骤3、调整主机械臂姿态，使夹爪中心轴与待装配目标的中心轴平行，具体为：
[0032]根据步骤2获得的待装配目标法向量和待装配目标的中心点，确定待装配目标的中心轴，调整主机械臂姿态，使夹爪中心轴与待装配目标中心轴平行。
[0033]步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或目标物体信息显著减少，具体为：
[0034]步骤4
‑
1：调整主机械臂向待装配目标靠近，同时主机械臂上的双目相机对待装配目标进行扫描；
[0035]步骤4
‑
2：当图像中存在的特征点个数在前后两帧图片中发生变化Δn≥1时，视为待装配目标信息显著减少，进入主相机视野盲区；
[0036]步骤4
‑
3、得到此时主机械臂上的双目相机与待装配目标中心轴的距离d。
[0037]步骤5、调整从机械臂，以待装配目标的中心点为圆心，以逆时针或顺时针方向(从机械臂为左臂时为逆时针，从机械臂为右臂时为顺时针)扫描半周，并采集实时图像数据流，获取待装配目标灰度信息，具体为：
[0038]步骤5
‑
1：调整从机械臂位姿，使从机械臂上双目相机的光轴与夹爪所在平面和待装配目标所在平面交线L重合，且此时从机械臂上双目相机朝向操作区域，具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的两次校准的双臂协同装配方法，其特征在于，包括以下步骤：步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定；步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配目标的特征点，并确定待装配目标的朝向；步骤3、调整主机械臂姿态，使夹爪中心轴与待装配目标的中心轴平行；步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或目标物体信息显著减少；步骤5、调整从机械臂，以待装配目标的中心点为圆心，以逆时针或顺时针方向扫描半周，并采集实时图像数据流，获取待装配目标灰度信息；步骤6、选取待装配目标对应目标框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准；步骤7、将从机械臂以目标物体中心点为圆心，以顺时针或逆时针方向旋转1/4周，在侧面进行观察，完成前后方向和垂直角度的校准。2.根据权利要求1所述基于视觉的两次校准的双臂协同装配方法，其特征在于，所述步骤1中的初始化设定，具体为：设定双目相机的初始工作位置，使两个双目相机的光轴平行且与两个双目相机光心的连线垂直，并分别标定出双目相机到装有该双目相机的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵，以及两个相机各自的内参矩阵、外参矩阵与畸变系数。3.根据权利要求1所述基于视觉的两次校准的双臂协同装配方法，其特征在于，所述步骤2中的确定待装配目标的朝向，具体包括以下步骤：步骤2
‑
1：利用主、从机械臂上的双目相机对待装配目标进行图像采集；步骤2
‑
2：利用步骤1获得的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，对步骤2
‑
1中主从摄像机采集的图像对进行矫正；步骤2
‑
3：基于Harris算子对经过步骤2
‑
2中矫正的从机械臂的双目相机拍摄的图像进行角点检测，提取待装配目标的6个特征点，分别为u1、u2、u3、u4、u5、u6，使用6个特征点的中心坐标作为待装配目标的中心坐标u0；步骤2
‑
4：基于NCC匹配算法对步骤2
‑
3中经过矫正的图像对在两视图行对正的基础上计算视差，并获得视差图；步骤2
‑
5、使用步骤2
‑
3中获得的图像坐标在步骤2
‑
4中获得的视差图中找到对应点的视差值，基于三角测距原理，确定深度信息，基于深度值，获得待装配目标的六个特征点、待装配目标中心点的世界坐标和待装配目标对应目标框中的灰度平均值Δ0；步骤2
‑
6、定义机械臂基座平面为水平面，选取3个横坐标最小的特征点确定待装配目标法向量，确定待装配目标朝向。4.根据权利要求3所述基于视觉的两次校准的双臂协同装配方法，其特征在于，所述步骤3中的调整主机械臂姿态，具体为：根据步骤2获得的待装配目标法向量和待装配目标的中心点，确定待装配目标的中心轴，调整主机械臂姿态，使夹爪中心轴与待装配目标中心轴平行。5.根据权利要求1所述基于视觉的两次校准的双臂协同装配方法，其特征在于，所述步骤4中的调整主机械臂，具体...

【专利技术属性】
技术研发人员：黄嘉乐，余朝宝，罗威，林明道，邱含章，郭毓，吴益飞，郭健，洪梦情，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：