基于并联视觉伺服的自动挂装系统控制方法和控制装置制造方法及图纸

本发明专利技术涉及一种基于并联视觉伺服的自动挂装系统控制方法和控制装置，包括：获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定所述位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接。本发明专利技术通过多目并联伺服控制以及纯视觉算法，在无标记的情况下实现了各挂钩对中的上下挂钩准确的定位跟踪，进而实现了挂装件的自动挂装，提高了挂装精度和效率，降低人工劳动强度。降低人工劳动强度。降低人工劳动强度。

【技术实现步骤摘要】
基于并联视觉伺服的自动挂装系统控制方法和控制装置


[0001]本专利技术涉及装备自动挂装
，尤其涉及基于并联视觉伺服的自动挂装系统控制方法和控制装置。

技术介绍

[0002]视觉伺服是指通过光学的装置和非接触的传感器自动地接受和处理一个真实物体的图像，通过图像反馈的信息，来让机器系统对机器做进一步控制或相应的自适应调整的行为。
[0003]目前，常通过视觉伺服和与激光标记融合的方式来实现装备(挂装件)的自动挂装。但是，这种方式存在以下弊端：(1)对接的上下挂钩发生遮挡时，上下挂钩识别定位效果不稳定，需要人工辅助操作；(2)一些挂装任务中，不允许安装激光标志，使用受到限制。
[0004]因此，亟需提供一种可在狭窄空间操作的成熟可靠的快速挂装技术，从而保障自动挂装的顺利实现。

技术实现思路

[0005]本专利技术的目的是提供一种基于并联视觉伺服的自动挂装系统控制方法和控制装置，以解决不允许使用激光标记时装备无法实现智能化挂装的问题，以及对接的上下挂钩发生遮挡时需要人工辅助操作的问题，进而提高挂装精度和效率，降低人工劳动强度。
[0006]第一个方面，本专利技术实施例提供一种基于并联视觉伺服的自动挂装系统控制方法，包括：
[0007]获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；
[0008]基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；
[0009]根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；
[0010]其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。
[0011]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述挂钩对由上挂钩和下挂钩组成；
[0012]所述基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿，包括：
[0013]根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况；
[0014]利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心；
[0015]基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿。
[0016]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述根据所述图
像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况，包括：
[0017]基于二维图像分割技术和三维点云分割技术，对所述图像信息进行边缘提取，得到所述各挂钩对的平面轮廓图像和三维点云图；
[0018]对所述各挂钩对的平面轮廓图像和三维点云图进行识别；
[0019]对于每一个挂钩对，若识别出所述挂钩对中上挂钩与下挂钩无遮挡，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况；
[0020]若识别出所述挂钩对中上挂钩与下挂钩有遮挡且被遮挡挂钩的被遮挡面积和总面积之间的比例未超过预设比例，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况；
[0021]否则，所述挂钩对中上挂钩与下挂钩的遮挡情况为第三类遮挡情况。
[0022]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心，包括：
[0023]若所述挂钩对中上挂钩与下挂钩的遮挡情况不为第三类遮挡情况，则利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
[0024]否则，利用所述挂钩对的平面轮廓图像以及所述挂钩对的平面轮廓图像中像素点之间的距离，确定所述挂钩对的上挂钩圆心和下挂钩圆心；
[0025]其中，所述挂钩对的平面轮廓图像中像素点之间的距离，是基于所述挂钩对经历第一类遮挡情况或第二类遮挡情况时的平面轮廓图像及其对应的上挂钩圆心和下挂钩圆心的实际位置确定的。
[0026]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心，包括：
[0027]对所述挂钩对的三维点云图中上/下挂钩点云进行下采样，并对下采样后的上/下挂钩点云进行法线估计；
[0028]根据所述下采样后的上/下挂钩点云中各点的法线，采用聚类方式对所述下采样后的上/下挂钩点云进行点云分割，得到分割的最大点云块；
[0029]当所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况时：
[0030]利用所述最大点云块确定上/下挂钩的外表面的内边界；
[0031]利用所述内边界进行平面圆的拟合，并将所述平面圆的圆心作为上/下挂钩圆心；
[0032]当所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况时：
[0033]对所述最大点云块中各点法线作平均处理，得到平均法线；
[0034]基于所述平均法线和所述挂钩对的平面轮廓图像，采用霍夫圆检测算法确定平面霍夫圆；
[0035]计算所述平面霍夫圆的三维投影；
[0036]根据所述平面霍夫圆的三维投影，确定所述平面霍夫圆的圆心对应的空间圆心；
[0037]将所述空间圆心作为上/下挂钩圆心。
[0038]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿，包括：
[0039]将全部挂钩对中上挂钩圆心共处的平面作为上平面，建立以全部挂钩对中上挂钩
圆心中心为原点的上平面坐标系；
[0040]对于每一个挂钩对，按照标准坐标系建立规则，建立与所述挂钩对中上挂钩对应的上挂钩坐标系；
[0041]基于所述挂钩对中上挂钩圆心在相机坐标系下的坐标，确定所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，并基于所述挂钩对中上挂钩圆心在所述上平面坐标系中的坐标，确定所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵；
[0042]基于所述挂钩对中下挂钩圆心在相机坐标系下的坐标，以及所述相机坐标系与所述上挂钩坐标系之间的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标；
[0043]基于所述挂钩对中下挂钩圆心在所述上挂钩坐标系中的坐标，以及所述上挂钩坐标系与所述上平面坐标系的转换关系矩阵，确定所述挂钩对中下挂钩圆心在所述上平面坐标系中的坐标；
[0044]利用全部挂钩对中下挂钩圆心在所述上平面坐标系中的坐标拟合下平面，并确定所述下平面相对于所述上平面的旋转矩阵；
[0045]其中，所述下平面相对于所述上平面的旋转矩阵，用来表征所述上平台与所述下平台的相对位姿。
[0046]根据本专利技术提供的基于并联视觉伺服的自动挂装系统控制方法，所述标准坐标系建立规则为：
[0047]原点位于所述挂钩对中上挂钩圆心，X轴方向、Y轴方向与Z轴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于并联视觉伺服的自动挂装系统控制方法，其特征在于，所述方法包括：获取各目标位置的图像信息，并基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿；基于所述上平台与所述下平台的相对位姿和预存的运动学模型，确定自动挂装系统的位姿调整机构中各关节的运动控制量；根据所述运动控制量控制所述位姿调整机构的关节运动，以实现自动挂装系统中各目标位置处挂钩对的对接；其中，所述各目标位置为自动挂装系统中各挂钩对所处的位置。2.根据权利要求1所述的基于并联视觉伺服的自动挂装系统控制方法，其特征在于，所述挂钩对由上挂钩和下挂钩组成；所述基于所述图像信息确定自动挂装系统中上平台与下平台的相对位姿，包括：根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况；利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心；基于所述各挂钩对的上挂钩圆心和下挂钩圆心，确定所述上平台与所述下平台的相对位姿。3.根据权利要求2所述的基于并联视觉伺服的自动挂装系统控制方法，其特征在于，所述根据所述图像信息，确定所述各挂钩对中上挂钩与下挂钩的遮挡情况，包括：基于二维图像分割技术和三维点云分割技术，对所述图像信息进行边缘提取，得到所述各挂钩对的平面轮廓图像和三维点云图；对所述各挂钩对的平面轮廓图像和三维点云图进行识别；对于每一个挂钩对，若识别出所述挂钩对中上挂钩与下挂钩无遮挡，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况；若识别出所述挂钩对中上挂钩与下挂钩有遮挡且被遮挡挂钩的被遮挡面积和总面积之间的比例未超过预设比例，则所述挂钩对中上挂钩与下挂钩的遮挡情况为第二类遮挡情况；否则，所述挂钩对中上挂钩与下挂钩的遮挡情况为第三类遮挡情况。4.根据权利要求3所述的基于并联视觉伺服的自动挂装系统控制方法，其特征在于，所述利用所述各挂钩对中上挂钩与下挂钩的遮挡情况，确定所述各挂钩对的上挂钩圆心和下挂钩圆心，包括：若所述挂钩对中上挂钩与下挂钩的遮挡情况不为第三类遮挡情况，则利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心；否则，利用所述挂钩对的平面轮廓图像以及所述挂钩对的平面轮廓图像中像素点之间的距离，确定所述挂钩对的上挂钩圆心和下挂钩圆心；其中，所述挂钩对的平面轮廓图像中像素点之间的距离，是基于所述挂钩对经历第一类遮挡情况或第二类遮挡情况时的平面轮廓图像及其对应的上挂钩圆心和下挂钩圆心的实际位置确定的。5.根据权利要求4所述的基于并联视觉伺服的自动挂装系统控制方法，其特征在于，所述利用所述挂钩对的三维点云图，确定所述挂钩对的上挂钩圆心和下挂钩圆心，包括：
对所述挂钩对的三维点云图中上/下挂钩点云进行下采样，并对下采样后的上/下挂钩点云进行法线估计；根据所述下采样后的上/下挂钩点云中各点的法线，采用聚类方式对所述下采样后的上/下挂钩点云进行点云分割，得到分割的最大点云块；当所述挂钩对中上挂钩与下挂钩的遮挡情况为第一类遮挡情况时：利用所述最大点云块确定上/下挂钩的外表面的内边界；利用所述内边界进...

【专利技术属性】
技术研发人员：罗杨宇，薛旺宇，向廷，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：