基于三维点云的机器人自动拆袋方法及系统技术方案

本发明专利技术公开了一种基于三维点云的机器人自动拆袋方法及系统，该方法包括：通过3D相机获取堆料盘周围环境信息；通过点云聚类对每个袋装料包进行分割；获取紧凑包围盒，并通过紧凑包围盒求解每个袋装料包的中心点位置及其姿态；对所有袋装料包的中心点进行排序；通过Modbus Tcp通讯协议与机器人建立连接，并将袋装料包中心点位置和姿态传输给机器人；机器人末端抓取单元依次进行袋装料包抓取、拆包、倒料、脱袋、复位，如此循环，直至堆料盘上的袋装料包全部抓取、拆袋完毕；本发明专利技术能够适用于施工现场复杂环境下，能够满足智能化自动拆袋的要求，避免了搅拌站活灰工岗位职业病的发生，也大大提高了施工效率。也大大提高了施工效率。也大大提高了施工效率。

【技术实现步骤摘要】
基于三维点云的机器人自动拆袋方法及系统


[0001]本专利技术属于自动拆袋
，更具体地，涉及一种基于三维点云的机器人自动拆袋方法及系统。

技术介绍

[0002]建筑材料的水泥、耐火泥等不定形材料均采用袋装，在施工过程中，通常由人工搬运
‑
拆包
‑
倾倒进搅拌机，过程中会产生大量的粉尘，搅拌站施工人员的岗位成为了腰肌劳损、矽肺病等职业病的高发岗位。近年来随着制造业的蓬勃发展，大量机器人替代人力用来搬运物料，相较于传统的人工搬运方式而言，机器人的载荷更大、准确率更高、效率遥遥领先。使用机器人来进行袋装料的自动拆袋，不仅可以将施工人员从繁重的搬运工作中解放出来，而且可以有效避免职业病的发生。
[0003]由于，袋装料包内的不定形材料填充的不一定均匀，机器人抓取端需夹持袋装料中线以下，避免搬运过程中造成脱落；而且，袋装料堆垛上的袋装料包相互紧贴，机器人抓取端也无法夹持到袋装料中线以下；另外，机器人在拆袋过程中需要获知目标袋装料包的位置，采用激光传感器技术识别物体进行视觉引导，针对施工现场环境的复杂性，袋装料包相互堆叠，周围干扰物较多，导致对目标袋装料包分类和分割精度不高。
[0004]鉴于此，目前亟需专利技术一种基于三维点云的机器人自动拆袋系统和方法，满足袋装料包的精准识别，对目标料包两侧的料包进行拨离，以便机器人抓取端夹持到袋装料中线以下，避免料包无法抓取和搬运过程中造成脱落。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供一种基于三维点云的机器人自动拆袋方法及系统，通过在机器人末端设置抓取单元，抓取单元上设抓袋组件和拨袋组件，二者分别执行目标袋装料包的抓取和目标袋装料包两侧料包的拨离，进而便于抓取单元夹持到袋装料包中线以下，增加了机器人自动拆袋整个操作流程的稳定性；通过点云预处理和点云分割方法分割出每个料包，然后使用紧凑包围盒解算出料包的中心点位置及其姿态，对中心点进行排序后，通过Modbus Tcp通讯协议与机器人建立连接，并将袋装料包中心点位置和姿态传输给机器人，驱动机器人末端抓取单元进行按序抓取袋装料包操作；本专利技术适用于施工现场复杂环境，能够满足智能化自动拆袋的要求，在避免搅拌站活灰工岗位职业病的发生的同时，能够大大提高施工效率。
[0006]为了实现上述目的，本专利技术的一个方面提供一种基于三维点云的机器人自动拆袋方法，包括以下步骤：
[0007]S1:通过3D相机获取堆料盘周围环境信息；
[0008]S2:通过点云聚类对每个袋装料包进行分割；
[0009]S3:获取紧凑包围盒，并通过紧凑包围盒求解每个袋装料包的中心点位置及其姿态；
[0010]S4:对所有袋装料包的中心点进行排序；
[0011]S5:通过Modbus Tcp通讯协议与机器人建立连接，并将袋装料包中心点位置和姿态传输给机器人；
[0012]S6:机器人末端抓取单元循环进行袋装料包的抓取、拆包、倒料、脱袋、复位，直至堆料盘上的袋装料包全部抓取、拆袋完毕。
[0013]进一步地，步骤S1中堆料盘周围环境信息的获取包括如下步骤：
[0014]S11:通过堆料盘上方3D相机中的激光雷达来采集堆料盘周围环境的原始点云数据，并对原始点云数据进行下采样操作；
[0015]S12:将下采样操作后的点云数据中的每个点转移到机器人坐标系中；
[0016]S13:去除袋装料包周围干扰物点云噪声；
[0017]步骤S12中，将下采样操作后的点云数据中的每个点转移到机器人坐标系包括如下步骤：
[0018]对3D相机与机器人进行手眼标定，获得从3D相机坐标系到机器人坐标系的变换矩阵；
[0019]根据所述变换矩阵对经过下采样操作后的点云数据进行刚体变换，将经过下采样操作的点云数据转换到机器人坐标系。
[0020]进一步地，步骤S13中袋装料包周围干扰物点云噪声的去除，包括如下步骤：
[0021]S131：对于步骤S12中刚体变换后的点云数据进行直通滤波处理；
[0022]S132：对经过直通滤波处理后的点云数据进行半径滤波处理，进而去除袋装料包周围干扰物点云噪声。
[0023]进一步地，步骤S3中获取紧凑包围盒，并通过紧凑包围盒求解每个袋装料包的中心点位置及其姿态包括如下步骤：
[0024]S31:通过(PCA)主成分分析获取料包点云数据的特征值和特征向量，并将最大特征值对应的特征向量作为OBB包围盒的主轴方向；
[0025]S32:求解目标料包点云在当前坐标系下的最小坐标点和最大坐标点，以确定包围盒的四个顶点，得到OBB包围盒；
[0026]S33:通过刚体变换将目标料包点云变换到坐标轴原点，然后绕机器人坐标系下Z轴旋转多个角度，取AABB包围盒表面积最小时的角度作为补偿值，对OBB包围盒角度进行补偿，获得紧凑包围盒；
[0027]S34:将紧凑包围盒计算出的Z轴角度θ
z
全部转换到
[0028]S35:对Z轴角度在的点采取[θ
z
‑
π]，对Z轴角度在的点采取[θ
z
+π]，进而获得每个袋装料包的中心点位置及其姿态。
[0029]进一步地，步骤S4中，对所有袋装料包的中心点进行排序，方便后续机器人从边缘至中间按照顺序进行抓取，包括如下步骤：
[0030]S41：将所有料包的中心点位置X、Y、Z及其姿态θ
x
、θ
y
、θ
z
保存到列表L1中，通过遍历列表L1得出Z值最大的袋装料包中心点高度Z
max
；指定Z范围为[Z
max
‑
100，Z
max
]，筛选出最上一层的料包中心点集，并将其加入到列表L2中；
[0031]S42：遍历列表L2找出X最小值X
min
，指定X范围为[X
min
，X
min
+300]，得到边缘一列的中心点集合，并将其加入到列表L3中；
[0032]S43：遍历列表L3找出Y最小值Y
min
，将此中心点加入列表L4中，循环执行此步骤直至列表L3为空；
[0033]S44：循环执行步骤S42和步骤S43,直至列表L2为空，进而完成料包中心点从边缘至中心的排序。
[0034]本专利技术的另一个方面提供一种基于三维点云的机器人自动拆袋系统，包括自动拆袋机构、3D相机、拆袋料斗和堆料盘；其中，
[0035]所述自动拆袋机构用于自动抓取袋装料包，其包括机器人和设于所述机器人上的抓取单元；所述抓取单元包括连接端、支座、抓袋组件以及拨袋组件；所述连接端设于所述支座上；所述连接端用于与所述机器人的末端连接；
[0036]所述支座的底部设有底板组件；所述抓袋组件和所述拨袋组件均设于所述底板组件上；
[0037]所述3D相机设于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维点云的机器人自动拆袋方法，其特征在于，包括以下步骤：S1:通过3D相机获取堆料盘周围环境信息；S2:通过点云聚类对每个袋装料包进行分割；S3:获取紧凑包围盒，并通过紧凑包围盒求解每个袋装料包的中心点位置及其姿态；S4:对所有袋装料包的中心点进行排序；S5:通过Modbus Tcp通讯协议与机器人建立连接，并将袋装料包中心点位置和姿态传输给机器人；S6:机器人末端抓取单元循环进行袋装料包的抓取、拆包、倒料、脱袋、复位，直至堆料盘上的袋装料包全部抓取、拆袋完毕。2.根据权利要求1所述的基于三维点云的机器人自动拆袋方法，其特征在于，步骤S1中堆料盘周围环境信息的获取包括如下步骤：S11:通过堆料盘上方3D相机中的激光雷达来采集堆料盘周围环境的原始点云数据，并对原始点云数据进行下采样操作；S12:将下采样操作后的点云数据中的每个点转移到机器人坐标系中；S13:去除袋装料包周围干扰物点云噪声；步骤S12中，将下采样操作后的点云数据中的每个点转移到机器人坐标系包括如下步骤：对3D相机与机器人进行手眼标定，获得从3D相机坐标系到机器人坐标系的变换矩阵；根据所述变换矩阵对经过下采样操作后的点云数据进行刚体变换，将经过下采样操作的点云数据转换到机器人坐标系。3.根据权利要求2所述的基于三维点云的机器人自动拆袋方法，其特征在于，步骤S13中袋装料包周围干扰物点云噪声的去除，包括如下步骤：S131：对于步骤S12中刚体变换后的点云数据进行直通滤波处理；S132：对经过直通滤波处理后的点云数据进行半径滤波处理，进而去除袋装料包周围干扰物点云噪声。4.根据权利要求3所述的基于三维点云的机器人自动拆袋方法，其特征在于，步骤S3中获取紧凑包围盒，并通过紧凑包围盒求解每个袋装料包的中心点位置及其姿态包括如下步骤：S31:通过(PCA)主成分分析获取料包点云数据的特征值和特征向量，并将最大特征值对应的特征向量作为OBB包围盒的主轴方向；S32:求解目标料包点云在当前坐标系下的最小坐标点和最大坐标点，以确定包围盒的四个顶点，得到OBB包围盒；S33:通过刚体变换将目标料包点云变换到坐标轴原点，然后绕机器人坐标系下Z轴旋转多个角度，取AABB包围盒表面积最小时的角度作为补偿值，对OBB包围盒角度进行补偿，获得紧凑包围盒；S34:将紧凑包围盒计算出的Z轴角度θ
z
全部转换到S35:对Z轴角度在的点采取[θ
z
‑
π]，对Z轴角度在的点采取[θ
z
+
π]，进而获得每个袋装料包的中心点位置及其姿态。5.根据权利要求4所述的基于三维点云的机器人自动拆袋方法，其特征在于，步骤S4中，对所有袋装料包的中心点进行排序，方便后续机器人从边缘至中间按照顺序进行抓取，包括如下步骤：S41：将所有料包的中心点位置X、Y、Z及其姿态θ
x
、θ
y
、θ
z
保存到列表L1中，通过遍历列表L1得出Z值最大的袋装料包中心点高度Z
max
；指定Z范围为[Z
max
‑
100，Z
max
]，筛选出最上一层的料包中心点集，并将其加入到列表L2中；S42：遍历列表L2找出X最小值X
min
，指定X范围为[X
min
，X
min
+300]，得到边缘一列的中心点集合，并将其加入到列表L3中；S43：遍历列表L3找出Y最小值Y
min
，将此中心点加入列表L4中，循环执行此步骤直至列表L3为空；S44：循环执行步骤S42和步骤S43,直至列表L2为空，进而完成料包中心点从边缘至中心的排序。6.一种基于三维点云的机器人自动拆袋系统，用于实现权利要求1
‑
5中任一项所述的基于三维点云的机器人自动拆袋方法，其特征在于，包括自动拆袋机构(1)、3D相机(2)、拆袋料斗(3)和堆料盘(4)；其中，所述自动拆袋机构(1)用于自动抓取袋装料包(5)，其包括机器人(11)和设于所述机器人(11)上的抓取单元(12)；所述抓取单元(12)包括连接端(121)、支座(122)、抓袋组件(123)以及拨袋组件(12...

【专利技术属性】
技术研发人员：夏春，邹少峰，王俊东，李文，袁小平，黎耀南，李维刚，郑运洪，赵云涛，吴春桥，剪元香，
申请(专利权)人：中国一冶集团有限公司，
类型：发明
国别省市：