一种机械臂抓取无序堆叠鞋底的方法技术

本发明专利技术属于机械臂抓取技术领域，涉及一种机械臂抓取无序堆叠鞋底的方法

【技术实现步骤摘要】
一种机械臂抓取无序堆叠鞋底的方法


[0001]本专利技术属于机械臂抓取
，具体而言，涉及一种机械臂抓取无序堆叠鞋底的方法
。

技术介绍

[0002]现有的
3D
视觉算法对鞋底物料的识别一般通过鞋底鞋底表面模型匹配方法实现
。
鞋底鞋底表面模型匹配方法是预先获取需要识别的鞋底的
CAD
模型，然后将其离散化为点云信息并生成表面特征点集合，将鞋底正面的鞋底鞋底表面模型作为鞋底表面模型来匹配需要识别的场景中的最佳匹配物体
。
而鞋底物料在无序堆叠的状态下很难保证所有鞋底都正面朝向相机，导致三维重建后的点云信息中没有完整的鞋底正面，从而使鞋底鞋底表面模型匹配方法失效，导致鞋底鞋底朝上的抓取工作难以实现
。
一些方法采用振动盘来震动筐体来保证鞋底正面朝向相机，这些方法效率低下，产生噪声污染
。
分析原因，发现鞋底物料在无序堆叠的状态下可能会反面和侧面朝向相机位置，如果可以设计一种方法既可以抓取正面的鞋底，也可以抓取反面或者侧面朝向相机的鞋底，将会提高鞋底物料无序堆叠状态下的抓取成功率，摆脱采用振动盘带来的噪声污染
。

技术实现思路

[0003]本专利技术的目的是提供一种机械臂抓取无序堆叠鞋底的方法，以克服现有技术在鞋底朝上难以实现抓取工作的问题，其特征在于，包括以下步骤：
[0004]步骤1：点云信息采集：使用
3D
相机拍摄无序堆叠的鞋底，获取堆叠鞋底点云数据，形成三维对象模型；
[0005]步骤2：点云信息预处理：对叠鞋底点云数据使用直通滤波去除背景点云信息，对点云信息进行下采样处理，降低点云处理的计算量，通过连通域分析去除点云信息中的离群点，获取感兴趣点云信息；
[0006]步骤3：鞋底表面模型制作与匹配：将需要抓取的同一种型号，同一种尺码的左脚鞋底或者右脚鞋底或者左脚鞋底侧面或者右脚鞋底侧面取出一只作为鞋底表面模型，使用
3D
相机拍摄鞋底的正面和反面的点云信息，在鞋底的点云信息生成鞋底表面模型；计算表面法向量，使用鞋底表面模型的法向量来匹配三维对象模型中感兴趣点云信息获取匹配目标，将鞋底表面模型经过刚体变换投影到感兴趣点云信息上的姿态变换矩阵，在
3D
相机坐标系下匹配目标的位姿信息；
[0007]步骤4：鞋底实例分割：通过欧氏距离聚类的方法分析连通域，寻找符合鞋底表面模型中的左脚鞋底侧面或者右脚鞋底侧面的点云数量范围和最长边长度范围的连通域，作为分割实例，计算分割实例的二阶矩，得到三个主轴方向，作为抓取分割实例的姿态信息，计算分割实例的质心获取抓取的位置信息；
[0008]步骤5：抓取优先级判断：在所述的步骤3鞋底表面模型匹配和步骤4的鞋底实例分割可能获取感兴趣点云信息中的多个抓取目标，通过设计一个判别函数来判断抓取目标的
抓取优先级
。
[0009]具体地，所述鞋底表面模型经过刚体变换投影到感兴趣点云信息上的姿态变换为平移矩阵和旋转矩阵，即在
3D
相机坐标系下匹配目标的位姿信息；
[0010]具体地，在所述步骤2中：点云信息预处理包括以下步骤：
[0011]步骤
2.1
：直通滤波：通过
x
，
y
，
z
方向的直通滤波，过滤掉物料框等杂物，保留无序堆叠的鞋底点云信息；
[0012]步骤
2.2
：下采样处理：通过基于距离的采样，在点云数据中选择一个点作为起点，然后选取一定距离内的最近点进行采样，从而减少点云点数，降低计算的复杂度；
[0013]步骤
2.3
：连通域分析：使用欧氏距离聚类分析，当两点之间的距离小于一定值的时候，就认为这两个点属于同一个区域，通过这种方式搜索点云信息中聚在一起的点云簇将其作为一个连通域，点数过少的连通域将其视为离群点排除；
[0014]具体地，在所述步骤3中：鞋底表面模型匹配包括以下步骤：
[0015]步骤
3.1
：鞋底表面模型是在点云信息上以一定距离对三维对象模型进行采样来创建的，允许鞋底表面模型以一定的比例缩小和放大；
[0016]步骤
3.2
：特征提取：在步骤2：获取的感兴趣点云信息和步骤1：得到的鞋底表面模型提取表面点和点的法向量特征，这些特征能够描绘点云中的形状和几何结构；
[0017]步骤
3.3
：特征匹配：比较感兴趣点云信息和鞋底表面模型之间的特征相似性；
[0018]步骤
3.4
：位姿估计：找到最佳特征匹配对后，将最佳特征匹配对视为鞋底表面模型在感兴趣点云信息中的匹配目标，匹配目标相对鞋底表面模型的平移和旋转变换就是匹配目标的位姿信息；
[0019]步骤
3.5
：匹配评估：评估匹配的准确性，评估的指标为匹配相似度，即计算鞋底表面模型的特征点在感兴趣点云信息中有对应特征点的点数量和鞋底表面模型特征点的总点数之间的比值，值在0到1之间
。
[0020]具体地，在所述步骤4中：鞋底实例分割包括以下步骤：
[0021]步骤
4.1
：聚类分割：通过欧氏距离聚类的方法分析连通域，寻找符合鞋底侧面的点云数量范围和最长边长度范围的连通域，作为分割实例；
[0022]步骤
4.2
：姿态计算：通过计算分割实例的二阶矩，得到三个主轴方向，作为抓取该实例的姿态信息；
[0023]步骤
4.3
：质心位置计算：通过计算分割实例的最小外接矩形的质心，获取抓取该实例的位置信息
。
[0024]具体地，在所述步骤5中：抓取优先级判断包括以下步骤：
[0025]步骤
5.1
：判断是否存在匹配目标：查看是否有匹配目标，如果有匹配到的目标进行步骤
5.2
，如果没有匹配到的目标，查看是否有分割实例，如果实例存在就进行步骤
5.5
的操作，如果不存在实例说明
3D
相机视野内已经不存在可抓取的鞋底，此时应该更换物料筐；
[0026]步骤
5.2
：判断是否存在分割实例：查看是否有分割实例，如果有就进行步骤
5.3
，如果没有就进行步骤
5.4
的操作；
[0027]步骤
5.3
：判断匹配目标和分割实例的优先级：如果分割实例在匹配目标的上方，就先抓取分割实例，进行步骤
5.5
的操作，反之先抓取匹配目标，进行步骤
5.4
的操作；
[0028]步骤
5.4
：判断匹配目标的优先级：如果存在多个匹配目标，结合匹配目标所处的
高度
、
匹配相似度等条件设置一个判别函数来判断抓取的优先级，判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种机械臂抓取无序堆叠鞋底的方法，其特征在于，包括以下步骤：步骤1：点云信息采集：使用
3D
相机拍摄无序堆叠的鞋底，获取堆叠鞋底点云数据，形成三维对象模型；步骤2：点云信息预处理：对叠鞋底点云数据使用直通滤波去除背景点云信息，对点云信息进行下采样处理，降低点云处理的计算量，通过连通域分析去除点云信息中的离群点，获取感兴趣点云信息；步骤3：鞋底表面模型制作与匹配：将需要抓取的同一种型号，同一种尺码的左脚鞋底或者右脚鞋底或者左脚鞋底侧面或者右脚鞋底侧面取出一只作为鞋底表面模型，使用
3D
相机拍摄鞋底的正面和反面的点云信息，在鞋底的点云信息生成鞋底表面模型；计算表面法向量，使用鞋底表面模型的法向量来匹配三维对象模型中感兴趣点云信息获取匹配目标，将鞋底表面模型经过刚体变换投影到感兴趣点云信息上的姿态变换矩阵，在
3D
相机坐标系下匹配目标的位姿信息；步骤4：鞋底实例分割：通过欧氏距离聚类的方法分析连通域，寻找符合鞋底表面模型中的左脚鞋底侧面或者右脚鞋底侧面的点云数量范围和最长边长度范围的连通域，作为分割实例，计算分割实例的二阶矩，得到三个主轴方向，作为抓取分割实例的姿态信息，计算分割实例的质心获取抓取的位置信息；步骤5：抓取优先级判断：在所述的步骤3鞋底表面模型匹配和步骤4的鞋底实例分割可能获取感兴趣点云信息中的多个抓取目标，通过设计一个判别函数来判断抓取目标的抓取优先级
。2.
根据权利要求1所述的一种机械臂抓取无序堆叠鞋底的方法，其特征在于，所述鞋底表面模型经过刚体变换投影到感兴趣点云信息上的姿态变换为平移矩阵和旋转矩阵，即在
3D
相机坐标系下匹配目标的位姿信息
。3.
根据权利要求1所述的一种机械臂抓取无序堆叠鞋底的方法，其特征在于，在所述步骤2中：点云信息预处理包括以下步骤：步骤
2.1
：直通滤波：通过
x
，
y
，
z
方向的直通滤波，过滤掉物料框等杂物，保留无序堆叠的鞋底点云信息；步骤
2.2
：下采样处理：通过基于距离的采样，在点云数据中选择一个点作为起点，然后选取一定距离内的最近点进行采样，从而减少点云点数，降低计算的复杂度；步骤
2.3
：连通域分析：使用欧氏距离聚类分析，当两点之间的距离小于一定值的时候，就认为这两个点属于同一个区域，通过这种方式搜索点云信息中聚在一起的点云簇将其作为一个连通域，点数过少的连通域将其视为离群点排除
。4.
根据权利要求1所述的一种机械臂抓取无序堆叠鞋底的方法，其特征在于，在所述步骤3中：鞋底表面模型匹配包括以下步骤：步骤
3.1
：鞋底表面模型是在点云信息上以一定距离对三维对象模型进行采样来创建的，允许鞋底表面模型以一定的比例缩小和放大；步骤
3.2
：特征提取：在步骤2：获取的感兴趣点云信息和步骤1：得到的鞋底表面模型提取表面点和点的法向量特征，这些特征能够描绘点云中的形状和几何结构...

【专利技术属性】
技术研发人员：姜军，刘世贤，潘玲平，林高宏，姜爱俊，
申请(专利权)人：琦星智能科技股份有限公司，
类型：发明
国别省市：