基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法技术

本发明专利技术公开了一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法，通过3D结构光相机获取物料的三维点云数据，并与ConvPoint模型相结合进行物料分拣，该方法不受物料初始位姿和外形影响，抓取目标多样，系统鲁棒性更强。与现有的深度学习方法相比，本发明专利技术利用PCA改善抓取采样，使得物料抓取的准确率明显提高，另外评估网络输入夹具内部的点云而非整个物体点云，减少了学习和推理时间，极大的提高了物料分拣的效率。此外，在ConvPoint模型训练阶段，本发明专利技术实时采集了不同种类复杂结构物料的点云数据作为训练集，并没有依赖网上开源的简单物体的数据集，实现了对不同位姿的复杂物体抓取，提高了分拣系统的智能化和自动化水平。智能化和自动化水平。智能化和自动化水平。

【技术实现步骤摘要】
基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法


[0001]本专利技术涉及一种基于ConvPoint模型的物料分拣方法，具体是一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法。

技术介绍

[0002]目前，随着消费级视觉设备的普及，由相机引导机械臂完成抓取成为热点话题。其中，生成执行机构的6D抓取位姿(即3D位置和3D方向)是任何机械臂完成抓取的关键。但是，目前的大多数研究都是基于2D图像或者2.5D深度图像。与3D点云相比，图像和深度图像缺少三维空间几何信息，数据特征不明显或者特征点比较少，有时需要复杂的手工特征才能处理数据。而机械臂的抓取非常依赖于目标的三维空间表面特征，因此基于2D图像或者2.5D深度图像的方法将缺少几何分析，往往只能垂直抓取，很难生成精确的6D抓取位姿。
[0003]针对这些问题，也有研究直接处理3D点云数据。基于点云生成抓取位姿可以分为提取特征估计目标物体位姿的传统方法和基于深度学习评估机械臂抓取位姿的方法。基于点云的传统方法获取目标位姿可以概括为点云配准，即根据原始点云和目标点云，通过提取关键点、特征描述等方法进行匹配求出变换矩阵，变换矩阵包括旋转矩阵R和平移矩阵T,并计算误差来比较匹配结果质量。点云配准产生了许多算法，包括：迭代最近点算法(Iterative Closest Point，ICP)、点对特征算法(Point Pair Features PPF)和快速点特征直方图算法(Fast Point Feature Histogram,FPFH)等。但这些算法最大的缺点是精度很大程度上受到初始位姿精度的影响，不仅如此，对于一些特征并不明显、非常稀疏的点云，求解效果并不理想。比如匹配一些对称且规则的点云，求得的变换矩阵可能会有多个。此外，点云配准的一个匹配周期只能选择一个匹配模板，因此应用于物料分拣时，只能适用于同一形状的物体，抓取目标单一。
[0004]为了克服传统方法的缺陷，目前行业内也有通过3D点云神经网络的方式生成最优抓取位姿，并且不需要估计目标的位姿。基于深度学习的方法主要分为两大部分：输入原始点云，使用基本的几何信息对抓取位姿进行采样，生成抓取候选；通过3D神经网络，对采样到的抓取位姿进行评估，筛选出最优解。但目前基于深度学习的方法，大都还是在网上公开数据集上进行训练的，比如ModelNet、ShapeNet和Npm3D等数据集，主要针对一些简单规则的生活用品，比如立方体纸盒、圆柱体罐子等。此外，输入到网络中的点云数据量庞大，在进行一次完整的前向传播时所花费的时间长，导致分拣效率较低，很难布置到工业现场。不仅如此，最初的抓取位姿采样对最终的效果有很大影响，目前的采样方法大多利用基本的启发式几何信息生成抓取候选。但在噪声比较大，或者点云稀疏的条件下很难估计目标表面法线，无法做到精准的高质量采样，比如沿着杯子的边缘结构很难生成抓取候选，因此亟需一种能够有效改善抓取位姿采样的手段。

技术实现思路

[0005]针对上述现有技术存在的问题，本专利技术提供一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法，通过3D视觉和ConvPoint模型相结合，能对不同位姿、不同结构的物料进行精准的抓取分拣，从而有效保证传送带的分拣效率。
[0006]为了实现上述目的，本专利技术采用的技术方案是：一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法，采用的分拣系统包括3D结构光相机、机械臂和计算机，3D结构光相机用于拍摄柔性生产线传送带上物料的图像并反馈给计算机，计算机用于对拍摄的图像进行处理后，控制机械臂对柔性生产线传送带上的不同物料进行分拣，具体步骤为：
[0007]S1、通过九点标定法获取相机坐标系与机械臂坐标系之间的空间转换矩阵，具体为：
[0008]先通过示教器控制机械臂的末端夹具移动到标定板上的M个点得到在机器人坐标系中的坐标，同时利用3D结构光相机识别标定板上的同样数量的点得到在相机坐标系下的坐标，此时能得到M组对应的坐标，从而计算出相机坐标系与机械臂坐标系之间的空间转换矩阵T
cw
；
[0009]S2、3D结构光相机获取传送带上各个物料的三维点云信息，并反馈给计算机对获取的点云进行预处理，具体为：
[0010]通过3D结构光相机扫描传送带上的物料，得到原始点云信息，利用PCL点云库对点云进行直通滤波、下采样和离群点移除的预处理过程，从而获得预处理后的点云图像；
[0011]S3、将预处理后的点云图像进行下采样，利用基于八叉树的空间划分的半径内近邻算法找到每个采样点附近内的点，形成多个点云小模块，具体为：
[0012]对步骤S2预处理之后的点云图像再次进行下采样，且其使用的体素网格叶比步骤S2的下采样体素网格叶更大，获得n个采样点；利用基于八叉树的空间划分的搜索半径内近邻算法找到每个采样点附近内的点，所述搜索半径设为机械臂末端夹具最大宽度的一半；每个采样点及其对应的搜索半径内的点云重新组合形成n个点云小模块；
[0013]S4、对每一个点云小模块进行PCA主元分析，形成多个点云包络盒，每个包络盒生成一个当前局部最优抓取位姿，从而完成高质量抓取位姿的采样，具体为：
[0014]设[[a,b]]表示从a到b的整数序列，步长为1，对步骤S3获得n个点云小模块分别进行主元分析，设采样点P
i
对应的点云小模块有m个点，则该点云小模块能表示为m*3的矩阵D
i
：
[0015][0016]其中i∈[[0,n
‑
1]]，(x
j
,y
j
,z
j
),j∈[[0,m
‑
1]]代表索引为j的点的三维空间坐标，将点云矩阵D
i
的每一列作均值归零处理，获得矩阵D
i
’
:
[0017][0018]其中μ
x
、μ
y
和μ
z
分别代表点云矩阵D
i
中x、y和z的平均值。令每个点的质量为1，根据
质心公式：
[0019][0020]能得出点云矩阵D
i
对应的质心P
c
(μ
x
，μ
y
，μ
z
)，D
i
均值归零处理是将点云的质心移到原点，不影响主元方向；则该点云小模块的协方差矩阵C
i
表示为：C
i
＝D
i
'
T
D
i
'；
[0021]根据协方差矩阵C
i
求出其特征向量v1、v2和v3以及对应的特征值λ1、λ2和λ3；根据PCA理论得出，该点云小模块的主元向量为其协方差矩阵C
i
的特征向量v1、v2和v3,各自保存的信息量为对应的特征值λ1、λ2和λ3；根据每个点云小模块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ConvPoint模型引导机械臂抓取不同位姿物料的分拣方法，其特征在于，采用的分拣系统包括3D结构光相机、机械臂和计算机，3D结构光相机用于拍摄柔性生产线传送带上物料的图像并反馈给计算机，计算机用于对拍摄的图像进行处理后，控制机械臂对柔性生产线传送带上的不同物料进行分拣，具体步骤为：S1、通过九点标定法获取相机坐标系与机械臂坐标系之间的空间转换矩阵，具体为：先通过示教器控制机械臂的末端夹具移动到标定板上的M个点得到在机器人坐标系中的坐标，同时利用3D结构光相机识别标定板上的同样数量的点得到在相机坐标系下的坐标，此时能得到M组对应的坐标，从而计算出相机坐标系与机械臂坐标系之间的空间转换矩阵T
cw
；S2、3D结构光相机获取传送带上各个物料的三维点云信息，并反馈给计算机对获取的点云进行预处理，具体为：通过3D结构光相机扫描传送带上的物料，得到原始点云信息，利用PCL点云库对点云进行直通滤波、下采样和离群点移除的预处理过程，从而获得预处理后的点云图像；S3、将预处理后的点云图像进行下采样，利用基于八叉树的空间划分的半径内近邻算法找到每个采样点附近内的点，形成多个点云小模块，具体为：对步骤S2预处理之后的点云图像再次进行下采样，且其使用的体素网格叶比步骤S2的下采样体素网格叶更大，获得n个采样点；利用基于八叉树的空间划分的搜索半径内近邻算法找到每个采样点附近内的点，所述搜索半径设为机械臂末端夹具最大宽度的一半；每个采样点及其对应的搜索半径内的点云重新组合形成n个点云小模块；S4、对每一个点云小模块进行主元分析，形成多个点云包络盒，每个包络盒生成一个当前局部最优抓取位姿，从而完成高质量抓取位姿的采样，具体为：设[[a,b]]表示从a到b的整数序列，步长为1，对步骤S3获得n个点云小模块分别进行主元分析，设采样点P
i
对应的点云小模块有m个点，则该点云小模块能表示为m*3的矩阵D
i
：其中i∈[[0,n
‑
1]]，(x
j
,y
j
,z
j
),j∈[[0,m
‑
1]]代表索引为j的点的三维空间坐标，将点云矩阵D
i
的每一列作均值归零处理，获得矩阵D
i
’
:其中μ
x
、μ
y
和μ
z
分别代表点云矩阵D
i
中x、y和z的平均值，令每个点的质量为1，根据质心公式：能得出点云矩阵D
i
对应的质心P
c
(μ
x
，μ
y
，μ
z
)，D
i
均值归零处理是将点云的质心移到原点，不影响主元方向；则该点云小模块的协方差矩阵C
i
表示为：C
i
＝D
i
'
T
D
i
'；
根据协方差矩阵C
i
求出其特征向量v1、v2和v3以及对应的特征值λ1、λ2和λ3；根据主元分析理论得出，该点云小模块的主元向量为其协方差矩阵C
i
的特征向量v1、v2和v3,各自保存的信息量为对应的特征值λ1、λ2和λ3；根据每个点云小模块的3个主元向量，绘制出各自对应的包络盒，比较每个包络盒各自的长宽高，计算出其中最小的一边所对应的主元向量v
min
，同时求出每个包络盒对应的采样点P
i
处的法线向量v
n
；以点P
i
作为抓取点，求得机械臂末端夹具的3D抓取位置p
i

【专利技术属性】
技术研发人员：李会军，瞿孝昌，吴非，叶宾，张培媛，王典，刘越，熊佳俊，谢英男，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：