一种基于二维图像和三维点云结合的堆叠工件位姿估计方法技术

本发明专利技术公开了一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，以深度图像为处理对象，经背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来，利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn

【技术实现步骤摘要】
一种基于二维图像和三维点云结合的堆叠工件位姿估计方法


[0001]本专利技术涉及机器视觉技术和工业生产领域，具体涉及一种基于二维图像和三维点云结合的堆叠工件位姿估计方法。

技术介绍

[0002]伴随着工业4.0时代的到来，工业机械臂被广泛的应用于各领域之中，如铣床加工，箱体堆垛，金属切割，玻璃传送等，解放了人类劳动力，缓解了人口日渐老龄化所带来的劳动力短缺、人力成本增加等问题，给生产生活带来了极大的便捷性。
[0003]工件的识别抓取是工业机械臂生产应用的重要领域，通过工业相机采集图像数据，经处理后识别出工件的类型、位姿等信息，由机械臂实现目标的抓取操作。然而，机械臂抓取的工作环境日益复杂，多为非结构化场景，存在目标排布紧密、姿态复杂多变、堆叠、遮挡等问题，这给机械臂的精准抓取造成了极大的困难。目前，针对工件的堆叠遮挡问题，工业生产中多采用振动台或人工摆放的方式来实现工件的分散，降低识别抓取的难度，但该方式带来了额外的设备及人力支出，因此一种直接针对堆叠工件的识别方法是十分有必要的。
[0004]当前，堆叠工件的识别方法主要分为二维图像检测、三维点云配准和深度学习，三种方法优缺点明显。二维图像检测的识别类型主要集中于平面型工件，技术成熟，识别速度快，但缺失高度信息，使得抓取精度受限；三维点云配准则具有较高的识别抓取精度，但其数据量庞大，运算速度慢，实时性较差；深度学习具有优于前两者的识别效率和准确度，但需要通过大量数据的训练作为可靠识别的保障。

技术实现思路

[0005]针对现有技术中存在的不足，本专利技术提供了一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，解决二维图像检测精度差和三维点云配准速度慢的问题，使得堆叠工件识别在不需要大量训练数据的前提下具有良好的精度和实时性。
[0006]本专利技术是通过以下技术手段实现上述技术目的的。
[0007]一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，以深度图像为处理对象，进行背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来；利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn
‑
Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到各工件的精确位姿。
[0008]上述方案中，包括工件二维图像分割、三维点云数据生成、点云数据预处理、用于模板匹配的模型点云生成、工件点云特征提取、工件点云特征匹配和工件点云位姿估计；
[0009]所述工件二维图像分割，以相机采集的深度图为处理对象，经过背景分离、孔洞填
充、噪声点去除、连通域分析后，提取各工件所在区域和二维像素坐标，实现工件二维图像的分割；
[0010]所述三维点云数据生成，基于二维图像像素坐标和三维空间坐标之间的映射关系，实现二维图像数据向三维点云数据的转化；
[0011]所述点云数据预处理，包括点云下采样、点云滤波和点云表面平滑，用于处理所生成点云数据的缺陷，提高点云数据的质量；
[0012]所述模型点云的生成，通过相机多角度采集工件图像，经由工件二维图像分割、三维点云数据生成和点云数据预处理得到工件多角度的点云数据，根据采集角度拼接生成完整点云，作为模板匹配的模型点云；
[0013]所述工件点云特征提取，对工件点云提取关键点，根据关键点周边数据点的分布情况建立FPFH特征描述，作为点云配准的依据；
[0014]所述工件点云特征匹配，采用改进的Kuhn
‑
Munkres算法实现点云特征点的配对；
[0015]所述工件点云位姿估计，根据几何约束性对特征匹配得到的点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，进一步采用ICP最近点迭代求解工件点云的精确位姿。
[0016]上述方案中，所述映射关系，为二维像素坐标到三维空间坐标的转换矩阵，矩阵元素的数值为标定后相机的内参参数。
[0017]上述方案中，所述点云下采样，采用体素下采样算法划分体素空间单元，取空间单元内各数据点的平均坐标为采样点坐标，减少点云数据量，降低点云密度；所述点云滤波，采用半径滤波算法检索指定半径内的近邻点数目，删除数目小于设定阈值的离散点；所述点云表面平滑，采用移动最小二乘(MLS)法对点云局部表面进行曲面拟合，对跳变数据点进行坐标值修复，平滑点云表面的起伏波动，降低数据表面的粗糙度。
[0018]上述方案中，所述关键点提取，采用均匀采样算法每隔固定空间距离抽取数据点，作为工件点云的特征点。
[0019]上述方案中，所述改进的Kuhn
‑
Munkres算法，以模型点云与待识别点云关键点特征描述距离范数最接近的K点作为待匹配点对，以距离范数的倒数表示各匹配点对权重，利用Kuhn
‑
Munkres算法原理求解带权二分图权重和最大的最优匹配，以此实现点云特征匹配。
[0020]上述方案中，所述相机为三维相机，用于采集工件的深度图像。
[0021]上述方案中，所述背景分离，通过灰度分布直方图确定合适阈值，采用阈值分割方式去除识别场景中无用的背景信息；所述孔洞填充，用于填补工件图像中像素点灰度值为0的孔洞，采用孔洞像素点相邻窗口内像素的平均灰度值进行填充；所述噪声点去除，采用形态学开运算删除背景分离无法去除的部分灰度值异常像素点；所述连通域分析，用于在图像中寻找出彼此互相独立的区域并将其标记出来，并根据标记查找提取出不同工件所在的区域以及其二维像素坐标。
[0022]上述方案中，具体包括以下步骤：
[0023]第一步，三维相机标定，按照相机生产商推荐的标定方法对相机进行标定，矫正相机的径向和切向畸变，获得相机的内外参数，以相机内参参数{f
x
,f
y
,cx,cy}生成二维像素坐标到三维空间坐标的转换矩阵；
[0024]第二步，模型点云生成，使用三维相机采集工件各个角度的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从采集图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径滤波和MLS平滑，降低点云数据量，去除剩余离散点，平滑数据表面，最后根据采集角度拼接生成完整点云，得到模板匹配的模型点云；
[0025]第三步，模型点云特征提取，采用均匀采样提取模型点云的关键点，对点云中每个关键点建立FPFH特征描述，作为特征匹配的模板数据；
[0026]第四步，工件点云生成，使用三维相机采集堆叠工件场景的图像数据，通过背景分离、孔洞填充、噪声点去除、连通域分析从场景图像中分割提取出工件所在区域及其二维像素坐标，利用像素坐标和空间坐标映射关系生成点云数据，点云数据经体素下采样、半径本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，以深度图像为处理对象，进行背景分离、孔洞填充、噪声点去除、连通域分析的二维图像处理，去除无用的背景信息，将堆叠的各工件二维像素坐标提取出来；利用映射关系生成各工件点云数据，并通过下采样、滤波和表面平滑提高生成数据的质量，对模型点云采取多角度拼接得到，分别对模型点云和工件点云提取关键点建立FPFH特征描述，采用改进的Kuhn
‑
Munkres算法实现两者特征点的配对，并根据几何约束关系进行筛选聚类，利用SVD和ICP最近点迭代得到各工件的精确位姿。2.根据权利要求1所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，包括工件二维图像分割、三维点云数据生成、点云数据预处理、用于模板匹配的模型点云生成、工件点云特征提取、工件点云特征匹配和工件点云位姿估计；所述工件二维图像分割，以相机采集的深度图为处理对象，经过背景分离、孔洞填充、噪声点去除、连通域分析后，提取各工件所在区域和二维像素坐标，实现工件二维图像的分割；所述三维点云数据生成，基于二维图像像素坐标和三维空间坐标之间的映射关系，实现二维图像数据向三维点云数据的转化；所述点云数据预处理，包括点云下采样、点云滤波和点云表面平滑，用于处理所生成点云数据的缺陷，提高点云数据的质量；所述模型点云的生成，通过相机多角度采集工件图像，经由工件二维图像分割、三维点云数据生成和点云数据预处理得到工件多角度的点云数据，根据采集角度拼接生成完整点云，作为模板匹配的模型点云；所述工件点云特征提取，对工件点云提取关键点，根据关键点周边数据点的分布情况建立FPFH特征描述，作为点云配准的依据；所述工件点云特征匹配，采用改进的Kuhn
‑
Munkres算法实现点云特征点的配对；所述工件点云位姿估计，根据几何约束性对特征匹配得到的点对进行筛选聚类，利用SVD计算聚类点对之间的转换矩阵，进一步采用ICP最近点迭代求解工件点云的精确位姿。3.根据权利要求1或者2任一项所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述映射关系，为二维像素坐标到三维空间坐标的转换矩阵，矩阵元素的数值为标定后相机的内参参数。4.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述点云下采样，采用体素下采样算法划分体素空间单元，取空间单元内各数据点的平均坐标为采样点坐标，减少点云数据量，降低点云密度；所述点云滤波，采用半径滤波算法检索指定半径内的近邻点数目，删除数目小于设定阈值的离散点；所述点云表面平滑，采用移动最小二乘(MLS)法对点云局部表面进行曲面拟合，对跳变数据点进行坐标值修复，平滑点云表面的起伏波动，降低数据表面的粗糙度。5.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述关键点提取，采用均匀采样算法每隔固定空间距离抽取数据点，作为工件点云的特征点。6.根据权利要求2所述的基于二维图像和三维点云结合的堆叠工件位姿估计方法，其特征在于，所述改进的Kuhn
...

【专利技术属性】
技术研发人员：孙力，郑新，周钰，
申请(专利权)人：江苏大学，
类型：发明
国别省市：