工件位姿识别方法、电子设备、存储介质及抓取系统技术方案

本发明专利技术涉及点云数据处理技术领域，并提供了一种工件位姿识别方法、电子设备、存储介质及抓取系统，该方法首先通过拍摄获取原始点云数据，然后依据经拍摄得到的原始点云数据生成相应的特征向量，之后沿第一表面的点云的法线方向对特征向量进行点云滤波获取工件的点云集合，基于点云集合获取每个工件各自的工件点云数据，最后依据工件点云数据确定工件的工件实际位姿。本发明专利技术通过对原始点云数据的特征向量进行滤波，并在滤波时沿着垂直于工件曲面的方向进行滤波，从而准确地将工件从料框中分离出来，提高了工件位姿的检测率和准确性。提高了工件位姿的检测率和准确性。提高了工件位姿的检测率和准确性。

【技术实现步骤摘要】
工件位姿识别方法、电子设备、存储介质及抓取系统


[0001]本专利技术涉及点云数据处理
，尤其涉及工件位姿识别方法、电子设备、存储介质及抓取系统。

技术介绍

[0002]在3D视觉引导机械手智能操作的场景下，需要获取待抓取物的位姿信息，以便通过机器人或机械手等智能设备执行抓取等操作。但是，在采用传统的位姿获取方法对容器中的工件进行位姿识别时，检测得到的工件位姿准确性较低，难以满足用户需求。

技术实现思路

[0003]为了解决上述技术问题中的至少一个，本专利技术提供了工件位姿识别方法、电子设备、存储介质及机器人抓取系统。
[0004]本专利技术第一方面提出了一种工件位姿识别方法，所述工件具有相对的第一端和第二端，以及位于所述第一端和所述第二端之间的第一表面，所述第一表面为曲面，所述方法包括：拍摄获取原始点云数据，所述原始点云数据包括内容物的点云数据，所述内容物包括所述工件和载具，其中，拍摄获取的工件的点云数据包括至少部分工件的所述第一表面的部分点云；依据经拍摄得到的原始点云数据生成相应的特征向量，所述特征向量表征所述内容物表面的点云几何特征；沿所述第一表面的点云的法线方向对所述特征向量进行点云滤波获取所述工件的点云集合；基于所述点云集合获取每个所述工件各自的工件点云数据；以及依据所述工件点云数据确定所述工件的工件实际位姿。
[0005]根据本专利技术的一个实施方式，沿所述第一表面的点云的法线方向对所述特征向量进行点云滤波获取所述工件的点云集合的步骤包括：基于相机视野下的所述第一表面的曲面特征确定第一滤波阈值；以及基于所述第一滤波阈值进行法向滤波以获取所述工件的点云集合。
[0006]根据本专利技术的一个实施方式，所述工件为柱状工件，所述第一端和所述第二端分别为所述柱状工件的两个端部。
[0007]根据本专利技术的一个实施方式，所述工件呈圆柱状。
[0008]根据本专利技术的一个实施方式，所述工件在所述载具中水平堆叠摆放，所述工件的所述第一端和所述第二端的端面分别朝向所述载具的端面，所述第一表面朝向相机的拍摄端。
[0009]根据本专利技术的一个实施方式，所述工件摆放有两堆，每堆工件包括一层或多层工件，每层工件包括一个或多个并列摆放的工件，两个工件堆的工件端面以相对的方式衔接或相邻。
[0010]根据本专利技术的一个实施方式，所述特征向量包括点云法向量。
[0011]根据本专利技术的一个实施方式，依据经拍摄得到的原始点云数据生成相应的特征向量，包括：在经拍摄得到的原始点云数据中确定兴趣区域，并依据所述兴趣区域生成相应的
特征向量。
[0012]根据本专利技术的一个实施方式，依据所述兴趣区域生成相应的特征向量，包括：对所述兴趣区域进行下采样，并依据下采样的结果生成相应的特征向量。
[0013]根据本专利技术的一个实施方式，基于所述点云集合获取每个所述工件各自的工件点云数据，包括：种子点选取步骤，从所述点云集合的待划分点集中选取种子点形成种子点集合，并以所述种子点作为当前点；区域分割步骤，对于所述当前点的相邻点，确定所述相邻点的法线与所述当前点的法线的角度差，若所述角度差小于预设角度阈值则将所述当前点添加到当前区域中；确定所述相邻点的曲率值，若所述曲率值小于预设曲率阈值则将所述相邻点加入所述种子点集合作为种子点，并删除相应的所述当前点；从所述种子点集合中选取新的种子点作为当前点代入所述区域分割步骤，直至所述种子点集合为空集，得到当前区域的点云；以及将所述点云集合中未进行划分的点云作为新的待划分点集代入所述种子点选取步骤，直至所述点云集合中所有的点均完成划分。
[0014]根据本专利技术的一个实施方式，在所述点云集合中所有的点均完成划分之后，先依据预设的点云数量区间对划分结果中的每份点云数据进行筛选，将满足所述点云数量区间的各份点云数据作为工件各自的工件点云数据。
[0015]根据本专利技术的一个实施方式，依据所述工件点云数据确定所述工件的工件实际位姿，包括：对所述工件点云数据进行第一点云匹配，得到所述工件的候选工件位姿；对所述工件点云数据进行第二点云匹配，从所述候选工件位姿中确定可选工件位姿，其中，所述第二点云匹配的精度高于所述第一点云匹配的精度；以及依据所述可选工件位姿确定工件实际位姿。
[0016]根据本专利技术的一个实施方式，所述第二点云匹配的方式包括：点云关联步骤，以所述工件点云数据作为场景点云，在所述场景点云中确定与每个待匹配点之间距离最近的点作为关联点，形成待匹配点集和关联点集；确定所述待匹配点集和所述关联点集的重心坐标；依据所述重心坐标确定位姿变换矩阵和相应变换后的第一点集；确定所述第一点集和所述场景点云之间关联点的平均距离；以及将所述第一点集中的点作为新的待匹配点代入所述点云关联步骤，直至满足迭代终止条件，通过最新的位姿变换矩阵得到可选工件位姿。
[0017]根据本专利技术的一个实施方式，在所述工件摆放有两堆时，依据所述可选工件位姿确定工件实际位姿，包括：获取所述工件点云数据中的边缘点云，并依据所述边缘点云确定所述工件的第一端和第二端的端部点云；以及依据所述第一端和所述第二端的端部点云、预设点云模型和所述可选工件位姿进行端部点云匹配，并依据端部匹配结果确定工件实际位姿。
[0018]根据本专利技术的一个实施方式，获取所述工件点云数据中的边缘点云，包括：获取每个工件的工件点云数据的边缘部分，并对所述边缘部分进行合并，得到边缘点云。
[0019]根据本专利技术的一个实施方式，依据所述边缘点云确定所述工件的第一端和第二端的端部点云，包括：分别沿所述工件的轴向正方向和轴向反方向对所述边缘点云进行点云滤波，得到所述工件的第一端和第二端的端部点云，其中，所述轴向依据所述第一端和所述第二端确定。
[0020]根据本专利技术的一个实施方式，在进行所述端部点云匹配之前，先对所述第一端和所述第二端的端部点云进行合并。
[0021]根据本专利技术的一个实施方式，在进行所述端部点云匹配之前，先对所述第一端和所述第二端的端部点云进行统计滤波。
[0022]根据本专利技术的一个实施方式，依据端部匹配结果确定工件实际位姿，包括：对所述端部点云匹配的匹配结果和所述特征向量进行点云匹配，并依据匹配结果确定工件实际位姿。
[0023]本专利技术第二方面提出了一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行如上述任一实施方式所述的工件位姿识别方法。
[0024]本专利技术第三方面提出了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一实施方式所述的工件位姿识别方法。
[0025]本专利技术第四方面提出了一种机器人抓取系统，包括：上述第三方面提出的可读存储介质，以供机器人基于所述可读存储介质中存储的执行指令进行抓取。
[0026]根据本专利技术的一个实施方式，所述机器人包括具有机械手的机械臂。
附图说明
[0027]附图示出了本专利技术的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工件位姿识别方法，其特征在于，所述工件具有相对的第一端和第二端，以及位于所述第一端和所述第二端之间的第一表面，所述第一表面为曲面，所述方法包括：拍摄获取原始点云数据，所述原始点云数据包括内容物的点云数据，所述内容物包括所述工件和载具，其中，拍摄获取的工件的点云数据包括至少部分工件的所述第一表面的部分点云；依据经拍摄得到的原始点云数据生成相应的特征向量，所述特征向量表征所述内容物表面的点云几何特征；沿所述第一表面的点云的法线方向对所述特征向量进行点云滤波获取所述工件的点云集合；基于所述点云集合获取每个所述工件各自的工件点云数据；以及依据所述工件点云数据确定所述工件的工件实际位姿。2.根据权利要求1所述的工件位姿识别方法，其特征在于，沿所述第一表面的点云的法线方向对所述特征向量进行点云滤波获取所述工件的点云集合的步骤包括：基于相机视野下的所述第一表面的曲面特征确定第一滤波阈值；以及基于所述第一滤波阈值进行法向滤波以获取所述工件的点云集合。3.根据权利要求1所述的工件位姿识别方法，其特征在于，基于所述点云集合获取每个所述工件各自的工件点云数据，包括：种子点选取步骤，从所述点云集合的待划分点集中选取种子点形成种子点集合，并以所述种子点作为当前点；区域分割步骤，对于所述当前点的相邻点，确定所述相邻点的法线与所述当前点的法线的角度差，若所述角度差小于预设角度阈值则将所述当前点添加到当前区域中；确定所述相邻点的曲率值，若所述曲率值小于预设曲率阈值则将所述相邻点加入所述种子点集合作为种子点，并删除相应的所述当前点；从所述种子点集合中选取新的种子点作为当前点代入所述区域分割步骤，直至所述种子点集合为空集，得到当前区域的点云；以及将所述点云集合中未进行划分的点云作为新的待划分点集代入所述种子点选取步骤，直至所述点云集合中所有的点均完成划分。4.根据权利要求1所述的工件位姿识别方法，其特征在于，依据所述工件点云数据确定所述工件的工件实际位姿，包括：对所述工件点云数据进行第一点云匹配，得到所述工件的候选工件位姿及对所述工件点云数据...

【专利技术属性】
技术研发人员：栾奥栋，李林轩，王梓儒，李宏坤，樊钰，
申请(专利权)人：北京迁移科技有限公司，
类型：发明
国别省市：