一种机器人3D视觉抓取方法、纠偏方法及系统技术方案

本发明专利技术涉及3D视觉技术领域，公开了一种机器人3D视觉抓取方法、纠偏方法及系统，该抓取方法将待抓取零件与该标准姿态比对求出其中的变换关系，并最后反向求出机器人正确的抓取坐标，完成精准抓取，可以提升机器人的抓取精度；该纠偏方法将待抓取零件与该标准姿态比对求出其中的变换关系，并最后反向求出机器人正确的放料坐标，基于正确的放料坐标完成机器人的坐标纠偏操作，可以保证机器人在抓取和放置过程中的工作精度，提高机器人的智能化程度。提高机器人的智能化程度。提高机器人的智能化程度。

【技术实现步骤摘要】
一种机器人3D视觉抓取方法、纠偏方法及系统


[0001]本专利技术涉及3D视觉
，尤其涉及一种机器人3D视觉抓取方法、纠偏方法及系统。

技术介绍

[0002]随着人工智能浪潮的兴起，机器人在各行各业发挥着日益重要的作用。近年来，工业机器人广泛应用于码垛、焊接、搬运、装配、涂漆等作业，对机器人而言，抓取是机器人走进真实世界必不可少的技能，比如在物流行业中对物体进行分拣，在工业生产线上完成零件的装配等。因此，如何实现机器人的零件抓取功能成为一个亟需解决的问题。

技术实现思路

[0003]本专利技术提供了一种机器人3D视觉抓取方法、纠偏方法及系统，以解决现有技术中存在的问题。
[0004]为了实现上述目的，本专利技术通过如下的技术方案来实现：第一方面，本专利技术提供一种机器人3D视觉抓取方法，包括：获取待抓取零件在机器人标准拍照位的实际点云数据；对所述第一实际点云数据进行预处理得到第一场景点云数据；将所述第一场景点云数据与第一预设模型点云进行粗匹配得到待抓取零件的多个候选位姿；将所述多个候选位姿与第一预设模型点云中的位姿进行精匹配，得到待抓取零件与模型零件之间的变换矩阵；根据所述变换矩阵与模型零件的位置计算待抓取零件的待抓取位坐标，并基于所述待抓取位坐标抓取待抓取零件。
[0005]可选地，所述对所述第一实际点云数据进行预处理得到目标点云数据，包括：对所述第一实际点云数据进行滤波处理，并对滤波处理的结果进行降采样处理得到目标点云数据。
[0006]可选地，所述对所述第一实际点云数据进行滤波处理，包括：建立目标点云坐空间标系，基于目标点云空间坐标系设定一个通道，将图片点云数据在通道范围之外的点剔除，得到第一滤波结果；计算第一滤波结果的每一个点到它的所有临近点的平均距离，将平均距离在预设标准范围之外的点，从第一滤波结果中剔除，得到第二滤波结果；将第二滤波结果划分为若干个区域，对每一个区域指定一个种子点作为生长的起点，然后将种子点的相邻区域的点和种子点进行对比，计算相似度，将相似度超过阈值的点合并入同一个区域，以此迭代，直到没有满足条件的点被合并入区域中，得到第三滤波结果；剔除所述第三滤波结果中属于预设三维盒子范围之外的点云，得到第四滤波结
果。
[0007]可选地，所述降采样包括均匀降采样、体素降采样、曲率降采样、以及泊松磁盘采样中的任意一项。
[0008]可选地，所述将所述第一场景点云数据与第一预设模型点云进行粗匹配得到待抓取零件的多个候选位姿，包括：计算所述第一场景点云数据的全局点对特征，以特征为键，以点对为值建立哈希表作为目标点云数据的全局模型；将所述第一场景点云数据的全局模型与第一预设模型点云进行局部匹配，得到多个候选位姿。
[0009]可选地，所述将所述多个候选位姿与第一预设模型点云中的位姿进行精匹配，得到待抓取零件与模型零件之间的变换矩阵，包括：设定精配准的初始变换矩阵；根据初始变换矩阵计算每一个候选位姿的场景点云中的对应点，在第一预设模型点云中查找与对应点距离最近点，最后重新计算变换矩阵，多次迭代直到满足目标阈值，得到最优变换矩阵。
[0010]可选地，所述待抓取位坐标满足如下关系式：；式中，表示机器人的基准拍照点，表示待抓取零件的拍照位，表示做标准模型的相机外参，表示指抓取新零件是的相机内参，P1表示拍到的点云中模型零件相对于模型的位姿，P2表示拍到的点云中新零件相对于模型的位姿，表示P1与模型之间的转换矩阵，表示P2与模型之间的转换矩阵、表示模型零件的抓取位坐标，其中由精配准得出。
[0011]第二方面，本申请提供一种机器人3D视觉纠偏方法，包括：采用如第一方面所述的方法抓取到待抓取零件后，获取纠偏相机拍摄的第二实际点云数据，所述第二实际点云数据包括机器人抓手与待抓取零件的第一位置关系；对所述第二实际点云数据进行预处理得到第二场景点云数据；将所述第二场景点云数据与第二预设模型点云进行匹配，所述第二预设模型点云包括机器人抓手与模型零件的第二位置关系；在所述第一位置关系与所述第二位置关系存在偏差的情况下，确定第一位置关系与第二位置关系之间的偏差信息，所述偏差信息包括第二场景点云数据与第二预设模型点云之间的位置移动信息；根据所述偏差信息与模型零件的放置位置坐标计算待抓取零件的放置位坐标。
[0012]可选地，待抓取零件的放置位坐标，满足如下关系式：；
式中，R1表示机器人的基准拍照点，R2表示机器人的基准放料点，R1'表示机器人抓取到待抓取零件后的拍照位，R2'表示机器人抓取到待抓取零件后的放置位。
[0013]第三方面，本申请提供一种机器人3D视觉系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤，或者，实现上述第二方面所述方法的步骤。
[0014]有益效果：本专利技术提供的机器人3D视觉抓取方法，首先计算出模型零件在机器人标准拍照位以及标准抓取位的标准姿态，其次将待抓取零件与该标准姿态比对求出其中的变换关系，并最后反向求出机器人正确的抓取坐标，完成精准抓取，可以提升机器人的抓取精度。
[0015]本专利技术提供的机器人3D视觉纠偏方法，首先计算出模型零件在机器人标准拍照位以及标准放料位的标准姿态，其次将待抓取零件与该标准姿态比对求出其中的变换关系，并最后反向求出机器人正确的放料坐标，基于正确的放料坐标完成机器人的坐标纠偏操作，可以保证机器人在抓取和放置过程中的工作精度，提高机器人的智能化程度。
附图说明
[0016]图1为本专利技术优选实施例的一种机器人3D视觉抓取方法的流程图；图2为本专利技术优选实施例的滤波处理后的示意图；图3为本专利技术优选实施例的匹配过程的示意图之一；图4为本专利技术优选实施例的匹配过程的示意图之二；图5为本专利技术优选实施例的匹配过程的示意图之三；图6为本专利技术优选实施例的机器人的结构示意图之一；图7为本专利技术优选实施例的抓取相机的放大图；图8为本专利技术优选实施例的机器人工作节点示意图；图9为本专利技术优选实施例的机器人的结构示意图之二；图10为本专利技术优选实施例的纠偏相机的放大图。
具体实施方式
[0017]下面对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]请参见图1，本申请实施例提供一种机器人3D视觉抓取方法，包括：获取待抓取零件在机器人标准拍照位的实际点云数据；对第一实际点云数据进行预处理得到第一场景点云数据；将第一场景点云数据与第一预设模型点云进行粗匹配得到待抓取零件的多个候选位姿；将多个候选位姿与第一预设模型点云中的位姿进行精匹配，得到待抓取零件与模型零件之间的变换矩阵；根据变换矩阵与模型零件的位置计算待抓取零件的待抓取位坐标，并基于待抓取位坐标抓取待抓取零件。
[0019]本实施例中，第一预设模型点云是指模型零件在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人3D视觉抓取方法，其特征在于，包括：获取待抓取零件在机器人标准拍照位的第一实际点云数据；对所述第一实际点云数据进行预处理得到第一场景点云数据；将所述第一场景点云数据与第一预设模型点云进行粗匹配得到待抓取零件的多个候选位姿；将所述多个候选位姿与第一预设模型点云中的位姿进行精匹配，得到待抓取零件与模型零件之间的变换矩阵；根据所述变换矩阵与模型零件的位置计算待抓取零件的待抓取位坐标，并基于所述待抓取位坐标抓取待抓取零件。2.根据权利要求1所述的机器人3D视觉抓取方法，其特征在于，所述对所述第一实际点云数据进行预处理得到目标点云数据，包括：对所述第一实际点云数据进行滤波处理，并对滤波处理的结果进行降采样处理得到目标点云数据。3.根据权利要求2所述的机器人3D视觉抓取方法，其特征在于，所述对所述第一实际点云数据进行滤波处理，包括：建立目标点云坐空间标系，基于目标点云空间坐标系设定一个通道，将图片点云数据在通道范围之外的点剔除，得到第一滤波结果；计算第一滤波结果的每一个点到它的所有临近点的平均距离，将平均距离在预设标准范围之外的点，从第一滤波结果中剔除，得到第二滤波结果；将第二滤波结果划分为若干个区域，对每一个区域指定一个种子点作为生长的起点，然后将种子点的相邻区域的点和种子点进行对比，计算相似度，将相似度超过阈值的点合并入同一个区域，以此迭代，直到没有满足条件的点被合并入区域中，得到第三滤波结果；剔除所述第三滤波结果中属于预设三维盒子范围之外的点云，得到第四滤波结果。4.根据权利要求2所述的机器人3D视觉抓取方法，其特征在于，所述降采样包括均匀降采样、体素降采样、曲率降采样、以及泊松磁盘采样中的任意一项。5.根据权利要求2所述的机器人3D视觉抓取方法，其特征在于，所述将所述第一场景点云数据与第一预设模型点云进行粗匹配得到待抓取零件的多个候选位姿，包括：计算所述第一场景点云数据的全局点对特征，以特征为键，以点对为值建立哈希表作为目标点云数据的全局模型；将所述第一场景点云数据的全局模型与第一预设模型点云进行局部匹配，得到多个候选位姿。6.根据权利要求5所述的机器人3D视觉抓取方法，其特征在于，所述将所述多...

【专利技术属性】
技术研发人员：卿黎明，李婷，
申请(专利权)人：湖南视比特机器人有限公司，
类型：发明
国别省市：