盒体抓取方法、装置和电子设备制造方法及图纸

本公开提供一种盒体抓取方法、装置和电子设备，该盒体抓取方法包括：获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像，其中，预设形状至少包含目标盒体的抓取表面的形状；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。本公开在抓取盒体时，能够实现高效准确的抓取每个盒体。能够实现高效准确的抓取每个盒体。能够实现高效准确的抓取每个盒体。

【技术实现步骤摘要】
盒体抓取方法、装置和电子设备


[0001]本公开涉及计算机
，尤其涉及盒体抓取方法、装置和电子设备。

技术介绍

[0002]在盒体的抓取等应用中，需要摄像机采集到盒体的三维点云信息后，控制抓取设备对盒体进行抓取。但是，在实际应用中，会存在摄像头单次采集到至少两个盒体的三维点云信息，这样会导致抓取设备无法实现对盒体的进行单个的抓取。
[0003]基于上述技术问题，在相关技术中通过采集大量数据进行神经网络模型的训练，然后采用训练好的神经网络模型对盒体的三维点云信息进行分割，得到盒体的三维点云信息。但是该方式训练神经网络模型需要预先采集大量训练数据，存在过程繁琐的问题。

技术实现思路

[0004]本公开的多个方面提供盒体抓取方法、装置和电子设备，以解决获取确定盒体的三维点云信息的过程繁琐耗时的问题。
[0005]本公开实施例第一方面提供一种盒体抓取方法，包括：获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像，其中，预设形状至少包含目标盒体的抓取表面的形状；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。
[0006]本公开实施例第二方面提供一种盒体抓取装置，包括：
[0007]获取模块，用于获取目标盒体的初始三维点云信息；
[0008]处理模块，用于对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；
[0009]检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；
[0010]确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；
[0011]控制模块，用于根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。
[0012]本公开实施例第三方面提供一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的盒体抓取方法。
[0013]本公开第四方面提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述第一方面的盒体抓取方法。
[0014]本公开第五方面提供了一种计算机程序产品，程序产品包括：计算机程序，计算机
程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述第一方面的盒体抓取方法。
[0015]本公开实施例应用在盒体的上下料的场景中，通过获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。本公开在抓取盒体时，能够实现高效准确的抓取每个盒体。
附图说明
[0016]此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0017]图1为相关技术提供的一种盒体抓取方法的示意图；
[0018]图2为本公开示例性实施例提供的一种盒体抓取方法的应用场景图；
[0019]图3为本公开示例性实施例提供的一种盒体抓取方法的步骤流程图；
[0020]图4为本公开示例性实施例提供的一种盒体抓取方法的示意图；
[0021]图5为本公开示例性实施例提供的另一种盒体抓取方法的示意图；
[0022]图6为本公开示例性实施例提供的另一种盒体抓取方法的步骤流程图；
[0023]图7为本公开示例性实施例提供的一种去除离群点的示意图；
[0024]图8为本公开示例性实施例提供的一种盒体抓取装置的结构框图；
[0025]图9为本公开示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
[0026]为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开具体实施例及相应的附图对本公开技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0027]在相关技术中，是将工业三维相机拍摄的盒体的三维点云信息映射为二维彩色图像，然后通过二维彩色图像检测盒体的边缘，进行盒体的抓取。示例性地，参照图1，盒体11对应的二维彩色图像12，其中二维彩色图像中图案和线条也会被检测出来，会干扰到对盒体的边缘检测，使获得的盒体边缘不准确，如13，进而影响该盒体的抓取。
[0028]基于上述问题，本公开通过获取目标盒体的初始三维点云信息；对初始三维点云信息进行处理，得到目标盒体在预设表面的整体二维掩膜图像；检测模块，用于对整体二维掩膜图像进行角点检测，以便获取整体二维掩膜图像的角点参数；确定模块，用于根据预设形状以及获取的整体二维掩膜图像的角点参数，确定至少一个目标盒体的二维掩膜图像；根据至少一个目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。首先，本公开能够实时获取目标盒体三维点云信息，得到二维掩膜图像，实现目标盒体的抓取，不需要预先训练抓取模型，过程简单高效。其次，本公开将初始三维点云信息，映射得到目标盒体的至少一个目标盒体的二维掩膜图像，并不需要目标盒体的图案和线条信息，避免了图案和
线条对目标盒体形状的干扰。最后，采用角点检测，能够准确的得到目标盒体至少一个目标盒体的二维掩膜图像，提高了后续抓取目标盒体的准确度。
[0029]在本实施例中，可以是借助云计算系统或者电子设备实现整体的盒体抓取方法。此外，执行盒体抓取方法的服务器可以为云服务器，以便借助于云上资源的优势运行各种算法；相对于云端，盒体抓取方法也可以应用于常规服务器或服务器阵列等服务端设备，在此不加以限定。
[0030]此外，本公开实施例的一种应用场景如图2，图2中包括抓取设备21和传送装置12，传送装置12上装置多个盒体T1至T4，抓取设备11上配置有工业三维相机(未示出)，工件三维相机会对进入其采集视角内的盒体进行三维点云信息的采集。其中，在传送装置12上的盒体，可以是一个进入工业三维相机的采集视角，也可以是多个一起进入工业三维相机的采集视角。示例性地，参照图2，工件三维相机的采集视角如区域A，其中，盒体T1和盒体T4会以一个的形式进入采集视角A，盒体T2和盒体T3会一起进入采集视角A。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种盒体抓取方法，其特征在于，包括：获取目标盒体的初始三维点云信息；对所述初始三维点云信息进行处理，得到所述目标盒体在预设表面的整体二维掩膜图像；对所述整体二维掩膜图像进行角点检测，以便获取所述整体二维掩膜图像的角点参数；根据预设形状以及获取的所述整体二维掩膜图像的角点参数，确定至少一个所述目标盒体的二维掩膜图像，其中，所述预设形状至少包含所述目标盒体的抓取表面的形状；根据所述至少一个所述目标盒体的二维掩膜图像，控制抓取设备抓取对应的目标盒体。2.根据权利要求1所述的盒体抓取方法，其特征在于，所述对所述初始三维点云信息进行处理，得到所述目标盒体在预设表面的整体二维掩膜图像，包括：对所述初始三维点云信息进行预处理，得到目标三维点云信息，所述目标三维点云信息包括：所述目标盒体在预设表面的三维点云信息；将所述目标三维点云信息映射为所述整体二维掩膜图像。3.根据权利要求2所述的盒体抓取方法，其特征在于，所述将所述目标三维点云信息映射为所述整体二维掩膜图像，包括：将所述目标三维点云信息投影为二维信息；确定所述二维信息对应的区域为所述整体二维掩膜图像，所述整体二维掩膜图像中的每个像素点为白色，且每个像素点具有对应的二维信息。4.根据权利要求2所述的盒体抓取方法，其特征在于，所述对所述初始三维点云信息进行预处理，得到目标三维点云信息，包括：采用聚类分析方式，删除初始三维点云信息中不属于所述预设表面的三维点云信息，得到所述预设表面的目标三维点云信息；并且/或者，去除所述初始三维点云信息中的离群点，得到所述目标三维点云信息。5.根据权利要求4所述的盒体抓取方法，其特征在于，在采用聚类分析方式的情形下，所述删除初始三维点云信息中不属于所述预设表面的三维点云信息，得到所述预设表面的目标三维点云信息，包括：在初始三维点云信息中，确定每个点的法向信息；初始三维点云信息中，将属于同一法向信息的点进行聚类，得到多个聚类；确定包括点的数量的最多的聚类为目标聚类；将属于所述目标聚类的三维点云信息确定为所述预设表面的目标三维点云信息。6.根据权利要求1至5中...

【专利技术属性】
技术研发人员：范兴安，盛文波，魏海永，张猛飞，丁有爽，邵天兰，付翱，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：