【技术实现步骤摘要】
本专利技术涉及机器人抓取，尤其涉及一种基于3d视觉的箱体分割定位方法及系统。
技术介绍
1、在机器人无序抓取、自动拆垛领域，箱体拆垛是一个经典问题。其难点在于，在箱体紧密摆放，且无法预先得知箱体布局时，如何准确定位到箱体抓取中心。
2、近年来，随着3d视觉技术的发展，工业级3d相机的逐步成熟，基于3d视觉引导的拆垛、上料算法逐渐应用到工业产线上。自动引导拆垛的使用，大大提高了生产线的柔性和生产效率。
3、在已有的自动拆垛方案中，存在使用3d传感器进行扫描,并获取箱体坐标的方案:
4、例如,申请号为cn201910613517.0的视觉方案，依赖灰度图的跳变寻找箱体的边缘，进行目标分割。然而此方案仅适用于纯色的箱体，对箱体的颜色和纹理变化非常敏感，例如在箱体贴胶带或箱体绑满扎带，又或者箱体内部花纹复杂时，很容易因为拟合的错误导致误识别。
5、例如申请号为cn202110122401.4，cn202010316454.5，cn202010159834.2的方案，在分割定位时使用了基于神经网络或深度学习的方法，而该方法一般需要大量的数据进行训练，需要较长的标注和部署时间，且扩充新型时有较高的成本。
6、例如申请号为cn201410665285.0的方案，采取了2d模板匹配的方案，通过模板与图像的相似性进行定位。但该方案对紧密贴合的纯色的箱体进行匹配时，精度会大幅降低。
7、即现有技术存在复杂情况下无法定位到箱体抓取中心，容易产生定位失败以及误识别的情况，且难以进行
技术实现思路
1、（一）要解决的技术问题
2、鉴于现有技术的上述缺点、不足，本专利技术提供一种基于3d视觉的箱体分割定位方法及系统，其解决了现有在复杂情况下无法定位到箱体抓取中心的技术问题。
3、（二）技术方案
4、为了达到上述目的，本专利技术采用的主要技术方案包括：
5、第一方面，本专利技术实施例提供一种基于3d视觉的箱体分割定位方法，包括以下步骤：
6、s1：通过3d视觉相机获取箱体范围的原始三维点云图像，将原始三维点云图像转换到机器人坐标系下；通过阈值分割获取原始三维点云图像中多个聚类；
7、s2：将坐标转换后的原始三维点云图像投影到二维图像上，并获取原始三维点云图像中独立的或离群的聚类；通过在二维图像上与设定尺寸的矩形进行相似性匹配，以分割出二维图像中独立的或者贴合不紧密的箱体；对应从原始三维点云图像中减去已分割的聚类；
8、s3：对原始三维点云图像中剩余聚类进行二次处理，计算出对应的二维图像的轮廓信息与角点信息，以轮廓与角点为基准推断剩余箱体的排列方式，直到推断出的排列方式的结果与原始三维点云图像的相似性大于设定阈值；
9、s5：将二维图像上的分割结果映射到原始三维点云图像，得到实际的各箱体的位姿坐标。
10、本专利技术实施例提出的基于3d视觉的箱体分割定位方法，采用固定安装的3d视觉相机作为传感器，通过获取的原始三维点云图像（3d点云），计算点云的3d特征，并在三维空间内做分割处理，然后结合映射在二维平面的2d纹理信息，对分割结果进行校验，快速获取箱体的精确分割定位结果。同现有技术相比，本专利技术对环境光、灰尘、材质纹路和标签等一系列外部因素引发的噪声具有很好的抗干扰处理效果和适应性。
11、可选地，步骤s3完成后，且在进行步骤s5之前，方法还包括：
12、s4：当推断出的排列方式的结果为二组以上时，调用保留彩色信息和/或纹理信息的原始三维点云图像重新投影到二维图像上，以分别将每一组排列方式的结果在二维图像上生成掩膜；计算掩膜后的二维图像的均值与方差，筛选出二维图像的均值与方差综合最小的结果作为正确的分割结果。
13、可选地，步骤s1中将原始三维点云图像转换到机器人坐标系下，包括以下步骤：
14、通过手眼标定获得的手眼标定矩阵，手眼标定矩阵为机器人的多组机械臂的位姿数据以及各机械臂标记在3d视觉相机下的位姿数据的对应关系矩阵；
15、将3d视觉相机采集的原始三维点云图像，通过手眼标定矩阵将点云进行坐标转换，将原始三维点云图像转换到机器人坐标系下。
16、可选地，步骤s1还包括，对原始三维点云图像进行预处理，包括：
17、对原始三维点云图像进行区域分割，保留aoi区域（area of interest，有效区域，有效区域之外的数据为无效数据），剔除无效数据；
18、对原始三维点云图像进行降采样、滤波和/或去除离群点操作；
19、可选地，步骤s1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
20、通过主成分分析法的原始三维点云图像中的每个点的法向量方向，剔除接近垂直分布的点云，以获取近水平的点云数据；
21、以各点之间的欧氏距离为标准对原始三维点云图像中的所有点进行聚类操作，剔除点云数量小于单个箱体数据的聚类，获取点云数量大于或等于单个箱体数据的聚类。
22、可选地，步骤s3中对原始三维点云图像中剩余聚类进行二次处理，包括：
23、计算原始三维点云图像中剩余聚类对应的二维图像的面积，再除以单个箱体的面积，获取当前聚类对应的二维图像中包含的箱体数量；
24、计算出图像的轮廓信息和角点信息；
25、通过角点与其对应的两条轮廓的位置，推断出单个箱体的位置；
26、将两条轮廓中的任一轮廓作为箱体的长边，推断出两种箱体排列；
27、将两种以上的箱体排列分别与当前聚类对应的二维图像进行交并比判断，通过交并比阈值计算并进行多次迭代以推算箱体的排列，直至箱体排列中箱体的数量达到待分割的箱体数量，得到最终的分割结果。
28、可选地，多次迭代的过程中，根据垛型的先验信息，判断当前迭代完的排列结果是否符合相关的垛型排布，对不符合相关的垛型的排布的迭代的排列结果进行剪枝操作。
29、可选地，步骤s5中得到实际的各箱体的位姿坐标，包括：
30、根据映射的分割结果重新分割原始三维点云图像，组成新的聚类，新的聚类中每个聚类为单独的一个箱体的三维点云数据；
31、根据重新分割后的箱体，通过矩阵变化，最小包围盒的方式计算出箱体的位姿坐标，通过坐标转换成机器人抓取位姿。
32、可选地，箱体的位姿坐标包括箱体的中心点位姿和角点坐标；
33、机器人抓取位姿包括：机器人的机械臂对箱体进行拆垛作业所需的位置和欧拉角。
34、第二方面，本专利技术实施例提供一种基于3d视觉的箱体分割定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
35、（三）有益效果
36、本专利技术的有益效果是：本专利技术的基于3d视觉的箱体分割定位方法及系统，由于采用本文档来自技高网...
【技术保护点】
1.一种基于3D视觉的箱体分割定位方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S3完成后，且在进行所述S5之前，所述方法还包括：
3.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1中将原始三维点云图像转换到机器人坐标系下，包括以下步骤：
4.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1还包括，对所述原始三维点云图像进行预处理，包括：
5.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
6.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S3中对原始三维点云图像中剩余聚类进行二次处理，包括：
7.如权利要求6所述的基于3D视觉的箱体分割定位方法，其特征在于，所述多次迭代的过程中，根据垛型的先验信息，判断当前迭代完的排列结果是否符合相关的垛型排布，对不符合相关的垛型的排布的迭代的排列
8.如权利要求1或2所述的基于3D视觉的箱体分割定位方法，其特征在于，所述S5中得到实际的各箱体的位姿坐标，包括：
9.如权利要求8所述的基于3D视觉的箱体分割定位方法，其特征在于，所述箱体的位姿坐标包括箱体的中心点位姿和角点坐标；
10.一种基于3D视觉的箱体分割定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-9中任一所述方法的步骤。
...【技术特征摘要】
1.一种基于3d视觉的箱体分割定位方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于3d视觉的箱体分割定位方法，其特征在于，所述s3完成后，且在进行所述s5之前，所述方法还包括：
3.如权利要求1或2所述的基于3d视觉的箱体分割定位方法，其特征在于，所述s1中将原始三维点云图像转换到机器人坐标系下，包括以下步骤：
4.如权利要求1或2所述的基于3d视觉的箱体分割定位方法，其特征在于，所述s1还包括，对所述原始三维点云图像进行预处理，包括：
5.如权利要求1或2所述的基于3d视觉的箱体分割定位方法，其特征在于，所述s1中通过阈值分割获取原始三维点云图像中独立的或离群数据的聚类，包括：
6.如权利要求1或2所述的基于3d视觉的箱体分割定位方法，其特征在于，所述s3中...
【专利技术属性】
技术研发人员：时岭，董剑锋，
申请(专利权)人：杭州蓝芯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。