一种基于深度学习的包裹自动分拣方法技术

本申请公开了一种基于深度学习的包裹自动分拣方法，涉及分拣技术领域，该方法在完成坐标系标定和机械臂的示教后，利用基于深度学习网络预先训练得到的目标检测网络识别初始图像中的待分拣包裹的物体边界框，然后通过语义分割得到待分拣包裹的包裹边界区域；通过对包裹边界区域内的像素点对应的三维点云进行平面分割得到平面点云集合，可以定位得到待分拣包裹的包裹中心，从而确定待分拣包裹的位置，引导机械臂自动抓取分拣，该方法自动化程度高，可以应对各种待分拣包裹，且抓取准确度高。高。高。

【技术实现步骤摘要】
一种基于深度学习的包裹自动分拣方法


[0001]本申请涉及分拣
，尤其是一种基于深度学习的包裹自动分拣方法。

技术介绍

[0002]随着电商的快速发展，日均百万件级别订单处理的超大型分拣中心模式日益普及，传统人工分拣模式招工难、人力成本高、劳动密集难以管理、工作时间受限等情况，难以满足高分拣效率的客观需要，因此自动分拣包裹已经成为现今电商物流包裹分拣的发展趋势。
[0003]目前的自动抓取检测技术需要提前设计目标物的抓取特征，通过目标抓取特征建立抓取模型，检测抓取位置，利用机器人实现对包裹的自动抓取，但是现有的这种方法仍然依赖人工设计目标物的抓取特征，既耗时又需要大量的人工参与，并且对于机器人未见过的目标物无法准确检测出抓取位置，无法执行抓取操作，局限性较大。

技术实现思路

[0004]本申请人针对上述问题及技术需求，提出了一种基于深度学习的包裹自动分拣方法，本申请的技术方案如下：
[0005]一种基于深度学习的包裹自动分拣方法，该方法包括：
[0006]完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成机械臂的示教；
[0007]通过相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到待分拣包裹的物体边界框，初始图像包含每个像素点的RGB信息和深度信息，目标检测网络基于深度学习网络训练得到；
[0008]对物体边界框内的初始图像进行语义分割，确定待分拣包裹的包裹边界区域；
[0009]确定初始图像中位于包裹边界区域内的像素点对应的三维点云得到初始点云集合；
[0010]对初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；
[0011]基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标；
[0012]将待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制机械臂利用末端的吸盘按照待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取待分拣包裹完成分拣。
[0013]其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
[0014]将平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合；
[0015]对变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合；
[0016]根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下
的坐标。
[0017]其进一步的技术方案为，根据目标点云集合和包裹边界区域得到待分拣包裹的包裹中心在图像坐标系下的坐标，包括：
[0018]在机械臂坐标系中求取目标点云集合的最小外接矩形；
[0019]将机械臂坐标系中的最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形；
[0020]将图像坐标系中的最小外接矩形与待分拣包裹的包裹边界区域的交集区域作为目标区域；
[0021]求取目标区域的最大内接矩形，并将最大内接矩形的中心点的坐标作为待分拣包裹的包裹中心在图像坐标系中的坐标。
[0022]其进一步的技术方案为，该方法还包括：
[0023]将图像坐标系中的最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成待分拣包裹的包裹外边界，基于包裹外边界得到待分拣包裹的各边尺寸、面积以及方向。
[0024]其进一步的技术方案为，基于平面点云集合确定待分拣包裹的包裹中心在图像坐标系下的坐标，包括：根据平面点云集合中所有三维点云在图像坐标系中的坐标，计算得到包裹边界区域的中心点在图像坐标系中的坐标、作为待分拣包裹的包裹中心在图像坐标系下的坐标。
[0025]其进一步的技术方案为，确定初始图像中位于包裹边界区域内的像素点对应的三维点云的方法包括：
[0026]确定初始图像中位于包裹边界区域内的像素点在图像坐标系中的二维坐标，结合每个像素点在图像坐标系中的二维坐标以及像素点在初始图像中的深度信息，得到像素点对应的三维点云。
[0027]其进一步的技术方案为，在将初始图像输入目标检测网络后，识别得到多个待分拣包裹的物体边界框，根据各个物体边界框内的像素点的深度信息确定各个物体边界框对应的待分拣包裹的高度，根据对应的待分拣包裹的高度从高到低的顺序依次针对各个待分拣包裹的物体边界框执行对物体边界框内的初始图像进行语义分割的步骤，依次得到各个待分拣包裹的包裹中心在机械臂坐标系下的三维坐标，并利用机械臂利用末端的吸盘依次抓取各个待分拣包裹完成分拣。
[0028]其进一步的技术方案为，目标检测网络基于PicoDet训练得到，并用paddle_inference推理库进行部署。
[0029]其进一步的技术方案为，对物体边界框内的初始图像进行语义分割，包括：
[0030]将物体边界框内的初始图像输入语义分割网络进行语义分割，语义分割网络基于PP
‑
LiteSeg训练得到，并用paddle_inference推理库进行部署。
[0031]其进一步的技术方案为，完成坐标系标定的方法包括：
[0032]通过相机获取包含棋盘格标定板的标定图像，标定图像包含每个像素点的RGB信息和深度信息；
[0033]按照手眼标定方法利用标定图像对机械臂坐标系和相机坐标系进行坐标系标定，确定机械臂坐标系和相机坐标系之间的变换关系；
[0034]根据相机的相机参数确定相机坐标系与图像坐标系之间的变换关系。
[0035]本申请的有益技术效果是：
[0036]本申请公开了一种基于深度学习的包裹自动分拣方法，该方法利用基于深度学习的目标检测网络识别待分拣包裹的物体边界框，结合语义分割得到包裹边界区域，通过对包裹边界区域中的三维点云的变换计算处理可以准确得到带分拣包裹的包裹中心，从而可以准确实现自动化的包裹抓取分拣，不需要预先人工设计目标物的抓取特征，且对于新出现的各种待分拣包裹都能准确提取包裹中心，自动化程度高，且抓取准确度高。
[0037]当有多个待分拣包裹时，按待分拣包裹的高度从高到低的顺序依次处理并提取得到各个待分拣包裹的包裹中心，对各个待分拣包裹依次抓取分拣，更符合实际应用场景。
[0038]该方法不仅可以可以准确提取到待分拣包裹的包裹中心，确定带分拣包裹的位置，还可以得到待分拣包裹的尺寸和方向，从而引导机械臂更准确的抓取。
附图说明
[0039]图1是本申请一个实施例中的包裹自动分拣方法的方法流程图。
[0040]图2是一个实例中的利用目标检测网络识别得到的初始图像中的待分拣包裹的物体边界框的示意图。
[0041]图3是对图2中的一个待分拣包裹的物体边界框内的初始图像进行语义分割得到的包裹边界区域的示意图。
[0042]图4是本申请另一个实施例中的包裹自动分拣方法的方法流程图。
具体实施方式
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的包裹自动分拣方法，其特征在于，所述方法包括：完成机械臂的机械臂坐标系、相机的相机坐标系以及图像坐标系之间的坐标系标定、得到坐标系之间的变换关系，并完成所述机械臂的示教；通过所述相机获取包含待分拣包裹的初始图像并输入目标检测网络，识别得到所述待分拣包裹的物体边界框，所述初始图像包含每个像素点的RGB信息和深度信息，所述目标检测网络基于深度学习网络训练得到；对物体边界框内的初始图像进行语义分割，确定所述待分拣包裹的包裹边界区域；确定所述初始图像中位于所述包裹边界区域内的像素点对应的三维点云得到初始点云集合；对所述初始点云集合进行平面分割，过滤掉外点、保留内点得到平面点云集合；基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标；将所述待分拣包裹的包裹中心在图像坐标系下的坐标转换到机械臂坐标系中，并控制所述机械臂利用末端的吸盘按照所述待分拣包裹的包裹中心在机械臂坐标系下的三维坐标抓取所述待分拣包裹完成分拣。2.根据权利要求1所述的包裹自动分拣方法，其特征在于，所述基于所述平面点云集合确定所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：将所述平面点云集合中所有三维点云在图像坐标系中的坐标转换到机械臂坐标系中，得到变换点云集合；对所述变换点云集合进行平面分割，过滤掉外点、保留内点得到目标点云集合；根据所述目标点云集合和所述包裹边界区域得到所述待分拣包裹的包裹中心在图像坐标系下的坐标。3.根据权利要求2所述的包裹自动分拣方法，其特征在于，所述根据所述目标点云集合和所述包裹边界区域得到所述待分拣包裹的包裹中心在图像坐标系下的坐标，包括：在机械臂坐标系中求取所述目标点云集合的最小外接矩形；将机械臂坐标系中的所述最小外接矩形的四个顶点变换到图像坐标系中，并连接形成图像坐标系中的最小外接矩形；将图像坐标系中的最小外接矩形与所述待分拣包裹的包裹边界区域的交集区域作为目标区域；求取所述目标区域的最大内接矩形，并将所述最大内接矩形的中心点的坐标作为所述待分拣包裹的包裹中心在图像坐标系中的坐标。4.根据权利要求3所述的包裹自动分拣方法，其特征在于，所述方法还包括：将图像坐标系中的所述最大内接矩形的四个顶点变换到机械臂坐标系中，并连接形成所述待分拣包裹的包裹外边界，基于所述包裹外边界...

【专利技术属性】
技术研发人员：杜萍，俞松，唐金亚，
申请(专利权)人：中科微至科技股份有限公司，
类型：发明
国别省市：