【技术实现步骤摘要】
本申请涉及物流，尤其是一种用于叠件分离的包裹堆叠状态视觉检测方法。
技术介绍
1、随着快递物流行业的快速发展，包裹分拣数量呈爆发式增长，传统的依靠人工进行包裹供包和分拣的方式效率低下，已经不能满足现在的需求。
2、为了提高包裹分拣效率，目前物流行业会使用全自动供包系统来实现自动化供包和分拣，但是进入全自动供包系统的包裹在初始状态下是随机摆放的，包裹之间往往存在堆叠的情况，不利于分拣，因此全自动供包系统的第一个环节就是利用叠件分离机构进行叠件分离，对互相堆叠的包裹进行去堆叠，以提高后期的分拣效率。准确检测包裹之间的堆叠状态是达成较好的叠件分离效果的前提，但是由于全自动供包系统的使用环境复杂，目前往往不能准确有效的检测包裹之间的堆叠状态，影响叠件分离效果。
技术实现思路
1、本申请针对上述问题及技术需求，提出了一种用于叠件分离的包裹堆叠状态视觉检测方法，本申请的技术方案如下：
2、一种用于叠件分离的包裹堆叠状态视觉检测方法，该包裹堆叠状态视觉检测方法包括：
3、通过图像采集设备获取叠件分离机构的分离段传送皮带的原始图像，原始图像中包括分离段传送皮带及其上传输的包裹；
4、利用基于pp-picodet的轻量级目标检测模型对原始图像进行目标检测，得到原始图像中包括的每个包裹的预测框；
5、利用基于pp-mobileseg的轻量级语义分割模型对每个包裹的预测框处的图像进行图像分割，得到每个包裹的预测掩膜；
6、计算所有包
7、其进一步的技术方案为，基于pp-picodet的轻量级目标检测模型包括依次连接的主干网络、连接网络和头部网络，主干网络采用enhanced shufflenet，连接网络在csp-pan上增加一次下采样，头部网络采用picoheadv2；
8、基于pp-mobileseg的轻量级语义分割模型包括strideformer模块、特征融合块aam以及上采样模块vim。
9、其进一步的技术方案为，根据面积占比确定分离段传送皮带上的包裹的堆叠状态，包括：
10、当面积占比s≥smax时，确定分离段传送皮带上的包裹严重堆叠；
11、当面积占比smin<s<smax时，确定分离段传送皮带上的包裹部分堆叠；
12、当面积占比s≤smin时，确定分离段传送皮带上的包裹不存在堆叠；
13、其中，smin和smax分别为参数。
14、其进一步的技术方案为，得到原始图像中包括的每个包裹的预测框包括：
15、从原始图像中提取分离段传送皮带所在区域的图像为感兴趣区域图像，将感兴趣区域图像输入轻量级目标检测模型，得到每个包裹对应的若干个候选框及对应的置信度；
16、基于包裹的候选框的置信度，使用非极大值抑制方法对交并比大于预定阈值的候选框进行剔除，得到每个包裹的预测框。
17、其进一步的技术方案为，利用基于pp-mobileseg的轻量级语义分割模型对每个包裹的预测框处的图像进行图像分割包括：
18、对每个包裹的预测框的宽度和高度进行尺寸扩大得到包裹的包裹区域，从原始图像中裁剪每个包裹的包裹区域的图像并输入基于pp-mobileseg的轻量级语义分割模型进行图像分割。
19、其进一步的技术方案为，包裹堆叠状态视觉检测方法还包括：
20、搭建基于pp-picodet的轻量级目标检测模型的网络结构；
21、随机初始化轻量级目标检测模型的网络参数，利用coco公开数据集基于初始化的网络参数进行模型预训练，将模型预训练得到的最优map的权重作为轻量级目标检测模型的基础网络参数；
22、利用包裹检测数据集基于基础网络参数对轻量级目标检测模型进行模型训练，将模型训练得到的f1-score的权重作为训练得到的网络参数，得到训练完成的轻量级目标检测模型；模型训练时使用simota采样策略、使用cosine学习率衰减策略、使用h-swish激活函数。
23、其进一步的技术方案为，包裹堆叠状态视觉检测方法还包括：
24、搭建基于pp-mobileseg的轻量级语义分割模型的网络结构；
25、随机初始化轻量级语义分割模型的网络参数，利用cityscapes公开数据集基于初始化的网络参数进行模型预训练，将模型预训练得到的最优map的权重作为轻量级语义分割模型的基础网络参数；
26、利用包裹分割数据集基于基础网络参数对轻量级语义分割模型进行模型训练，将模型训练得到的f1-score的权重作为训练得到的网络参数，得到训练完成的轻量级语义分割模型；模型训练时使用adam学习率策略以及polynomialdecay学习率衰减策略。
27、其进一步的技术方案为，包裹堆叠状态视觉检测方法还包括：
28、获取叠件分离机构的分离段传送皮带的样本包裹图像；
29、从每个样本包裹图像中裁取出分离段传送皮带所在区域的图像，并标注包裹的最小外接正矩形框作为预测框，得到检测样本图像；
30、对所有检测样本图像进行数据增强处理，构建得到包裹检测数据集；其中，数据增强处理包括图像旋转、亮度变换和对比度变换中的至少一种。
31、其进一步的技术方案为，包裹堆叠状态视觉检测方法还包括：
32、对包裹检测数据集中每一个检测样本图像，从检测样本图像中裁剪每个包裹标注的预测框内的局部图像，并在局部图像中标注包裹的掩膜区域，得到分割样本图像；
33、对所有分割样本图像进行数据增强处理，构建得到包裹分割数据集；其中，数据增强处理包括图像旋转、亮度变换和对比度变换中的至少一种。
34、其进一步的技术方案为，包裹堆叠状态视觉检测方法还包括：
35、使用端侧部署工具paddle-lit部署轻量级目标检测模型和轻量级语义分割模型，利用端侧部署工具paddle-lit提供的opt工具对轻量级目标检测模型和轻量级语义分割模型进行优化。
36、本申请的有益技术效果是：
37、本申请公开了一种用于叠件分离的包裹堆叠状态视觉检测方法，该方法通过视觉检测的方法，利用预先训练的轻量级目标检测模型和轻量级语义分割模型可以准确提取得到像素面积总和，从而可以准确得到面积占比以作为叠件分离的参考依据，有利于优化叠件分离的效果，该方法在复杂的环境和光照影响下也能有较准确的检测结果，检测速度快，且轻量级的模型易于部署，非常适用于全自动供包系统的现场使用。
本文档来自技高网...【技术保护点】
1.一种用于叠件分离的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法包括：
2.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，
3.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述根据所述面积占比确定分离段传送皮带上的包裹的堆叠状态，包括：
4.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述得到所述原始图像中包括的每个包裹的预测框包括：
5.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述利用基于PP-mobileseg的轻量级语义分割模型对每个包裹的预测框处的图像进行图像分割包括：
6.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法还包括：
7.根据权利要求6所述的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法还包括：
8.根据权利要求7所述的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法还包括：
9.根据权利要求8所述的包裹堆叠
10.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法还包括：
...【技术特征摘要】
1.一种用于叠件分离的包裹堆叠状态视觉检测方法，其特征在于，所述包裹堆叠状态视觉检测方法包括：
2.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，
3.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述根据所述面积占比确定分离段传送皮带上的包裹的堆叠状态，包括：
4.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述得到所述原始图像中包括的每个包裹的预测框包括：
5.根据权利要求1所述的包裹堆叠状态视觉检测方法，其特征在于，所述利用基于pp-mobileseg的轻量级语义分割模型对每个包裹的预测框处...
【专利技术属性】
技术研发人员：张凯中，唐金亚，杜萍，
申请(专利权)人：中科微至科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。