基于计算机视觉的智慧货物识别分拣方法及系统技术方案

本发明专利技术公开了一种基于计算机视觉的智慧货物识别分拣方法及系统，包括：获取预设时间内的货物待分拣订单信息，订单分割后根据相似度计算将分割后订单进行重新组合；设置重新组合后订单中货物的分拣等级，预设不同分拣区分拣设备的分拣任务；获取待分拣货物的图像信息，通过预处理获取图像的感兴趣区域，提取图像特征及点云特征；基于深度学习构建货物识别模型，根据图像特征及点云特征输入训练好货物识别模型进行识别分拣；获取不同分拣区域的各类货物的实时分拣量，根据实时分拣量对不同分拣区域的分拣任务进行更新优化。本发明专利技术保证了货物识别分拣的高效率及准确率，提高了仓库货物的智能化分拣管理，降低人力成本。降低人力成本。降低人力成本。

【技术实现步骤摘要】
基于计算机视觉的智慧货物识别分拣方法及系统


[0001]本专利技术涉及物流分拣
，更具体的，涉及一种基于计算机视觉的智慧货物识别分拣方法及系统。

技术介绍

[0002]在现代仓储物流的商业模式中，货物的分拣及装卸是仓库管理中必须要进行的作业动作。货物分拣效率直接影响企业服务质量和最终客户满意度。提高订单货物的分拣效率作为一种间接的为企业“开源”的方式，能够有效展现企业的服务能力，提升企业的竞争力。随着自动化的快速发展以及社会的不断进步，需要分拣的货物越来越多，这就要求现实的货物分拣应具有快速、实时、高精度、不接触等特点，传统叉车作为当前货物分拣及装卸的常用设备，存在柔性不高、智能化程度低、耗费人力且工作效率不高。由于现代仓库对货物的智能化管理需求越来越高，这些问题的重要性日渐凸显。
[0003]面对传统行业利用人工智能技术进行产业升级的迫切需求，工业机器人被逐步应用到物流货物分拣环境中，它们可以通过视觉技术来自动识别工件种类与位姿，结合机械抓取设备来完成物流货物的分拣工作，而仓储环境物品存放呈现出目标的多样性、相似性及复杂性特点，因此如何有效地提取出目标物体的重要特征信息，在保证分拣准确率的前提下，缩减订单分拣周期，提升机器人分拣效率是亟不可待需要解决的问题之一。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出了一种基于计算机视觉的智慧货物识别分拣方法及系统。
[0005]本专利技术第一方面提供了一种基于计算机视觉的智慧货物识别分拣方法，包括：获取预设时间内的货物待分拣订单信息，将所述货物待分拣订单进行订单分割，根据相似度计算将分割后订单进行重新组合；设置重新组合后订单中货物的分拣等级，根据所述货物的分拣等级进行分配，预设不同分拣区域分拣设备的分拣任务；获取待分拣货物的图像信息，通过预处理后获取图像的感兴趣区域，获取所述感兴趣区域的图像特征及点云特征；基于深度学习构建货物识别模型，根据不同的分拣任务对货物识别模型进行训练，将所述图像特征及点云特征输入训练好货物识别模型进行识别分拣；获取不同分拣区域的各类货物的实时分拣量，根据所述实时分拣量对不同分拣区域的分拣任务进行更新优化。
[0006]本方案中，获取预设时间内的货物待分拣订单信息，将所述货物待分拣订单进行订单分割，根据相似度计算将分割后订单进行重新组合，具体为：将预设时间内的货物待分拣订单信息进行预处理，提取所述货物待分拣订单的词向量，根据所述词向量获取不同订单中的货物关键词及数量关键词，基于所述货物关键词
及数量关键词确定货物品类及货物需求量；根据货物品类及货物需求量将货物待分拣订单进行分割，生成离散的货品数据序列，并根据货物品类及货物需求量设置序列的数据标签，利用所述数据标签计算不同货品数据序列的相似度；获取货品数据序列之间的相似度偏差，将相似度偏差小于预设偏差阈值的货品数据序列划分为同一分拣序列集，获取分拣序列集中各货物的平均需求时间，基于所述平均需求时间对各个分拣序列集进行排序。
[0007]本方案中，设置重新组合后订单中货物的分拣等级，根据所述货物的分拣等级进行分配，预设不同分拣区域分拣设备的分拣任务，具体为：获取同一分拣序列集中各个货物的货物需求量，根据所述货物需求量将货物进行排序，根据排序结果通过预设等级划分标准设置货物的分拣等级，并基于所述分拣等级设置分拣区域中对应的最高分拣设备占据数；获取各个货物从存储区域到分拣区域的运输时间及单件货物分拣时间，生成单种货物的总分拣时间，计算最高分拣等级货物的总分拣时间与其他分拣等级货物总分拣时间的时间差；预设时间差阈值，通过所述时间差与时间差阈值的对比进行初步筛选，保留时间差小于时间差阈值的其他分拣等级货物；将最高分拣等级货物需求量与最高分拣设备占据数的比值及其他分拣等级货物需求量与剩余分拣设备数的比值进行对比，选取经过初筛货物中与最高分拣货物等级对应比值偏差符合预设标准的其他分拣等级货物；通过最高分拣等级货物与符合预设标准的其他分拣等级货物根据分拣设备占据数分配确定分拣组合设置分拣区域的分拣任务，同时，依次重新设置最高分拣等级确定不同的分拣组合设置剩余分拣区域的分拣任务。
[0008]本方案中，获取待分拣货物的图像信息，通过预处理后获取图像的感兴趣区域，获取所述感兴趣区域的图像特征及点云特征，具体为：通过双目系统获取待分拣货物的图像信息，将所述待分拣货物的图像信息进行灰化处理，利用均值滤波对灰化图像进行滤波去噪；将滤波后图像进行光照补偿及二值化处理，获取货物的轮廓信息，根据所述轮廓信息进行框选获取感兴趣区域，根据感兴趣区域图像信息进行特征提取货物图像特征；将感兴趣区域图像信息进行做坐标变换，对双目系统进行标定，根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；将左目图像与右目图像的相似点进行匹配进行图像配准，根据双目系统的左右视差，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，生成点云特征。
[0009]本方案中，基于深度学习构建货物识别模型，根据不同的分拣任务对货物识别模型进行训练，将所述图像特征及点云特征输入训练好货物识别模型进行识别分拣，具体为：基于深度学习构建货物识别模型，根据待分拣订单信息中货物品类关键词设置检索标签获取货物的图像信息，根据所述图像信息生成训练数据，通过不同分拣区域对应分拣任务的分拣组合设置训练数据的配置比例；将图像特征和点云特征导入所述货物识别模型，通过自注意力机制表征特征重要
性，根据特征的自注意力权重结合双向特征金字塔进行不同尺度特征之间的特征融合，得到货物识别融合特征；通过通道注意力对货物识别融合特征进行进一步标定，将货物识别融合特征输入全连接层，根据Softmax函数输出货物的识别结果，将所述识别结果反馈至分拣设备进行分拣。
[0010]本方案中，还包括：获取货物待分拣订单信息中货物识别分拣的准确率，将准确率小于预设准确率阈值的货物品类进行标注，在货物识别模型中利用图片旋转进行对应训练数据的数据增强，并在模型训练中设置自适应参数进行训练补偿；根据货物识别分拣的准确率变化对自适应参数进行调整，直到满足货物品类的预设准确率，确定最优训练数据最优配置比例。
[0011]本专利技术第二方面还提供了一种基于计算机视觉的智慧货物识别分拣系统，该系统包括：存储器、处理器，所述存储器中包括一种基于计算机视觉的智慧货物识别分拣方法程序，所述一种基于计算机视觉的智慧货物识别分拣方法程序被所述处理器执行时实现如下步骤：获取预设时间内的货物待分拣订单信息，将所述货物待分拣订单进行订单分割，根据相似度计算将分割后订单进行重新组合；设置重新组合后订单中货物的分拣等级，根据所述货物的分拣等级进行分配，预设不同分拣区分拣设备的分拣任务；获取待分拣货物的图像信息，通过预处理后获取图像的感兴趣区域，获取所述感兴趣区域的图像特征及点云特征；基于深度学习构建货物识别模型，根据不同的分拣任务对货物识别模型进行训练，将所述图像特征及点云特征输入训练好货物识别模型进行识别分拣；获取不同分拣区域的各类货物的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的智慧货物识别分拣方法，其特征在于，包括以下步骤：获取预设时间内的货物待分拣订单信息，将所述货物待分拣订单进行订单分割，根据相似度计算将分割后订单进行重新组合；设置重新组合后订单中货物的分拣等级，根据所述货物的分拣等级进行分配，预设不同分拣区域分拣设备的分拣任务；获取待分拣货物的图像信息，通过预处理后获取图像的感兴趣区域，获取所述感兴趣区域的图像特征及点云特征；基于深度学习构建货物识别模型，根据不同的分拣任务对货物识别模型进行训练，将所述图像特征及点云特征输入训练好货物识别模型进行识别分拣；获取不同分拣区域的各类货物的实时分拣量，根据所述实时分拣量对不同分拣区域的分拣任务进行更新优化。2.根据权利要求1所述的一种基于计算机视觉的智慧货物识别分拣方法，其特征在于，获取预设时间内的货物待分拣订单信息，将所述货物待分拣订单进行订单分割，根据相似度计算将分割后订单进行重新组合，具体为：将预设时间内的货物待分拣订单信息进行预处理，提取所述货物待分拣订单的词向量，根据所述词向量获取不同订单中的货物关键词及数量关键词，基于所述货物关键词及数量关键词确定货物品类及货物需求量；根据货物品类及货物需求量将货物待分拣订单进行分割，生成离散的货品数据序列，并根据货物品类及货物需求量设置序列的数据标签，利用所述数据标签计算不同货品数据序列的相似度；获取货品数据序列之间的相似度偏差，将相似度偏差小于预设偏差阈值的货品数据序列划分为同一分拣序列集，获取分拣序列集中各货物的平均需求时间，基于所述平均需求时间对各个分拣序列集进行排序。3.根据权利要求1所述的一种基于计算机视觉的智慧货物识别分拣方法，其特征在于，设置重新组合后订单中货物的分拣等级，根据所述货物的分拣等级进行分配，预设不同分拣区域分拣设备的分拣任务，具体为：获取同一分拣序列集中各个货物的货物需求量，根据所述货物需求量将货物进行排序，根据排序结果通过预设等级划分标准设置货物的分拣等级，并基于所述分拣等级设置分拣区域中对应的最高分拣设备占据数；获取各个货物从存储区域到分拣区域的运输时间及单件货物分拣时间，生成单种货物的总分拣时间，计算最高分拣等级货物的总分拣时间与其他分拣等级货物总分拣时间的时间差；预设时间差阈值，通过所述时间差与时间差阈值的对比进行初步筛选，保留时间差小于时间差阈值的其他分拣等级货物；将最高分拣等级货物需求量与最高分拣设备占据数的比值及其他分拣等级货物需求量与剩余分拣设备数的比值进行对比，选取经过初筛货物中与最高分拣货物等级对应比值偏差符合预设标准的其他分拣等级货物；通过最高分拣等级货物与符合预设标准的其他分拣等级货物根据分拣设备占据数分配确定分拣组合设置分拣区域的分拣任务，同时，依次重新设置最高分拣等级确定不同的
分拣组合设置剩余分拣区域的分拣任务。4.根据权利要求1所述的一种基于计算机视觉的智慧货物识别分拣方法，其特征在于，获取待分拣货物的图像信息，通过预处理后获取图像的感兴趣区域，获取所述感兴趣区域的图像特征及点云特征，具体为：通过双目系统获取待分拣货物的图像信息，将所述待分拣货物的图像信息进行灰化处理，利用均值滤波对灰化图像进行滤波去噪；将滤波后图像进行光照补偿及二值化处理，获取货物的轮廓信息，根据所述轮廓信息进行框选获取感兴趣区域，根据感兴趣区域图像信息进行特征提取货物图像特征；将感兴趣区域图像信息进行做坐标变换，对双目系统进行标定，根据左目图像及右目图像中的同一边缘目标点的成像点计算视差，获取目标点的深度信息；将左目图像与右目图像的相似点进行匹配进行图像配准，根据双目系统的左右视差，目标点深度信息及双目相机的内外参数获取边缘目标点的空间坐标，生成点云特征。5.根据权利要求1所述的一种基于计算机视觉的智慧货物识别分拣方法，其特征在于，基于深度学习构建货物识别模型，根据不同的分拣任务对货物识别模型进行训练，将所述图像特征及点云特征输入训练好货物识别模型进行识别分拣，具体为：基于深度学习构建货物识别模型，根据待分拣订单信息中货物品类关键词设置检索标签获取货物的图像信息，根据所述图像信息生成训练数据，通过不同分拣区域对应分拣任务的分拣组合设置训练数据的配置比例；将图像特征和点云特征导入所述货物识别模型，通过自注意力机制表征特征重要性，根据特征的自注意力权重结合双向特征金字塔进行不同尺度特征之间的特征融合，得到货物识别融合特征；通过通道注意力对货物识别融合特征进行进一步标定，将货物识别融合特征输入全连接层，...

【专利技术属性】
技术研发人员：朱禹安，李磊，陈慧莉，张景禹，
申请(专利权)人：深圳市宏大供应链服务有限公司，
类型：发明
国别省市：