一种用于立体仓库的货物包装箱识别方法及系统技术方案

本发明专利技术公开了一种用于立体仓库的货物包装箱识别方法及系统，涉及仓储物流技术领域，该方法包括以下步骤：包装箱图像采集，实时采集货物运过程中的包装箱图像；包装箱角点检测，将所述包装图像输入包装箱角点检测模型中，得到标记了所述包装箱图像中所有包装箱角点的角点检测图像；包装箱对齐矫正，将所述角点检测图像输入包装箱对齐矫正模型中，输出所述角点检测图像中每一个包装箱所对应的图像；包装箱分类识别，将上一步所获得的每一个包装箱所对应的图像输入到包装箱分类识别模型中，得到所述包装箱图像中每一个包装箱类别。本发明专利技术可高效率、自动化地实现高架货箱的快速识别，同时具有较好的鲁棒性能，可以应用于不同的仓储环境。的仓储环境。的仓储环境。

【技术实现步骤摘要】
一种用于立体仓库的货物包装箱识别方法及系统


[0001]本专利技术涉及物流仓储
，具体涉及一种用于立体仓库的货物包装箱识别方法及系统。

技术介绍

[0002]随着现代物流的快速发展，物流自动化和信息化程度不断提高，近几年现在物流信息技术和物联网等技术在物流系统中得到广泛应用，而集成各类物流信息技术和自动化技术的立体仓库在国内各行业得到了迅猛发展，并已成为现代物流系统的重要组成部分，立体仓库一般指由高层货架、物料搬运设备、控制和管理设备及公用设施等部分组成的，并用自动化物料搬运设备进行货物出、入库作业的仓库。已在烟草、医药、电子商务、汽车、规模零售等诸多行业中得以广泛的推广和应用。
[0003]立体仓库一般是指采用几层、十几层乃至几十层高的货架储存单元货物构成，在高架货架仓储管理中有大量的货物识别、货物定位、货物复核等操作，现有技术中，立体仓储对于不同产品包装箱分类的识别，一般采用机器视觉技术及射频识别技术，其中机器视觉技术通过机器视觉产品将被摄取目标转换成图像信息，传送给专用的图像处理系统，进而根据系统判别结果来控制设备运作；射频识别技术通过无线射频方式进行非接触双向数据通信方式，对目标加以识别并获取相关数据，识别工作无需人工干预。然而这些方法常常会因为包装箱摆放的随意性和光线不理想等原因将直接导致识别效果不理想，方法鲁棒性不高。
[0004]同时对高架库内的不同产品货箱缺乏自动化复核系统、这些操作如单纯人工完成，工作量巨大、效率低下且差错率较大，尤其对于高层货架，没有堆垛机等设备难以实现相关的货物识别、货物定位、货物复核等工作，人员进入高架库区复核效率低且存在安全隐患。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提出一种用于立体仓库的货物包装箱识别方法及系统。
[0006]第一方面，本专利技术提供一种用于立体仓库的货物包装箱识别方法，具体包括以下步骤：
[0007]步骤一，包装箱图像采集，通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像；
[0008]步骤二，包装箱角点检测，将所述包装图像输入包装箱角点检测模型中，得到标记了所述包装箱图像中所有包装箱角点的角点检测图像；
[0009]步骤三，包装箱对齐矫正，将所述角点检测图像输入包装箱对齐矫正模型中，输出所述角点检测图像中每一个包装箱所对应的图像；
[0010]步骤四，包装箱分类识别，将经过所述步骤三处理得到的每一个包装箱所对应的
图像输入到包装箱分类识别模型中，得到所述包装箱图像中每一个包装箱类别；
[0011]还包括所述包装箱角点检测模型及所述包装箱分类识别模型训练步骤。
[0012]进一步的，所述包装箱角点检测模型用于对所述包装箱图像中所有包装箱的角点进行识别，得到角点坐标，并对所述角点进行分类，将属于同一包装箱的角点标记为同一类型。
[0013]进一步的，所述包装箱角点检测模型由一个端到端的检测神经网络组成，所述神经网络包括特征提取模块和四个单角点预测模块；所述特征提取模块用于提取整个图像的特征用于后续的单个角点预测；所述四个单角点预测模块分别为左上角预测模块、左下角预测模块、右上角预测模块、右下角预测模块；所述单角点预测模用于预测角点的坐标，每个所述单角点预测模块包含一个角点池化层，用于生成角点热力图、角点嵌入向量和角点偏差。
[0014]进一步的，所述角点热力图用于获得属于同一包装箱的预测角点；所述角点嵌入向量用于判断所述预测角点是否属于同一包装箱，得到属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标；通过所述角点偏差使得所述属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标得到的框更加紧贴包装箱的边框。
[0015]进一步的，所述特征提取模块是由至少1个沙漏状神经网络组成。
[0016]进一步的，所述包装箱对齐模型的变换公式如下，
[0017][0018][0019]其中，u,v代表所述角点检测图像坐标，x,y为经过变换获得的图片坐标；变换矩阵为3*3，它可以拆分为四个部分[a
11
,a
12
,a
21
,a
22
]为线性变换的矩阵，[a
31
,a
32
]为平移矩阵，这两个矩阵等价于透视变换的变换矩阵；[a
13
,a
23
]T
为产生透视变换的矩阵，因此变换公式也可以表示为，
[0020][0021][0022]进一步的，所述包装箱分类识别模型中，得到的所述包装箱类别为所述包装箱对应的产品的类别。
[0023]进一步的，所述包装箱分类识别模型采用卷积神经的残差结构。
[0024]第二方面，本专利技术提供一种用于立体仓库的货物包装箱识别系统，包括：
[0025]包装箱图像采集模块，用于通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像；
[0026]包装箱角点检测模块，用于通过包装箱角点检测模型，获取标记了所述包装箱图像中所有包装箱角点的角点检测图像；
[0027]包装箱对齐矫正模块，用于获取所述角点检测图像中每一个包装箱所对应的图像；
[0028]包装箱分类识别模块，用于通过包装箱分类识别模型，获取所述包装箱图像中每一个包装箱类别；
[0029]包装箱角点检测模型训练模块，用于所述包装箱角点检测模型的训练；
[0030]包装箱分类识别模型训练模块，用于所述包装箱分类识别模型的训练。
[0031]第三方面，本专利技术提供一种用于立体仓库的货物包装箱识别装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述一种用于立体仓库的货物包装箱识别方法的步骤。
[0032]第四方面，本专利技术提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述一种用于立体仓库的货物包装箱识别方法的步骤。
[0033]本专利技术的有益效果在于：本专利技术通过设置于立体仓库货物搬运装置上方的摄像头进行包装箱图像采集，所采集的图像清晰，一边码垛一边实时采集货箱图像，解决了高架货箱识别精度低、人工操作危险性高的问题，可高效率、自动化地实现立体仓库高架货箱的快速识别，具有降低工作人员工作量，且提高工作效率。另一方面，本专利技术方案综合了图像处理技术、深度学习、机器学习与模式识别技术、目标检测和分类识别技术，在位置随意性摆放的目标和光线环境不理想的条件下，仍然能够保证包装箱的识别结果，该方法具有较好的鲁棒性能，可以应用于不同的仓储环境。
附图说明
[0034]图1为本专利技术实施例提供的一种用于立体仓库的货物包装箱识别方法的流程示意图；
[0035]图2为本专利技术实施例步骤S1采集的货箱图像；
[0036]图3为本专利技术实例步骤S2包装箱角点检测模型的结构示意图；
[0037]图4本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于立体仓库的货物包装箱识别方法，其特征在于，所述方法包括以下步骤：步骤一，包装箱图像采集，通过位于仓库货物搬运装置上方的摄像头实时采集货物运过程中的包装箱图像；步骤二，包装箱角点检测，将所述包装图像输入包装箱角点检测模型中，得到标记了所述包装箱图像中所有包装箱角点的角点检测图像；步骤三，包装箱对齐矫正，将所述角点检测图像输入包装箱对齐矫正模型中，输出所述角点检测图像中每一个包装箱所对应的图像；步骤四，包装箱分类识别，将经过所述步骤三处理得到的每一个包装箱所对应的图像输入到包装箱分类识别模型中，得到所述包装箱图像中每一个包装箱类别；还包括所述包装箱角点检测模型及所述包装箱分类识别模型训练步骤。2.根据权利要求1所述的一种用于立体仓库的货物包装箱识别方法，其特征在于，所述包装箱角点检测模型用于对所述包装箱图像中所有包装箱的角点进行识别，得到角点坐标，并对所述角点进行分类，将属于同一包装箱的角点标记为同一类型。3.根据权利要求2所述的一种用于立体仓库的货物包装箱识别方法，其特征在于，所述包装箱角点检测模型由一个端到端的检测神经网络组成，所述神经网络包括特征提取模块和四个单角点预测模块；所述特征提取模块用于提取整个图像的特征用于后续的单个角点预测；所述四个单角点预测模块分别为左上角预测模块、左下角预测模块、右上角预测模块、右下角预测模块；所述单角点预测模用于预测角点的坐标，每个所述单角点预测模块包含一个角点池化层，用于生成角点热力图、角点嵌入向量和角点偏差。所述角点热力图用于获得属于同一包装箱的预测角点；所述角点嵌入向量用于判断所述预测角点是否属于同一包装箱，得到属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标；通过所述角点偏差使得所述属于同一包装箱的左上角、左下角、右上角和右下角的角点坐标得到的框更加紧贴包装箱的边框。4.根据权利要求3所述的一种用于立体仓库的货物包装箱识别方法，其特征在于，所述特征提取模块是由至少1个沙漏状神经网络组成。5.根据权利要求1所述的一种用于立体仓库的货物包装箱识别方法，其特征在于，所述包装箱对齐模型的变换公式如下，包装箱对齐模型的变换公式如下，其中，u,v...

【专利技术属性】
技术研发人员：李继凯，
申请(专利权)人：北京优创新港科技股份有限公司，
类型：发明
国别省市：