一种基于神经网络的OCR识别在物流行业快递面单的应用制造技术

本发明专利技术公开了一种基于神经网络的OCR识别在物流行业的快递面单的应用，其特征在于，包括以下步骤：第一步定位三段码：先检测条码位置，再根据电子面单模板定位三段码的候选区域，第二步分割，筛选三段码的区域内字符并送入神经网络识别。本发明专利技术具有如下优点：提供了一种新的快递分拣方案，能够保证物流分拣中心与总部数据库通信故障时，进行正常分拣，减少快递滞留时间，节约了大量的财力和物力。

An application of OCR recognition based on neural network in express face list of logistics industry

【技术实现步骤摘要】
一种基于神经网络的OCR识别在物流行业快递面单的应用
本专利技术涉及一种基于神经网络的OCR识别在物流行业快递面单的应用，属于图像处理

技术介绍
随着网络购物的蓬勃发展，我国每年的快递总量在急剧增加。a年，全国快递服务企业业务量累计完成507.1亿件，同比增长26.6％。如此快速增长的快递量，对快递分拣中心的效率要求很高。对于分拣系统，目前一般使用传统交叉分拣机和AGV小车分拣。AGV搬运速度是恒定的，场地的分拣效率和AGV小车的数量相关，而交叉分拣带的分拣效率可以随着订单量的增大而增大。当订单量足够大的时候，交叉分拣带速度明显高于机器人。AGV对货物的重量以及体积形状有很大的要求，且运作效率有限，所以在一些订单量比较大的仓库中，交叉分拣依旧是客户的首选。快递行业为了提高效率，进行了电子面单和三段码数字化改革。三段码一般包含三个数字字母组合部分：分拨中心代码(一般为省市级集散中心)，分部代码(市县下的网点)，快递员码。目前的分拣线上主要采用读取条形码信息，将信息与总部数据中心进行交互，得知三段码信息，然后根据三段码信息进行分拣。在此过程中断电，快递量过多等原因导致总部服务器宕机，导致分拨中心无法与总部数据中心进行交互，不能进行分拣，物流车量排队等候卸货，客户等待时间延长，因此分拨中心会浪费大量的时间，财力和物力。由于三段码信息已经打印在电子面单上，所以识别出三段码可以直接进行分拣，无需从数据中心根据条码信息进行信息转换获取三段码信息。在数据中心与分拨中心交互正常后，再将已经分发的快递信息对数据库更新。大大提升了效率，作为故障时刻的补充方案对分拣中心大有脾益。随着物流行业的快速发展，快递的送达效率是快递公司的不断追求的目标。目前在分拣中心的分拣方案识别快递条形码信息与总部数据库服务器通信获取三段码的信息进行分拣。这种方案下有时会出现条形码信息无法完全获取，无法与总部数据库服务器通信，导致无法获取三段码的信息从而不能进行自动化分拣。本专利技术提供的方案是在本地分拣识别三段码从而进行分拣，并将分拣信息保存在本地，之后同步到数据库服务器。由于分拣中心的快递来自众多不同的发货方，快递的包裹规格，形状，颜色各异，以及包裹上面单的朝向有诸多不同，直接识别分拣机上方摄像头拍摄的图片中三段码难度较大。本专利技术采用两步法识别三段码，第一步定位三段码：先检测条码位置，再根据电子面单模板定位三段码的候选区域，第二步分割，聚类三段码的区域内字符并送入神经网络识别。本文调用Fabimage的条码检测接口检测条码。对于识别由于三段码候选区域可能有其他非三段码字符，因此本专利技术对候选区域的字符建立字库。基于字库设计并训练神经网络模型，进而对三段码进行识别。最终在前期所有快递无人工干预的情况下，自动化分拣比例约为80％，后期人工参与分拣比例约为20％，其中自动化分拣的准确率99.8％。时间上，单件快递的识别时间在300ms以内。目前作为补充方案，在时间，自动化分拣比例和准确率上基本满足分拣中心现场需求。
技术实现思路
本专利技术要解决的技术问题是如何对快递面单进行快速高效的识别。为了解决上述技术问题，本专利技术的技术方案是提供了一种基于神经网络的OCR识别在物流行业的快递面单的应用。本专利技术的技术方案第一步定位三段码：先检测条码位置，再根据电子面单模板定位三段码的候选区域，第二步分割，聚类三段码的区域内字符并送入神经网络识别。在本地分拣识别三段码从而进行分拣，并将分拣信息保存在本地，之后同步到数据库服务器。本专利技术优点在于：目前的分拣线上主要采用读取条形码信息，将信息与总部数据中心进行交互，得知三段码信息，然后根据三段码信息进行分拣。在此过程中断电，快递量过多等原因导致总部服务器宕机，导致分拨中心无法与总部数据中心进行交互，不能进行分拣，物流车量排队等候卸货，客户等待时间延长，因此分拨中心会浪费大量的时间，财力和物力。本专利技术基于改进后应用相比与当前快递面单识别更具优势，该方法结构简单，易于理解，时间成本低，降低财力和物力。附图说明图1为本专利技术提供的一种基于神经网络的OCR识别在物流行业快递面单的应用的工作流程图；图2为现有中通快递电子面单示意图；图3a为相机拍摄的原图；图3b为图3a的梯度图像图；图3c为条码定位输出结果图；图3d为矫正条码于水平状态；图3e为扩大条码ROI区图；图3f为三段码位置图；图4a为定位条码上方三段码可能存在的位置一；图4b为图4a对应的自适应阈值二值图像；图4c为定位条码上方三段码可能存在的位置二；图4d为图4c对应的自适应阈值二值图像。具体实施方式为使本专利技术更明显易懂，兹以优选实施例，并配合附图作详细说明如下。实施例下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术提供的一种基于神经网络的OCR识别在物流行业快递面单的改进应用，具体的场景分析和案例实施步骤如下：目前物流行业在对进出港件进行自动化分拣过程中，主要是针对根据条形码的信息获取到快递目的地，然后再进行分拣。这种自动化分拣方式对条形码的完整性要求比较苛刻。对于大型企业自建物流仓库，快递件比较规则(纸箱)是有较高识别分拣效率的。但是对于转运中心，进港件快递包裹包装材料，形状，颜色各异，电子面单的粘贴方式不规范，运输电子面单条形码污损，折叠，遮挡等情况，导致快递在经过摄像头时拍摄出来的图片是可能无法识别整个条形码信息，因此在服务器和转运中心正常通信的情况下，综合三段码信息的识别方案和条形码识别方案自动分拣。机器识别电子面单的三段码推动了快递行业包裹数字化，为实现快递自动分拨、智能物流打下了基础。本文主要在中通电子面单的快递图片数据集上解决三段码的识别问题。中通电子面单的目前版本如图1所示，步骤1、利用摄像头对快递电子面单拍摄获取字符图片，由于上件的方向性问题，直接定位出三段码的难度比较大。同时，我们使用梯度检测算法定位出条形码，计算条形码的倾斜角度(如图3a,3b所示)。步骤2、由于快递上件时具有随意性，摄像头拍摄的位置存在一定的倾斜度，需要对条形码进行矫正，然后根据条形码的位置矫正图片，使条形码处于水平位置状态(如图3d所示)，将条形码矫正，处于水平位置状态后，然后扩大条形码的ROI区间(ROI(regionofinterest)，感兴趣区域)，(如图3e所示)，接着根据图1模板和条码和三段码的相对位置上下平移定位三段码位置(如图3f所示)。其中扩大ROI区域的原因一是可以解决条码残缺，不能完全识别的问题，二是打印的三段码的位置相对三段码的左右可能有出入。垂直扩大ROI的区域是面单包裹部分折叠，扭曲的问题，导致三段码和条形码不处于水平位置，或相对位置变小导致切割三段码区域时本文档来自技高网...

【技术保护点】
1.一种基于神经网络的OCR识别在物流行业的快递面单的应用，其特征在于，包括以下步骤：/n步骤1、利用摄像头进行图片拍摄，获取字符图像，使用梯度检测算法定位出条形码，计算条形码的倾斜角度；/n步骤2、根据倾斜度进行图像进行矫正，然后扩大条形码的ROI区间，根据模板和滑动窗口法定位三段码位置；/n步骤3、根据位置切割三段码图片，将三段码图片进行自适应二值化处理，得到二值三段码图片。再利用opencv2的findContours函数寻找轮廓，根据轮廓的最大边界切割成单个图像；/n步骤4、对步骤3所产生的图像，根据图像尺寸进行筛选，去除噪声图像，获得字符图像；/n步骤5、通过BP神经网络对字符进行识别；/n步骤6、对识别结果根据字符的水平先后位置进行排序组合，获得三段码。/n

【技术特征摘要】
1.一种基于神经网络的OCR识别在物流行业的快递面单的应用，其特征在于，包括以下步骤：
步骤1、利用摄像头进行图片拍摄，获取字符图像，使用梯度检测算法定位出条形码，计算条形码的倾斜角度；
步骤2、根据倾斜度进行图像进行矫正，然后扩大条形码的ROI区间，根据模板和滑动窗口法定位三段码位置；
步骤3、根据位置切割三段码图片，将三段码图片进行自适应二值化处理，得到二值三段码图片。再利用opencv2的findContours函数寻找轮廓，根据轮廓的最大边界切割成单个图像；
步骤4、对步骤3所产生的图像，根据图像尺寸进行筛选，去除噪声图像，获得字符图像；
步骤5、通过BP神经网络对字符进行识别；
步骤6、对识别结果根据字符的水平先后位置进行排序组合，获得三段码。

【专利技术属性】
技术研发人员：王古将，赵曙光，毛腾飞，翟文辉，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31