一种可同时识别一维条码和三段码字符的快递单识别方法技术

本发明专利技术提供一种可同时识别一维条码和三段码字符的快递单识别方法，包括如下步骤：步骤一、快递面单的图像采集；每个快递件的面单朝上，摆在小车的正中，每台小车上仅放一个快递件；工业摄像头固定在距离小车平面一定的高度上；当载着快递件的小车运动到指定位置时，抓拍一幅图像，并由以太网传输到工控机上；步骤二、快递面单的粗定位；步骤三、快递面单的条形码矩形定位和倾斜角度矫正；步骤四、多尺度下三段码字符定位；步骤五、三段码字符识别；本发明专利技术对具有复杂背景的快递面单图片进行倾斜角度矫正；对快递面单上的一维条形码进行定位；对快递面单上的三段码字符(以下简称三段码)进行定位与识别；所有算法整体识别速度小于150ms。于150ms。于150ms。

【技术实现步骤摘要】
一种可同时识别一维条码和三段码字符的快递单识别方法


[0001]本专利技术涉及分拣快递
，特别涉及一种可同时识别一维条码和三段码字符的快递单识别方法。

技术介绍

[0002]随着电子商务的发展，人们的消费习惯发生了巨大的变化，物流服务需求随之逐渐增加，这也推动着物流自动化水平不断提高。目前，国内物流行业货物的分拣只有在大的分拣中心才采用自动分拣方式，而小的分拣中心一般采用人工逐一对物流产品进行手动分拣的方式，效率低下，且可靠性不高，无法满足现在日益增长的物流量的需求。为了减少传统人工分拣快递所带来的分拣效率低、雇用成本大和损伤快递等缺点，对小型的自动快递件分拣系统的需求越来越迫切。
[0003]通常，分拣快递的依据是自动或者人工识别快递单上的信息。这里，快递运单信息包括三段码字符(一般由印刷体数字和大写英文字母组成)和一维条形码，它们都标明了快递的发出所在地和接收所在地的代码，如图1所示。通常，国内大分拣中心的自动分拣都是依靠图像识别技术来识别一维条码，然而三段码字符也是需要识别的一个重要信息，但是目前几乎没有被使用。而且，小型分拣中心由于受到场地面积，成本的限制，目前大多数都是由人工识别快递单上的三段码字符。因此，研究如何同时识别一维条码和三段码字符，无论是对于大的分拣中心，还是小型的分拣站，都将是提高快递自动分拣效率的一个重要发展方向。

技术实现思路

[0004]为了解决
技术介绍
提出的技术问题，本专利技术提供一种可同时识别一维条码和三段码字符的快递单识别方法，对具有复杂背景的快递面单图片进行倾斜角度矫正；对快递面单上的一维条形码进行定位；对快递面单上的三段码字符(以下简称三段码)进行定位与识别；所有算法整体识别速度小于150ms。
[0005]为了达到上述目的，本专利技术采用以下技术方案实现：
[0006]一种可同时识别一维条码和三段码字符的快递单识别方法，包括如下步骤：
[0007]步骤一、快递面单的图像采集；每个快递件的面单朝上，摆在小车的正中，每台小车上仅放一个快递件；工业摄像头固定在距离小车平面上1.3～1.5米的高度上；当载着快递件的小车运动到指定位置时，抓拍一幅图像，并由以太网传输到工控机上；
[0008]步骤二、快递面单的粗定位；
[0009]首先，在采集到的图像上对快递单进行初步定位；通过对图像的二值化、形态学运算和轮廓计算，找到能够套紧轮廓的最大矩形；对该最大矩形所包含的图像做Sobel边缘检测，并二值化后，计算边缘点的个数，如果边缘点的个数大于3000，则认为该最大矩形足够复杂，这一区域就是快递单的粗略位置；
[0010]然后，利用防射变换对该最大矩形进行倾斜角度矫正，得到候选的待识别图像；这
个待识别区域仅仅是粗定位的结果，还需要进一步的倾斜角度矫正和运单信息定位；
[0011]步骤三、快递面单的条形码矩形定位和倾斜角度矫正；
[0012]处理过程包括Sobel边缘检测、形态学运算、二值化、区域生长算法；
[0013]1)首先用Sobel算子对图像做水平和垂直方向上的边缘检测，再将两个结果相加，更好地突出图像中的边缘信息；结合条形码自身成条成块且分布密集的特点，先使用结构元素较大的(例如5个像素)形态学闭合运算让图像上的条码部分变成一个连通的区域，使得条码的特点更突出，再使用结构元素较小的(例如3个像素)形态学闭合运算去除图像上的一些简单的单线条的干扰；
[0014]2)图像经过开闭运算后会出现很多细小的孔洞，会对后续运算产生干扰，因此进行了孔洞填充；
[0015]3)根据填补孔洞后的图中的每个白色区域计算出它们的最小外包矩形，并得到每一个外包矩形的信息，信息包括矩形的四顶点坐标、倾斜角度和矩形区域内白色像素点个数；根据计算出的矩形倾斜角度统计出它们在0
°
～90
°
的分布，使用分布较为集中的角度，来进行初步的倾斜角度的矫正；
[0016]4)在初步倾斜角度矫正后的图像里，条形码大约位于0度方向上或者90度方向上，且误差在正负10度范围内；分别在0度和90度方向上进行条形码候选矩形的筛选，确定条形码的最终位置和最终角度，再进行最后一次旋转，就得到了正向(0度)或者反向(180度)的精确分割后的条码定位图像，将分割好的条形码图片送给Zbar识别函数进行识别；
[0017]步骤四、多尺度下三段码字符定位
[0018]1)首先，通过分析快递运单上的信息分布可以知道，三段码字符可能在条形码的上方或下方两个位置，因此以条形码的位置为基准，向上和向下两个方向分别来搜索三段码字符的位置，分别截取上下两部分图像做自适应二值化处理；
[0019]2)然后针对这两幅图像中的所有白色部分，计算它们的最小外包矩形也就是轮廓，求出每一个轮廓的面积，然后对这些轮廓进行筛选，去掉矩形面积小于10个像素或者大于1200像素的轮廓；
[0020]3)得到步骤2)里的矩形轮廓后，先在水平方向上进行计算即对所有矩形的高度进行概率分布统计，这里矩形的高度对应三段码数字的高度；因为快递单图像上的三段码数字高度，地址等其它文字高度都比较集中，把这些集中高度作为寻找的尺度；例如，在某一幅图像上，三段码数字高度是20像素，地址信息文字高度是15像素，则对所有矩形高度进行概率统计后，就会找到20和15这两个数值，也就是两个不同的尺度；然后分别在每个尺度上寻找字符矩形；三段码的每个数字矩形都是长方形，且集中分布在一行或者两行，根据这一特征，就可以准确定位到三段码了；
[0021]有些快递面单上的条形码和三段码的相对角度是90度的关系，为了适应这一情况，上述算法在垂直方向上再进行一次，即对所有矩形的宽度进行概率分布统计，这里矩形的宽度对应三段码数字的高度；
[0022]4)根据最后确定的三段码最终位置，将字符分割出来，送至CNN神经网进行识别；步骤五、三段码字符识别
[0023]本次三段码字符识别采用Tiny-CNN深度学习框架，包括输入层、卷积层、池化层和输出层；训练集为大于2万幅实际采集到的从快递面单上分割出来的字符灰度图像；
[0024]输入层节点数量等于输入图像的宽度(18)*高度(18)，共计324；卷积层1节点数为6*16*16；池化层1节点数为6*8*8；卷积层2节点数为12*6*6；池化层2节点数为12*3*3；全连接层节点数为120，输出层节点数量为10个阿拉伯数字、26个大写英文字母和一个连接符
“-”
的总和，共计37个。
[0025]进一步地，所述的步骤五中，各个节点采用的激活函数为Tanh函数，训练时epoch取值为100，其它参数均使用缺省参数。
[0026]进一步地，所述的步骤五中，在送入神经网学习时，在分割字符时，由于尺度不同导致每个字符图像大小存在一定的差异，因此需要将输入的图片统一到同一尺寸，尺寸为18*18；识别时取置信度最大的字符值作为结果。
[0027]进一步地，所述的步骤五中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可同时识别一维条码和三段码字符的快递单识别方法，其特征在于，包括如下步骤：步骤一、快递面单的图像采集；每个快递件的面单朝上，摆在小车的正中，每台小车上仅放一个快递件；工业摄像头固定在距离小车平面上1.3～1.5米的高度上；当载着快递件的小车运动到指定位置时，抓拍一幅图像，并由以太网传输到工控机上；步骤二、快递面单的粗定位；首先，在采集到的图像上对快递单进行初步定位；通过对图像的二值化、形态学运算和轮廓计算，找到能够套紧轮廓的最大矩形；对该最大矩形所包含的图像做Sobel边缘检测，并二值化后，计算边缘点的个数，如果边缘点的个数大于3000，则认为该最大矩形足够复杂，这一区域就是快递单的粗略位置；然后，利用防射变换对该最大矩形进行倾斜角度矫正，得到候选的待识别图像；这个待识别区域仅仅是粗定位的结果，还需要进一步的倾斜角度矫正和运单信息定位；步骤三、快递面单的条形码矩形定位和倾斜角度矫正；处理过程包括Sobel边缘检测、形态学运算、二值化、区域生长算法；1)首先用Sobel算子对图像做水平和垂直方向上的边缘检测，再将两个结果相加，更好地突出图像中的边缘信息；结合条形码自身成条成块且分布密集的特点，先使用结构元素较大的形态学闭合运算让图像上的条码部分变成一个连通区域，使得条码的特点更突出，再使用结构元素较小的形态学闭合运算去除图像上的一些简单的单线条干扰；2)图像经过开闭运算后会出现很多细小的孔洞，会对后续运算产生干扰，因此进行了孔洞填充；3)根据填补孔洞后的图中的每个白色区域计算出它们的最小外包矩形，并得到每一个外包矩形的信息，信息包括矩形的四顶点坐标、倾斜角度和矩形区域内白色像素点个数；根据计算出的矩形倾斜角度统计出它们在0
°
～90
°
的分布，使用分布较为集中的角度，来进行初步的倾斜角度的矫正；4)在初步倾斜角度矫正后的图像里，条形码大约位于0度方向上或者90度方向上，且误差在正负10度范围内；分别在0度和90度方向上进行条形码候选矩形的筛选，确定条形码的最终位置和最终角度，再进行最后一次旋转，就得到了正向或者反向的精确分割后的条码定位图像，将分割好的条形码图片送给Zbar识别函数进行识别；步骤四、多尺度下三段码字符定位1)首先，通过分析快递运单上的信息分布可以知道，三段码字符可能在条形码的上方或下方两个位置，因此以条形码的位置为基准，向上和向下两个方向分别来搜索三段码字符的位置，分别截取上下两部分图像做自适应二值化处理；2)然...

【专利技术属性】
技术研发人员：赵楠楠，邱林，魏玉飞，赵一帆，张锋，陈智博，
申请(专利权)人：辽宁黑北健科技有限公司，
类型：发明
国别省市：