一种用于快递面单跟踪的方法技术

本发明专利技术的用于快递面单跟踪的方法，包括：a).视频图像采集；b).面单识别；c).面单预处理：c‑1).图像分割：分割为m×n块；c‑2).求总平均灰度；c‑3).二值化处理；d).面单跟踪；e).三段码或四段码识别；f).面单重定位。本发明专利技术的面单跟踪方法，首先将图像进行分割，取出每个小图像的质心坐标进行归一化，再对比矩阵相似度完成跟踪，使得在利用上述公式计算相似度时较传统相似度对比算法在计算速度上也有着极大的提升，在整体快递自动分拣上，能达到实时要求，满足速度的同时，精度上也有极大的提升，提升了分拣效率，降低了分拣成本。

【技术实现步骤摘要】
一种用于快递面单跟踪的方法
本专利技术涉及一种用于快递面单跟踪的方法，更具体的说，尤其涉及一种将面单图像分割成m×n个小图像并利用其归一化质心坐标进行图像跟踪的用于快递面单跟踪的方法。
技术介绍
近年来，随着国民经济的快速发展，社会物流需求显著增加，许多地方政府正在积极筹划发展现代物流产业，把物流作为经济发展的支柱产业和新的经济增长点。但纵观当前物流产业，在发展过程中还是遭遇到了瓶颈，即快递分拣人手不足导致商品积压和破损，从而增加了成本，降低了产出效率。突破此瓶颈成为当下一个迫在眉睫的问题。一种方法是增加劳动力，即大量招聘快递分拣人员。但根据调查显示，快递分拣工作由于枯燥乏味且待遇一般，能长期坚持工作下来的人员很少，人员流动性较大。另一种方法是用机器代替工人，实现自动分拣。当前快递自动分拣是通过图像识别技术扫描快递面单上的条码或者二维码信息，然后将扫取出的信息与数据库中进行比对，完成识别。实际应用过程中，需分成四个阶段，第一阶段是找出条码或者段码位置信息，第二阶段是开始识别，第三阶段是从数据库中取数进行比对。最后根据识别出来的结果进行自动化分拣。分析上述四个阶段，发现在第一阶段和第三阶段耗时较长，第一阶段由于需要不停识别条码或二维码位置，导致计算时间较长，第三阶段由于需要与数据库进行交互，导致识别速率下降，虽能完成自动分拣，但分拣速度达不上人工速度。而对于第三阶段，目前已通过识别快递三段码/四段码而代替条码和二维码技术，得到了极大的提升，该方式无需和数据库进行交互，所以处理时间大大缩短。如专利号为2018107327281、专利技术名称为“一种基于视频图像的快递面单三段码识别方法”的专利文件，公开了一种快递面单三段码识别方法，专利号为2019109504533、专利技术名称为“一种基于视频图像识别快递面单上倾斜数字的方法”，公开了一种根据获取的视频图像来识别快递面单上数字的方法。因此，当前第一阶段是阻碍快递自动分拣速度的重要障碍，有必要对其进行深度优化。
技术实现思路
本专利技术为了克服上述技术问题的缺点，提供了一种用于快递面单跟踪的方法。本专利技术的用于快递面单跟踪的方法，通过以下步骤来实现：a).视频图像采集：通过设置于快递自动传送带上方龙门架上的高清摄像头，逐帧采集每张快递面单图像，以供后续处理；b).面单识别：对于步骤a)中采集到的快递面单图像，利用基于深度学习的目标检测模型进行快递面单识别，找出图像中快递面单图像位置的坐标信息，并进行截图，获取只含有快递面单的图像；c).面单预处理：对于步骤b)获取的快递面单图像，依次进行直方图均衡化、图像灰度化、自适应二值化的预处理；其中直方图均衡化和图像灰度化均采用opencv库中函数实现；自适应二值化基于Otsu最大类间方差的改进算法进行处理，其具体通过以下步骤来实现：c-1).图像分割：首先将待处理的快递面单图像分割为m×n块，对分割后的每一小块图像进行最大类间方差二值化处理；c-2).求总平均灰度：分割后的小块图像，记t为前景与背景的分割阈值，计算出当前分割阈值下前景像素点数占图像总像素点数的比例，记为w0，计算出前景点的平均灰度，记为u0；计算出背景点数占图像总点数的比例，记为w1，计算出背景点的平均灰度，记为u1，则图像的总平均灰度u通过公式(1)求取：u＝w0*u0+w1*u1(1)前景和背景图像的灰度值方差g为：c-3).二值化处理：通过改变t的取值，找出某个灰度值使得公式(2)取得最大值的时候，该灰度值即为前景与背景的分割阈值，利用分割阈值将小块图像转化为二值图像；采用步骤c-1)至c-3)中相同的方法，直至m×n个小块图像均转化为二值图像；d).面单跟踪：快递面单图像分割成的m×n个小图像经二值化处理后，再将其转化为0、1矩阵，然后求取每个0、1矩阵的质心坐标，并进行归一化处理，最终形成m×n个质心，通过对比m×n个质心来对面单进行跟踪；e).三段码或四段码识别：对于步骤d)中更新的面单图像进行三段码或四段码识别，得出当前快递面单的三段码或四段码信息；如果能识别出面单信息，则完成一次检测，本次检测完毕，如果不能识别出面单信息，则执行步骤f)；f).面单重定位：对于不符合跟踪条件，则跳出跟踪，执行步骤b)，进行面单重识别。本专利技术的用于快递面单跟踪的方法，步骤d)中所述的面单跟踪具体通过以下步骤来实现：d-1).求质心坐标：对于m×n个小图像，利用公式(3)、(4)和(5)求取其质心坐标(ic，jc)：ic＝m10/m00(4)ic＝m01/m00(5)其中，ic、jc为质心坐标，f(i,j)为在点(i,j)处的像素值，W和H为每个分割出的下图像的宽和高，p取0、1，q取0、1；d-2).质心坐标归一化：将步骤d-1)求取的每个小图像的质心坐标利用公式(6)、(7)进行归一化处理，得到归一化后的质心坐标(x,y)：d-3).质心坐标转化为矩阵：将步骤d-2)中获取的m×n个小图像的归一化质心坐标组合成矩阵，该矩阵I的表达式如公式(8)所示：d-4).计算相似度，对于前后获取的两帧图像，通过公式(9)计算其图片相似度thre：其中，Ii为在先获取的跟踪模板图像的归一化质心坐标组合成的矩阵，Ij为当前帧图像的归一化质心坐标组合成的矩阵。本专利技术的用于快递面单跟踪的方法，步骤f)中，如果两图像的相似度thre小于阈为0.05，则完成跟踪，并更新跟踪模板图像；若阈值大于0.05，则不进行跟踪，并跳转到步骤b)，重新进行面单识别。本专利技术的有益效果是：本专利技术的面单跟踪方法，首先对面单图像进行识别，再进行三段码或四段码识别，得出面单信息；由于加入了跟踪算法，只需对面单进行一次识别即可，无需进行重复面单识别，大大减少了识别时间。在图像跟踪过程中，首先将图像进行分割，取出每个小图像的质心坐标进行归一化，形成图像质心矩阵，再对比矩阵相似度完成跟踪，由于图像被转化为0、1像素，使得在利用上述公式计算相似度时较传统相似度对比算法在计算速度上也有着极大的提升，为对传送带上的快递面单信息识别正确了宝贵的时间，在整体快递自动分拣上，能达到实时要求，满足速度的同时，精度上也有极大的提升，提升了分拣效率，降低了分拣成本。附图说明图1为本专利技术的用于快递面单跟踪的方法的流程图。具体实施方式下面结合附图与实施例对本专利技术作进一步说明。如图1所示，给出了本专利技术的用于快递面单跟踪的方法的流程图，其具体通过以下步骤来实现：a).视频图像采集：通过设置于快递自动传送带上方龙门架上的高清摄像头，逐帧采集每张快递面单图像，以供后续处理；高清摄像头应具有较高的像素，如采用1920像素*1080像素的高清摄像头，或获取含有面单图像的高清图像。b).面单识别：对于步骤a)中采集到的快递面单图像，利用基于深度学习本文档来自技高网...

【技术保护点】
1.一种用于快递面单跟踪的方法，其特征在于，通过以下步骤来实现：/na).视频图像采集：通过设置于快递自动传送带上方龙门架上的高清摄像头，逐帧采集每张快递面单图像，以供后续处理；/nb).面单识别：对于步骤a)中采集到的快递面单图像，利用基于深度学习的目标检测模型进行快递面单识别，找出图像中快递面单图像位置的坐标信息，并进行截图，获取只含有快递面单的图像；/nc).面单预处理：对于步骤b)获取的快递面单图像，依次进行直方图均衡化、图像灰度化、自适应二值化的预处理；其中直方图均衡化和图像灰度化均采用opencv库中函数实现；自适应二值化基于Otsu最大类间方差的改进算法进行处理，其具体通过以下步骤来实现：/nc-1).图像分割：首先将待处理的快递面单图像分割为m×n块，对分割后的每一小块图像进行最大类间方差二值化处理；/nc-2).求总平均灰度：分割后的小块图像，记t为前景与背景的分割阈值，计算出当前分割阈值下前景像素点数占图像总像素点数的比例，记为w

【技术特征摘要】
1.一种用于快递面单跟踪的方法，其特征在于，通过以下步骤来实现：
a).视频图像采集：通过设置于快递自动传送带上方龙门架上的高清摄像头，逐帧采集每张快递面单图像，以供后续处理；
b).面单识别：对于步骤a)中采集到的快递面单图像，利用基于深度学习的目标检测模型进行快递面单识别，找出图像中快递面单图像位置的坐标信息，并进行截图，获取只含有快递面单的图像；
c).面单预处理：对于步骤b)获取的快递面单图像，依次进行直方图均衡化、图像灰度化、自适应二值化的预处理；其中直方图均衡化和图像灰度化均采用opencv库中函数实现；自适应二值化基于Otsu最大类间方差的改进算法进行处理，其具体通过以下步骤来实现：
c-1).图像分割：首先将待处理的快递面单图像分割为m×n块，对分割后的每一小块图像进行最大类间方差二值化处理；
c-2).求总平均灰度：分割后的小块图像，记t为前景与背景的分割阈值，计算出当前分割阈值下前景像素点数占图像总像素点数的比例，记为w0，计算出前景点的平均灰度，记为u0；计算出背景点数占图像总点数的比例，记为w1，计算出背景点的平均灰度，记为u1，则图像的总平均灰度u通过公式(1)求取：
u＝w0*u0+w1*u1(1)
前景和背景图像的灰度值方差g为：



c-3).二值化处理：通过改变t的取值，找出某个灰度值使得公式(2)取得最大值的时候，该灰度值即为前景与背景的分割阈值，利用分割阈值将小块图像转化为二值图像；采用步骤c-1)至c-3)中相同的方法，直至m×n个小块图像均转化为二值图像；
d).面单跟踪：快递面单图像分割成的m×n个小图像经二值化处理后，再将其转化为0、1矩阵，然后求取每个0、1矩阵的质心坐标，并进行归一化处理，最终形成m×n个质心，通过对比m×n个质心来对面单进行跟踪；

【专利技术属性】
技术研发人员：郭强，季磊，卞玉可，
申请(专利权)人：济南东朔微电子有限公司，
类型：发明
国别省市：山东;37