基于深度学习和图像后处理的集装箱号识别方法技术

本发明专利技术涉及一种基于深度学习和图像后处理的集装箱号识别方法，包括以下步骤：步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；步骤S2:构建YOLOv3网络并训练；步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。本发明专利技术可输出任意方向的矩形框，实现更加精准的箱号检测，有效的解决了箱号区域内多余的背景和干扰字符的问题。和干扰字符的问题。和干扰字符的问题。

【技术实现步骤摘要】
基于深度学习和图像后处理的集装箱号识别方法


[0001]本专利技术涉及计算机视觉领域，涉及一种基于深度学习和图像后处理的集装箱号识别方法。

技术介绍

[0002]随着国际贸易和社会经济的迅速发展，我国对物流运输行业的需求日益增长，集装箱作为货物运输的重要运载容器，在整个运输体系的方式占有举足轻重的地位。为实现大规模集装箱运输及管理的自动化、信息化和智能化，设计一个精准、高效集装箱箱号的识别系统显得尤为重要。
[0003]传统常用的集装箱箱号检测方法有基于边缘检测、基于数学形态学和基于最大稳定极值区域(MSER)三种，如文献[1]黄深广,翁茂,史俞,等.基于计算机视觉的集装箱箱号识别[J].港口装卸.2018(1):1－4提出基于字符边缘特征的定位方法,利用字符的边缘特征信息来对集装箱号进行定位,然而边缘特征的方法适用于字符边界明显、背景简单的箱号区域，对于图像模糊的，背景杂乱的集装箱号图像效果并不佳；文献[2]王炎,贺俊吉.基于数学形态学的集装箱箱号快速定位算法[J].计算机工程与设计,2015,36(08):2162
‑
2166提出了一种基于数学形态学的箱号定位方法，利用膨胀、腐蚀等基本运算处理图像，改进行列自适应数学形态学结构元素对箱号进行粗定位，当图片背景杂乱，图片噪声过多时，就难以检测出来；文献[3]沈寒蕾，徐婕，邹斌.基于MSER的集装箱号低秩矫正研究[J].工程数学学报.2018(2):123－136提出了最大稳定极值区域的方法，通过灰度化的方法得到最大稳定极值区域，再进行后处理，从而达到对集装箱号定位的目的。上述传统的图像学处理方法因为图片复杂的背景、图片噪声等因素，箱号检测难免有一定的局限性，且检测速度相对较低。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于深度学习和图像后处理的集装箱号识别方法，有效的解决了箱号区域内多余的背景和干扰字符的问题。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于深度学习和图像后处理的集装箱号识别方法，包括以下步骤：
[0007]步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；
[0008]步骤S2:构建YOLOv3网络并训练；
[0009]步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；
[0010]步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；
[0011]步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。
[0012]进一步的，所述步骤S1具体为：
[0013]步骤S11:分析集装箱号要检测和识别的类型，确定包含该类信息的图片为训练图片；
[0014]步骤S12:采集集装箱数据集；
[0015]步骤S13:利用LabeIimg_windows，标注集装箱号码区域，将号码区域矩形框的位置信息与分类信息以xml文件形式保存，得到初始集装箱号数据集；
[0016]步骤S14:对初始集装箱号数据集进行数据增强处理，得到集装箱号数据集。
[0017]进一步的，所述集装箱号要检测和识别的类型包括横向和纵向方向的集装箱号。
[0018]进一步的，所述步骤S2具体为：
[0019]步骤S21:采用深度学习框架darknet
‑
53进行训练，初始参数设定为：
[0020]初始学习
‑
learning rate：0.001；
[0021]权重衰减系数
‑
decay：0.0005；
[0022]冲量常数
‑
momentum：0.9；
[0023]训练世代
‑
epoch：50
[0024]步骤S22:对训练集的标注框,利用K
‑
means聚类生成YOLOv3网络训练所需的Anchor Boxes,针对检测三种不同尺寸的集装箱号，共生成9个Anchor Box；
[0025]步骤S23:利用Anchor Boxes得到预测边界框Bounding Box，并通过逻辑回归预测出边界框内有物体的概率分数，每个Bounding Box输出(x，y，w，h，confidence)五个基本参数，以及i个预测类别参数；
[0026]其中，(x，y)是边界框的中心坐标，(w，h)为边界框的宽高，confidence为置信度，i表示本次YOLOv3预测的类别个数；
[0027]步骤S24:计算损失值：
[0028]步骤S25:开始训练，训练结束后保存权重文件。
[0029]步骤S26:利用步骤S35保存权重文件检测待识别图片，得到YOLOv3检测的坐标数据。
[0030]进一步的，所述损失值计算，具体如下：
[0031][0032][0033][0034]Loss＝l
box
+l
obj
+l
cls
[0035]其中l
box
表示Bounding Box坐标预测的损失函数，λ
coord
为权重值，S2表示网格数，
对应三种不同大小的特征图，S2值分别为13
×
13，26
×
26，52
×
52，B表示Box，代表边界预测框，i表示第i个网格，j表示该网格类的第j个边界预测框，表示判断网格i中的第j个边界框是否预测到了正确的类别，分别表示第i个网格内预测框的x、y坐标，真实框x、y坐标,分别表示预测框的宽、高和输入图像的宽、高,这里的值都是归一化后的值，取值范围为0～1.l
obj
表示置信度损失函数，λ
noobj
为权重值,网格i中的第j个边界框预测到了正确的类别,网格i中的第j个边界框未预测到正确的类别,C
i
表示第i个框含有物体的置信度，第一个为1，第二个为0；l
cls
表示物体类别的损失函数，网格i中的第j个边界框预测到了正确的类别，p
i
(c)表示c为正确类的概率，当c为正确类别时，否则将三个损失函数相加，就得到了网络总的损失函数。
[0036]进一步的，所述步骤S3具体为：
[0037]步骤S31:将待识别图片输入CRAFT网络，输出图片的文本区域分；
[0038]步骤S32:遍历步骤S41生成的文本区域分图像的每一个像素点，获取字符中心点坐标；
[0039]步骤S33:利用最小二乘法对YOLOv3输出框内的字符中心点进行直线拟合，并将拟合的直线所在像素点的值设置为255；
[0040]步骤S34:将步骤S33处理后的文本区域分灰度图像进行二值化处理，利用连通域法得到拟合直线所在连通域，并利用最小外接矩形法得到该连通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和图像后处理的集装箱号识别方法，其特征在于，包括以下步骤：步骤S1:获取包含集装箱箱号区域的图片并预处理，构建集装箱号数据集；步骤S2:构建YOLOv3网络并训练；步骤S3:基于训练好的YOLOv3网络获取集装箱号初始框定区域,并结合CRAFT网络输出的文本区域分,输出集装箱箱号区域截取；步骤S4:基于LeNet5网络，构建用于集装箱号码识别的网络；步骤S5:将集装箱箱号区域截取输入用于集装箱号码识别的网络，得到最终的识别结果。2.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述步骤S1具体为：步骤S11:分析集装箱号要检测和识别的类型，确定包含该类信息的图片为训练图片；步骤S12:采集集装箱数据集；步骤S13:利用LabeIimg_windows，标注集装箱号码区域，将号码区域矩形框的位置信息与分类信息以xml文件形式保存，得到初始集装箱号数据集；步骤S14:对初始集装箱号数据集进行数据增强处理，得到集装箱号数据集。3.根据权利要求2所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述集装箱号要检测和识别的类型包括横向和纵向方向的集装箱号。4.根据权利要求1所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述步骤S2具体为：步骤S21:采用深度学习框架darknet
‑
53进行训练，初始参数设定为：初始学习
‑
learning rate：0.001；权重衰减系数
‑
decay：0.0005；冲量常数
‑
momentum：0.9；训练世代
‑
epoch：50步骤S22:对训练集的标注框,利用K
‑
means聚类生成YOLOv3网络训练所需的Anchor Boxes,针对检测三种不同尺寸的集装箱号，共生成9个Anchor Box；步骤S23:利用Anchor Boxes得到预测边界框Bounding Box，并通过逻辑回归预测出边界框内有物体的概率分数，每个Bounding Box输出(x，y，w，h，confidence)五个基本参数，以及i个预测类别参数；其中，(x，y)是边界框的中心坐标，(w，h)为边界框的宽高，confidence为置信度，i表示本次YOLOv3预测的类别个数；步骤S24:计算损失值：步骤S25:开始训练，训练结束后保存权重文件。步骤S26：利用步骤S35保存权重文件检测待识别图片，得到YOLOv3检测的坐标数据。5.根据权利要求4所述的基于深度学习和图像后处理的集装箱号识别方法，其特征在于，所述损失值计算，具体如下：
Loss＝l
box
+l
...

【专利技术属性】
技术研发人员：陈平平，游索，陈锋，陈宏辉，
申请(专利权)人：福州大学，
类型：发明
国别省市：