一种基于卷积循环神经网络的集装箱箱号识别方法技术

本发明专利技术公开了一种基于卷积循环神经网络的集装箱箱号识别方法，所述方法包括如下步骤：步骤1：采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器；步骤2：计算图像透视变换矩阵；步骤3：利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像；步骤4：使用步骤1的分类器对透视变换后的图像进行字符识别得到字符识别结果；步骤5：利用集装箱箱号规则对字符识别结果进行核对校验，输出最终的箱号检测结果。本发明专利技术对神经网络结构和参数进行优化，具有更高的识别率和可靠性；对图像进行透视变换，提高不同角度安装摄像头应用该方法的鲁棒性。

【技术实现步骤摘要】
一种基于卷积循环神经网络的集装箱箱号识别方法
本专利技术属于集装箱箱号识别
，尤其涉及一种基于卷积循环神经网络的集装箱箱号识别方法。
技术介绍
集装箱箱号是集装箱的唯一身份标识，是智慧港口、集装箱自动化系统的重要基础信息。基于光学字符识别的箱号识别系统，无需对集装箱增加额外设备，只需获取包含集装箱箱号的图像即可实现，已成为现代化港口箱号识别的主流。目前较为流行的光学字符识别算法主要分为两种，一种是基于模板匹配的算法，另一种是基于神经网络的算法。前者方法较为简单易于实现，但由于集装箱箱体的凹凸折纹、光照或恶劣天气等因素的影响，其准确率和可靠性较低。后者具有一定的自学习能力，尤其近年来随着深度学习算法和硬件的飞速发展，基于神经网络的字符识别受到越来越多的关注。然而实际应用场景下，我们所能获取的集装箱箱号图像通常还受摄像头安装位置影响，图像存在较大角度的透视变形，传统的基于神经网络无法直接得到较好的结果。
技术实现思路
本专利技术解决的技术问题是：克服现有技术的不足，提供了一种基于卷积循环神经网络的集装箱箱号识别方法，对神经网络结构和参数进行优化，具有更高的识别率和可靠性；对图像进行透视变换，提高不同角度安装摄像头应用该方法的鲁棒性。本专利技术目的通过以下技术方案予以实现：一种基于卷积循环神经网络的集装箱箱号识别方法，所述方法包括如下步骤：步骤1：采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器；步骤2：计算图像透视变换矩阵；步骤3：利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像；步骤4：使用步骤1的分类器对透视变换后的图像进行字符识别得到字符识别结果；步骤5：利用集装箱箱号规则对字符识别结果进行核对校验，输出最终的箱号检测结果。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤1中，采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器包括如下步骤：(11)采集集装箱样本图像；(12)将集装箱样本图像缩放至高度32像素和宽度160像素的第二样本图像；将第二样本图像输入卷积神经网络，其中，卷积神经网络包括7层卷积层和4层最大池化；卷积神经网络输出512个特征图，每个特征图高度为1，宽度为40；(13)从步骤(12)得到的特征图中提取特征向量，其中，每个特征向量在特征图上按列从左到右生成，每一列包含512维特征，即第i个特征向量是所有特征图第i列像素的连接，共产生40个特征向量；(14)循环神经网络采用两层各256单元的双向长短型网络，在双向长短型网络的每个时间步传入一个特征向量，其中，时间步的数量为40个，每个时间步输出40个长度为37(26个英文字母+10个阿拉伯数字+1个空字符，其中空字符用“-”表示)的向量，40个向量构成后验概率矩阵；(15)由后验概率矩阵计算损失函数，其中，损失函数定义为概率的负最大似然函数；(16)通过损失函数对卷积循环神经网络进行训练，达到设定的学习次数>100000和精度<0.0001时完成训练，得到分类器。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤2中，计算图像透视变换矩阵包括如下步骤：(21)在待检测集装箱图像中选取4个点(x1,y1),(x2,y2),(x3,y3),(x4,y4)，其中，4个点构成的区域包含箱号区域，并在真实空间中为矩形；(22)根据(x1,y1),(x2,y2),(x3,y3),(x4,y4)得到待变换后图像上对应点坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)；(23)将待变换后图像上对应点坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)带入透视变换矩阵计算公式得到透视变换矩阵。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤3中，利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像包括如下步骤：(31)根据步骤(23)中的透视变换矩阵对待检测集装箱图像进行透视变换得到透视变换后的图像；(32)将透视变换后的图像缩放至高度32像素、宽度160像素得到32*160的图像。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤4中，使用步骤1的分类器对透视变换后的图像进行字符识别得到字符识别结果包括如下步骤：(41)将步骤(32)中的32*160的图像输入步骤(16)中训练好的分类器，分类器输出40个时间步的37种字符类别的概率分布；(42)每个时间步取最大概率的字符作为该时间步的输出字符，所有时间步的输出字符组成一个字符序列；(43)删除字符序列中连续重复字符，然后删除所有“-”字符,得到字符识别结果。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤5中，利用集装箱箱号规则对字符识别结果进行核对校验，输出最终的箱号检测结果包括如下步骤：根据集装箱箱号规则对步骤(43)中的字符识别结果进行校验，满足集装箱箱号规则时输出最终的箱号识别结果，否则认为识别错误，输出识别错误信号；其中，集装箱箱号规则为：a)集装箱箱号的前4位是大写英文字母，集装箱箱号的后7位是阿拉伯数字；b)集装箱箱号的第11位是校验字符，能够由前10位字符计算得出。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤(11)中，装箱样本图像的样本训练集为S＝{(x1,z1),(x2,z2),...(xN,zN)}；其中，x1为第一个样本，x2为第二个样本，xN为第N个样本，z1为第一个样本的标注结果，z2为第二个样本的标注结果，zN为第N个样本的标注结果，N为样本总数。上述基于卷积循环神经网络的集装箱箱号识别方法中，步骤(15)中，损失函数为：其中，O为损失函数，x为样本，l为可能的字符，S为样本集，p(l|x)表示后验概率矩阵中x为字符l的后验概率。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤(22)中，(X1,Y1)＝(min(x1,x3),min(y1,y2))(X2,Y2)＝(max(x2,x4),Y1)(X3,Y3)＝(X1,max(y3,y4))(X4,Y4)＝(X2,Y3)；在步骤(23)中，透视变换矩阵计算公式为：其中，x为透视变换前图像某点的横坐标，y为透视变换前图像某点的纵坐标，X为透视变换后图像对应点的横坐标，Y为透视变换后图像对应点的纵坐标，a11、a12…a32均为透视变换矩阵系数。上述基于卷积循环神经网络的集装箱箱号识别方法中，在步骤(31)中，透视变换后的图像为：其中，m为待检测集装箱图像，M为透视变换后的图像，为透视变换矩阵。本专利技术与现有技术相比具有如下有益效果：本专利技术对神经网络结构和参数进行优化，具有更高的识别率和可靠性；对图像进行透视变换，提高不同角度安装摄像头应用该方法的鲁棒性。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本本文档来自技高网...

【技术保护点】
1.一种基于卷积循环神经网络的集装箱箱号识别方法，其特征在于，所述方法包括如下步骤：/n步骤1：采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器；/n步骤2：计算图像透视变换矩阵；/n步骤3：利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像；/n步骤4：使用步骤1的分类器对透视变换后的图像进行字符识别得到字符识别结果；/n步骤5：利用集装箱箱号规则对字符识别结果进行核对校验，输出最终的箱号检测结果。/n

【技术特征摘要】
1.一种基于卷积循环神经网络的集装箱箱号识别方法，其特征在于，所述方法包括如下步骤：
步骤1：采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器；
步骤2：计算图像透视变换矩阵；
步骤3：利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像；
步骤4：使用步骤1的分类器对透视变换后的图像进行字符识别得到字符识别结果；
步骤5：利用集装箱箱号规则对字符识别结果进行核对校验，输出最终的箱号检测结果。


2.根据权利要求1所述的基于卷积循环神经网络的集装箱箱号识别方法，其特征在于：在步骤1中，采集集装箱样本图像，根据集装箱样本图像构建循环卷积神经网络模型，对循环卷积神经网络模型训练后得到分类器包括如下步骤：
(11)采集集装箱样本图像；
(12)将集装箱样本图像缩放至高度32像素和宽度160像素的第二样本图像；将第二样本图像输入卷积神经网络，卷积神经网络输出512个特征图；
(13)从步骤(12)得到的特征图中提取特征向量；
(14)循环神经网络采用两层各256单元的双向长短型网络，在双向长短型网络的每个时间步传入一个特征向量，其中，时间步的数量为40个，每个时间步输出40个长度为37的向量，40个向量构成后验概率矩阵；
(15)由后验概率矩阵计算损失函数；
(16)通过损失函数对卷积循环神经网络进行训练，达到设定的学习次数>100000和精度<0.0001时完成训练，得到分类器。


3.根据权利要求2所述的基于卷积循环神经网络的集装箱箱号识别方法，其特征在于：在步骤2中，计算图像透视变换矩阵包括如下步骤：
(21)在待检测集装箱图像中选取4个点(x1,y1),(x2,y2),(x3,y3),(x4,y4)，其中，4个点构成的区域包含箱号区域，并在真实空间中为矩形；
(22)根据(x1,y1),(x2,y2),(x3,y3),(x4,y4)得到待变换后图像上对应点坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)；
(23)将待变换后图像上对应点坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)带入透视变换矩阵计算公式得到透视变换矩阵。


4.根据权利要求3所述的基于卷积循环神经网络的集装箱箱号识别方法，其特征在于：在步骤3中，利用步骤2得到的图像透视变换矩阵对待检测集装箱图像进行透视变换得到视变换后的图像包括如下步骤：
(31)根据步骤(23)中的透视变换矩阵对待检测集装箱图像进行透视变换得到透视变换后的图像；
(32)将透视变换后的图像缩放至高度32像素、宽度160像素得到32*160的图像。


5.根据权利要...

【专利技术属性】
技术研发人员：张聪，靳松直，周斌，张辉，王浩，韦海萍，郑文娟，高仕博，郑智辉，郝梦茜，丛龙剑，刘严羊硕，李少军，刘燕欣，高琪，张艺明，
申请(专利权)人：北京航天自动控制研究所，
类型：发明
国别省市：北京;11