一种基于OCR技术的箱号识别方法技术

本发明专利技术属于自动识别集装箱设备领域，公开了一种基于OCR技术的箱号识别方法，其包括图像采集模块、图像预处理模块、图像检测模块、图像识别模块、管控系统。该管控系统功能包括集装箱吊具位置判断，摄相机抓拍，箱号识别，数据储存和接口的数据传输几大部分，通过采用PLC联动技术、光学OCR智能识别技术，实现前端视频采集、图片采集、球机联动抓拍及字符自动识别功能。功能。功能。

【技术实现步骤摘要】
一种基于OCR技术的箱号识别方法


[0001]本专利技术属于自动识别集装箱设备领域，公开了一种基于OCR技术的箱号识别方法。

技术介绍

[0002]现阶段，集装箱运输的业务不断发展和壮大，我国对集装箱的现代化的管理水平一直十分的关注，但是各个港口和码头的管理体系尚未能满足现代化高效率的管理标准，多数的集装箱的登记还是靠人工的录入，集装箱的实时搜索和定位及跟踪不能满足现实要求，人工操作还有诸多缺点，包括：速度慢；容易出现漏箱、掉箱现象；人工录入错误难以校对；再者人工录入增加的集装箱运输的成本，浪费人力和物力。这几种作业方式虽然能够进行有效的集装箱识别，但劳动强度大，效率低，受人为因素影响较大；对现场操作人员的专业素质和技能要求较高，同时也加剧了码头人力成本和设备维护成本。

技术实现思路

[0003]基于上述问题，本专利技术采用采用自主改进OCR识别算法，识别准确率高，其技术方案为，
[0004]一种基于OCR技术的箱号识别方法，包括以下步骤，
[0005]S1.采集集装箱位置信息和实时画面，获取实时箱号信息，结合已有箱号数据，建立原始数据集；
[0006]S2.对采集的集装箱实时画面进行双边滤波和形态学处理，去除图片噪声，并利用形态学处理和填充字符；
[0007]S3.基于可微二值化算法，设置监测箱号标识区域，把二值化过程加入到Resnet轻量型网络，通过网络训练设置字符阈值，得到箱号标识的融合特征图、阈值图、概率图，再通过后处理步骤输出箱号标识区域边界；
[0008]S4.基于已经得到的集装箱箱号标识区域和字符特征信息，经过提取箱号特征，构建CRNN神经网络模型；
[0009]S5.构建箱号识别管控系统，实现集装箱号的快速准确识别。
[0010]优选的，步骤S2图片预处理步骤如下：
[0011]S21.根据采集到的箱号图片，通过计算滤波像素点的空域和值域信息，设置参数坐标和标注方差；
[0012]S22.首先对图片执行形态学的开运算处理，腐蚀箱号字符之间的不规则毛刺、斑点，在对图片执行闭运算处理，对箱号中不饱满的字符进行填充。
[0013]优选的，
[0014]S31.将集装箱号中文本区域G
t
用线段a表示：
[0015]G
t
＝{a}
n
[0016]式中：n代表文本框的中标注的像素的数量，对G
t
裁剪得到收缩框G
s
，将G
s
作为概率图标签P
gt
[0017][0018]式中：D为收缩量，q为文本区域面积，l为文字区域周长，r为收缩因子，将G
t
向内收缩D得到G
s
，向外膨胀D得到G
d
，G
d
与G
s
之间的箱号标识区域作为文本边界，区域中像素点到G
t
边框最短距离d作为该像素点的阈值，并对阈值做归一化处理，得到阈值图的监督标签T
gt
；
[0019]S32.利用可微二值化公式计算二值图的像素点取值，公式为：
[0020][0021]式中：B(i,j)为二值图像素点的取值，P(i,j)为概率图中的字符概率值，T(i,j)为阈值图中字符的阈值，(i,j)为像素点，k为放大因子；
[0022]计算损失函数，概率图损失函数L
p
和二值图损失函数L
b
相等，公式为：
[0023][0024]式中，S
l
为样本集，y
i
为阈值图的标签，x
i
为真实标签，阈值图损失函数L
t
为：
[0025][0026]式中R
d
为文本膨胀区域G
d
的所有范围，总的损失函数L
sum
为：
[0027]L
sum
＝L
p
+αL
b
+βL
t
[0028]式中：α，β为权重系数；
[0029]S34.执行后处理操作，用设置好的固定阈值对概率图进行二值化，计算字符连通区域：
[0030][0031]对字符连通区域进行膨胀和裁剪，标识出箱号边界框，文本连通区域膨胀量D
′
为：
[0032][0033]式中：S
′
为文本连通区域面积，R
′
为膨胀系数，L
′
为文本连通区域周长，通过S3图像检测算法将集装箱号标识区域分割成字符框组。
[0034]优选的，步骤S4图片识别步骤如下：
[0035]S41.采用改进的VGG16对箱号图片进行特征序列提取，改进的VGG16包括13个卷积层和5个池化层；其中第三个和第四个最大池化层的窗口尺寸为1*2，其它池化层的窗口尺寸为2*2；
[0036]S42.采用LSTM循环卷积网络进行序列识别，采用4层双向长短期记忆网络结构堆叠，输入的特征序列为：
[0037]X＝{x1,x2,...,x
T
}
[0038]X的每一列为X
t
＝{x
t1
,x
t2
,...,x
tu
}，深层双向长短期记忆网络后接一个Softmax分类器，输出后验概率矩阵：
[0039]Y＝{y1,y2,...,y
T
}
[0040]Y的每一列为Y＝{y
t1
,y
t2
,...,y
tv
},表示预测字符的概率分布；其中T代表时间步长，t代表某个时间步，u代表特征序列通道数，v代表识别字符的长度；
[0041]S43.采用CTC算法对箱号图片进行字符转录，将循环层的预测标签转换成标签序列；在字符中加入空白占位符，执行标签预测，等输出结果时，采用映射函数去掉重复标签和占位符；给定输入Y，输出标签L的概率P为：
[0042][0043]式中：π∈B
‑1(L)表示输入Y经过B变换后是L的所有路径π，p(π|Y)为：
[0044][0045]式中：表示π路径t时间步的预测序列概率值，将箱号标识样本与字典Z关联，计算路径的最优序列L
best
：
[0046][0047]S44.计算CTC损失函数L
C
(s)：
[0048]L
C
(s)＝
‑
lnp(L|Y)
[0049]在此基础上，引入前向
‑
后向算法，采用动态规划计算出前向概率α
t
(s)与后向概率β
t
(s)，以求出p(L|Y)：
[0050][0051]从而求得L
C
(s)为：
[0052][005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OCR技术的箱号识别方法，其特征在于，包括以下步骤，S1.采集集装箱位置信息和实时画面，获取实时箱号信息，结合已有箱号数据，建立原始数据集；S2.对采集的集装箱实时画面进行双边滤波和形态学处理，去除图片噪声，并利用形态学处理和填充字符；S3.基于可微二值化算法，设置监测箱号标识区域，把二值化过程加入到Resnet轻量型网络，通过网络训练设置字符阈值，得到箱号标识的融合特征图、阈值图、概率图，再通过后处理步骤输出箱号标识区域边界；S4.基于已经得到的集装箱箱号标识区域和字符特征信息，经过提取箱号特征，构建CRNN神经网络模型；S5.构建箱号识别管控系统，实现集装箱号的快速准确识别。2.根据权利要求1所述的一种基于OCR技术的箱号识别方法，其特征在于，步骤S2图片预处理步骤如下：S21.根据采集到的箱号图片，通过计算滤波像素点的空域和值域信息，设置参数坐标和标注方差；S22.首先对图片执行形态学的开运算处理，腐蚀箱号字符之间的不规则毛刺、斑点，在对图片执行闭运算处理，对箱号中不饱满的字符进行填充。3.根据权利要求1所述的一种基于OCR技术的箱号识别方法，其特征在于，S31.将集装箱号中文本区域G
t
用线段a表示：G
t
＝{a}
n
式中：n代表文本框的中标注的像素的数量，对G
t
裁剪得到收缩框G
s
，将G
s
作为概率图标签P
gt
式中：D为收缩量，q为文本区域面积，l为文字区域周长，r为收缩因子，将G
t
向内收缩D得到G
s
，向外膨胀D得到G
d
，G
d
与G
s
之间的箱号标识区域作为文本边界，区域中像素点到G
t
边框最短距离d作为该像素点的阈值，并对阈值做归一化处理，得到阈值图的监督标签T
gt
；S32.利用可微二值化公式计算二值图的像素点取值，公式为：式中：B(i,j)为二值图像素点的取值，P(i,j)为概率图中的字符概率值，T(i,j)为阈值图中字符的阈值，(i,j)为像素点，k为放大因子；计算损失函数，概率图损失函数L
p
和二值图损失函数L
b
相等，公式为：式中，S
l
为样本集，y
i
为阈值图的标签，x
i
为真实标签，阈值图损失函数L
t
为：
式中R
d
为文本膨胀区域G
d
的所有范围，总的损失函数L
sum
为：L
sum
＝L
p
+αL
b
+βL
t
式中：α，β为权重系数；S34.执行后处理操作，用设置好的固定阈值对概率图进行二值化，计算字符连通区域：对字符连通区域进行膨胀和裁剪，标识出箱号边界框，文本连通区域膨胀量D
′
为：式中：S
′
为文本连通区域面积，R
′
为膨胀系数，L
′
为文本连通区域周长，通过S3图像检测算法将集装箱号标识区域分割成字符框组。4.根据权利要求1所述的一种基于OCR技术的箱号识别方法，其特征在于，步骤S4图片识别步骤如下：S41.采用改进的VGG16对箱号图片进行特征序列提取，改进的VGG16包括13个卷积层和5个池化层；其中第三个和第四个最大池化层的窗口尺寸...

【专利技术属性】
技术研发人员：魏立明，朱广文，李哲，张晓博，孙佳隆，徐以军，朱宁，刘鲁西，雷凯，朱波，张恒，
申请(专利权)人：青岛杰瑞工控技术有限公司，
类型：发明
国别省市：