一种卷烟厂入库物料箱标签关键信息识别方法及系统技术方案

本发明专利技术涉及一种卷烟厂入库物料箱标签关键信息识别方法及系统，建立原始图像数据集，标注原始图像数据集中标签的坐标信息，生成旋转框目标检测数据集，训练旋转框目标检测网络，获得旋转框目标检测模型；使用旋转框目标检测模型提取原始图像数据集中的标签图像，建立标签图像数据集；将标签图像数据集输入至文字方向分类器中，根据输出的角度信息矫正标签图像，建立矫正标签图像数据集；标注矫正标签图像数据集中字符的坐标信息和文本信息，生成表格识别数据集，训练表格识别网络，获得表格识别模型；通过旋转框目标检测模型

【技术实现步骤摘要】
一种卷烟厂入库物料箱标签关键信息识别方法及系统


[0001]本专利技术涉及一种卷烟厂入库物料箱标签关键信息识别方法及系统
。

技术介绍

[0002]烟草物料箱上的标签记录了烟叶的关键信息，包括类型
、
产地
、
形态
、
年份和等级等
。
这些信息对于卷烟厂的烟草物料管理至关重要，不仅确保烟草料箱中的烟叶原料是否符合相关的质量标准，也影响最终产出的卷烟产品质量
。
相同的烟草原料厂商制定了统一的规范化标准来设计标签格式，但不同厂商的标签格式各不相同，导致标签关键信息所在的位置有所差异
。
另外，原料厂工人人为贴标不准确，粘贴到物料箱上的标签存在角度与位置差别，卷烟厂工人在产线上放置物料箱时还经常发生物料箱倒放的情况
。
同时，多样化的箱体背景也为标签的关键信息识别带来诸多困难
。
[0003]传统图像算法难以从多样化的箱体背景上准确定位标签，而使用普通深度学习的目标检测网络，对倾斜标签的提取都还存留不必要的背景信息，这会影响后续对关键信息定位的性能
。
为了去除背景干扰，现有的图像特征匹配算法还存在准确率低
、
速度慢等问题
。
目前卷烟厂烟草物料入库前，对标签关键信息的识别方法大多采用人工方式，这种方法不仅劳动强度大，而且很容易受到主观因素的影响，导致出现误检
、
漏检现象
。
为了减轻劳动强度，提高生产效率，自动化提取和识别烟草物料箱标签是非常必要的
。

技术实现思路

[0004]本专利技术是为了解决上述现有技术存在的问题而提供一种卷烟厂入库物料箱标签关键信息识别方法及系统
。
[0005]本专利技术所采用的技术方案有：
[0006]一种卷烟厂入库物料箱标签关键信息识别方法，包括以下步骤：
[0007]S1
：获取表面粘贴标签的物料箱图像，建立原始图像数据集；
[0008]S2
：标注原始图像数据集中标签的坐标信息，生成旋转框目标检测数据集，训练旋转框目标检测网络，获得旋转框目标检测模型；
[0009]S3
：使用旋转框目标检测模型提取原始图像数据集中的标签图像，建立标签图像数据集；
[0010]S4
：将标签图像数据集输入至文字方向分类器中，根据输出的角度信息矫正标签图像，建立矫正标签图像数据集；
[0011]S5
：标注矫正标签图像数据集中字符的坐标信息和文本信息，生成表格识别数据集，训练表格识别网络，获得表格识别模型；
[0012]S6
：通过旋转框目标检测模型
、
文字方向分类器和表格识别模型对新获取的物料箱图像进行标签检测和识别，并根据关键信息的坐标位置，显示识别结果
。
[0013]进一步地，步骤
S1
中，获取表面粘贴标签的物料箱图像，建立原始图像数据集，具体包括：使用架设在卷烟厂入库轨道侧边的图像采集装置，拍摄物料箱中粘贴有标签的物
料箱表面图像，拍摄图像设置为
5742
×
3648
分辨率，格式为
.bmp
，将拍摄的图像保存于同一文件夹中，建立原始图像数据集
。
[0014]进一步地，步骤
S2
中，标注原始图像数据集中标签的坐标信息，生成旋转框目标检测数据集，训练旋转框目标检测网络，获得旋转框目标检测模型，具体包括：使用软件标注工具，以旋转矩形框的方式，将原始图像数据集中标签的坐标信息进行人工标注，并以7：3的比例将标注数据划分为训练集与验证集，生成旋转框目标检测数据集，将旋转框目标检测数据集输入旋转框目标检测网络中进行训练，获得旋转框目标检测模型
。
[0015]所述旋转框目标检测网络为
PP
‑
YOLOE
‑
R
网络，获得的旋转框目标检测模型为
PP
‑
YOLOE
‑
R
模型
。
[0016]进一步地，步骤
S3
中，使用旋转框目标检测模型提取原始图像数据集中的标签图像，建立标签图像数据集，具体包括：使用旋转框目标检测模型提取原始图像数据集中的标签图像，获得文字方向为0°
、90
°
、180
°
和
270
°
的标签图片，保存于同一文件夹中，建立标签图像数据集
。
[0017]进一步地，步骤
S4
中，将标签图像数据集输入至文字方向分类器中，根据输出的角度信息矫正标签图像，建立矫正标签图像数据集，具体包括：将标签图像数据集输入至文字方向分类器，输出的文字方向信息为0°
、90
°
、180
°
和
270
°
，根据输出的角度信息矫正标签方向，得到文字方向均为
90
°
的标签图像，保存于同一文件夹中，建立矫正标签图像数据集
。
[0018]所述文字方向分类器为
PaddleOCR
系统中内置的文字方向分类模型，通过微调该模型的分类效果，能够检测0°
、90
°
、180
°
和
270
°
四个类别的文字方向
。
[0019]进一步地，步骤
S5
中，标注矫正标签图像数据集中字符的坐标信息和文本信息，生成表格识别数据集，训练表格识别网络，获得表格识别模型，具体包括：使用半自动标注工具，以表格标注的方式，将矫正标签图像数据集中字符的坐标信息及文本信息进行标注，并以7：3的比例将标注数据划分为训练集与验证集，生成表格识别数据集，将表格识别数据集输入表格识别网络中进行训练，获得表格识别模型
。
[0020]所述表格识别网络包含三个结构，包括：单行文本检测结构
、
单行文本识别结构和表格分析结构
。
其中，单行文本检测结构为基于
DBNet
的单行文本检测网络；单行识别结构为基于
CRNN
的单行文本识别网络；表格分析结构为基于
SLANet
的单元格位置预测网络
。
[0021]进一步地，步骤
S6
中，通过旋转框目标检测模型
、
文字方向分类器和表格识别模型对新获取的物料箱图像进行标签检测和识别，并根据关键信息的坐标位置，显示识别结果，具体步骤为：
[0022]S61
：通过旋转框目标检测模型提取新获取的物料箱图像中的标签，得到文字方向为0°
、90
°
、180
°
和
270<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种卷烟厂入库物料箱标签关键信息识别方法，其特征在于：包括以下步骤：
S1
）获取表面粘贴标签的物料箱图像，建立原始图像数据集；
S2
）标注原始图像数据集中标签的坐标信息，生成旋转框目标检测数据集，训练旋转框目标检测网络，获得旋转框目标检测模型；
S3
）使用旋转框目标检测模型提取原始图像数据集中的标签图像，建立标签图像数据集；
S4
）将标签图像数据集输入至文字方向分类器中，根据输出的角度信息矫正标签图像，建立矫正标签图像数据集；
S5
）标注矫正标签图像数据集中字符的坐标信息和文本信息，生成表格识别数据集，训练表格识别网络，获得表格识别模型；
S6
）通过旋转框目标检测模型
、
文字方向分类器和表格识别模型对新获取的物料箱图像进行标签检测和识别，并根据关键信息的坐标位置，显示识别结果
。2.
如权利要求1所述的卷烟厂入库物料箱标签关键信息识别方法，其特征在于：步骤
S1
）中，使用架设在卷烟厂入库轨道侧边的图像采集装置，拍摄物料箱中粘贴有标签的物料箱表面图像，拍摄图像设置为
5742
×
3648
分辨率，格式为
.bmp
，将拍摄的图像保存于同一文件夹中，建立原始图像数据集
。3.
如权利要求1所述的卷烟厂入库物料箱标签关键信息识别方法，其特征在于：步骤
S2
）中，以旋转矩形框的方式，将原始图像数据集中标签的坐标信息进行人工标注，并以7：3的比例将标注数据划分为训练集与验证集，生成旋转框目标检测数据集，将旋转框目标检测数据集输入旋转框目标检测网络中进行训练，获得旋转框目标检测模型
。4.
如权利要求3所述的卷烟厂入库物料箱标签关键信息识别方法，其特征在于：所述旋转框目标检测网络为
PP
‑
YOLOE
‑
R
网络，获得的旋转框目标检测模型为
PP
‑
YOLOE
‑
R
模型
。5.
如权利要求1所述的卷烟厂入库物料箱标签关键信息识别方法，其特征在于：步骤
S3
）中，使用旋转框目标检测模型提取原始图像数据集中的标签图像，获得文字方向为0°
、90
°
、180
°
和
270
°
的标签图片，保存于同一文件夹中，建立标签图像数据集
。6.
如权利要求5所述的卷烟厂入库物料箱标签关键信息识别方法，其特征在于：步骤
S4
）中，将标签图像数据集输入至文字方向分类器中，输出的文字方向信息为0°
、90
°
、180
°
和
270
°
，根据输出的角度信息矫正标签方向，得到文字方向均为
90
°
的标签图像，保存于同一...

【专利技术属性】
技术研发人员：罗印升，宣岁寒，段晓红，宋伟，
申请(专利权)人：江苏理工学院，
类型：发明
国别省市：