一种基于多级网络融合的钢板字符检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多级网络融合的钢板字符检测方法及装置，该方法包括：收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；利用GAN网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；构建多级网络融合的钢板字符识别算法模型；基于所述样本数据集，利用迁移学习方法训练所述钢板字符识别算法模型；利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。本发明专利技术能够满足钢板实际生产过程中的钢板字符检测的实时性和精度要求，可以有效提升生产效率、降低人工成本，具有重大应用前景。景。景。

【技术实现步骤摘要】
一种基于多级网络融合的钢板字符检测方法及装置


[0001]本专利技术涉及计算机视觉、深度学习、目标检测以及金属表面检测
，特别涉及一种基于多级网络融合的钢板字符检测方法及装置。

技术介绍

[0002]传统钢铁生产线的钢板字符信息由MES系统下发，由操作工手动确认钢板字符信息是否正确，钢板字符包括面喷及侧喷字符；钢板号信息、标印质量需人工确认。当前，随着智能制造的不断推进，产线向无人化升级日益紧迫，钢板字符识别是产品质量管控流程的重要一环，如何利用图像识别技术进行多种钢板表面字符检测从而替代人工识别是钢铁生产智能化的攻关难点之一。
[0003]OCR(Optical Character Recognition，光学字符识别)技术是通过扫描等光学输入方式将各种票据、文稿、印刷制品等文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。利用这一技术，可以直接从影像中提取标号、文字等重要数据，生成所需的新文本，进而代替人的手工录入。因此，其在字符识别领域应用广泛，而钢板表面字符主要由“0、1、2、3、4、5、6、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级网络融合的钢板字符检测方法，其特征在于，包括：收集钢板字符的图像，并对收集的图像进行标注，以构建钢板字符数据集；利用GAN网络对构建的钢板字符数据集进行样本增强，以扩充钢板字符数据集并使得样本分布平衡，得到用于模型训练和测试的样本数据集；构建多级网络融合的钢板字符识别算法模型；基于所述样本数据集，利用迁移学习方法训练所述钢板字符识别算法模型；利用训练好的钢板字符识别算法模型实现钢板字符的在线检测。2.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述收集钢板字符的图像，并对收集的图像进行标注，包括：利用图像采集系统自动收集钢板字符的图像；利用标注工具对所述图像采集系统收集的钢板字符的图像进行标注，并将标注信息保存于标注文本文件中；其中，所述标注信息包括：钢板字符区域位置、钢板字符行的分割信息以及单个字符的位置信息。3.如权利要求1或2所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述图像采集系统收集的钢板字符包括：钢板表面喷印字符、钢板表面钢印字符以及钢板侧面喷印字符中的任意一种或多种的组合。4.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述GAN网络以LSTM作为生成器，以CNN作为判别器。5.如权利要求1所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述钢板字符识别算法模型包括第一模块、第二模块以及第三模块；其中，所述第一模块为YOLOv3网络，用于对钢板表面图像的字符区域进行检测；所述第二模块为DBNet网络，用于对所述YOLOv3网络检测出的钢板表面图像的字符区域进行分割，以得到相应的字符行；所述第三模块为EfficientDet网络，用于对所述YOLOv3网络分割出的字符行进行单个字符检测，以检测出所述字符行中的每一个钢板字符。6.如权利要求5所述的基于多级网络融合的钢板字符检测方法，其特征在于，所述YOLOv3的主干卷积神经网络Darknet53的3个尺度特征提取分支处分别添加了一层特征提取层，以分别增大不同尺度预测目标的感受野；其中，所述特征提取层kernel size为3*3，stride...

【专利技术属性】
技术研发人员：侯睿，邓能辉，
申请(专利权)人：北京科技大学设计研究院有限公司，
类型：发明
国别省市：