一种基于深度学习的板坯编号识别方法技术

本发明专利技术公开了一种基于深度学习的板坯编号识别方法，包括以下步骤：获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；训练调试识别模型；现场部署识别模型，每次识别整个轨道车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号；对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。本发明专利技术板坯编号识别方法不仅能够减少人工作业量，还能提高入库板坯号的准确率，方便库区管理，并且可以实现自动查询核对、能够有效加快板坯入库节奏，提高整个生产车间的效率。效率。效率。

【技术实现步骤摘要】
一种基于深度学习的板坯编号识别方法


[0001]本专利技术涉及冶金机械及自动化、人工智能领域，特别涉及一种基于深度学习自动识别板坯号方法。

技术介绍

[0002]热轧生产是钢铁企业中的重要生产线中的一环，其中连铸车间和热轧车间属于上下游的相接关系，热连铸板坯在连铸车间经冷却、火焰处理、喷印板号并且连铸板坯表面和内部质量均合格后，将由辊道送到热轧车间。随后需要操作人员对板坯的坯号进行人工识别，并与板坯库中入库的板坯数据进行核对，在板号确认无误后，下达后续步骤操作指令，指导板坯进入板坯库中指定位置的堆垛，等待完成既定的轧制计划。随着智能制造技术的不断发展，钢铁企业也迎来改革的浪潮，目前热轧产线中板坯入库过程自动化程度较低，尤其是板坯号的识别过程，多数钢铁企业都依靠工人24小时无间断换班值守，去观察行进过程中的板坯的坯号，然后每一次都要与板坯库中的数据进行核对，劳动强度不仅大且工作效率低，同时受人为因素影响较多，长时间工作很容易造成误识或漏识，轻则产品判废，重则对整个生产线造成严重经济损失。

技术实现思路

[0003]本专利技术针对这一现状提出了一种基于深度学习的自动识别板坯号方法，实现入库计划的自动核对、提高了生产效率。
[0004]为了实现上述目的，本专利技术提供的技术方案如下：
[0005]一种基于深度学习的板坯编号识别方法，包括以下步骤：
[0006]获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；
[0007]采用机器视觉识别技术对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；
[0008]采用深度学习神经网络，训练调试识别模型，在收集制作的数据集上达到99％以上的精度；
[0009]现场部署识别模型，每次识别整个行车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号，输出识别结果；
[0010]对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。
[0011]更为具体的步骤如下：
[0012]获得大量带有板坯编号的图像；
[0013]在轨道车行进过程中的一处位置搭建RGB摄像头，用于记录每一辆行车经过摄像头前的完整过程，捕获板坯移动时候的板坯编号；
[0014]从现场下载录像，并删除录像中没有轨道车经过或者轨道车上未载有板坯的录
像，把保留下来的录像经过ffmpeg中的命令处理成图像；
[0015]处理获得的板坯图像，并过滤掉没有板坯编号的图像。
[0016]制作板坯号识别模型训练所需的数据集：
[0017]使用图像标注工具labelme，对得到的带有板坯号的图像进行标注；
[0018]对板坯的头部进行标注，用于获得板坯的数量；
[0019]在标注过程中删除过于模糊、喷印错误、无板坯号和板坯头部的图像；
[0020]把标注的图像得到的json格式转为txt文件。
[0021]训练调试识别模型：
[0022]划分本专利技术的训练集和验证集；
[0023]识别模型选用yolov5
‑
L，训练深度学习识别模型；
[0024]训练出的模型在验证集上达到99％以上的精度。
[0025]现场部署识别模型，每次识别整个行车经过的摄像头前方位置的一段视频中的一些图像，最后处理匹配结果，并得到板坯个数和对应的板坯号，具体步骤如下：
[0026]根据每一张图像所得到的板坯号，先从下到上进行排序，再从左到右进行列排序。先选取图像识别结果中字符左上角像素值y坐标最大的认为是最下一行，然后根据该字符的左上角坐标y1和右下角坐标y2得到中心点坐标y
center
,再遍历图像中所有识别得到的字符中两个y轴坐标，并判断刚刚得到的中心点坐标y
center
是否在落在当前字符两个y轴坐标内，根据不同的现场情况设置一个不同常数量数值偏差，然后把该行字符从本张图像识别结果中移去，循环上述遍历过程，找出图像中每一行的字符，遍历每一行字符的x坐标，按照x的由小到大进行从左到右排序，完成一张图像的字符识别，对于板坯头部识别同样的找出每一行y坐标进行排序选择，从而完成一张图像的完整识别算法。
[0027]对于一辆载有板坯的行车经过会处理很多一张一张的图像，最后针对每一张图像的一行字符进行一个汇总。同样的根据上述y
center
判断算法，完成所有行字符的坐标匹配后，对同一行出现次数最多的行字符则认为是正确的识别结果，同理板坯头部行坐标匹配也一样。最后对于板坯头部和板坯字符串进行行匹配，完成一辆行车的完整识别过程。
[0028]对识别结果进行二次验证：
[0029]建立数据库链路实现与WMS数据库和连铸车间数据库通信；
[0030]根据识别的板坯号，在WMS数据库和连铸数据库中搜索板坯原始PDI数据；
[0031]如果查询成功，则表示二次验证成功，此次识别正确；
[0032]如果查询失败，则报警提示人工介入：由工人介入查看识别客户端给出的板坯号图像，进行确认，如果发现有板坯号脱离、图像模糊、手写板坯不清楚、板坯号不规范等情况则联系连铸车间人员询问后进行修正，完成人工录入。
[0033]上述方案中，客户端连接了轨道车行进现场上方的摄像头，存储有拍摄到的运行情况，同时客户端内建立数据库，用于识别结果验证。
[0034]上述技术方案中，通过摄像头采集行进中板坯在不同位置的板坯图像录像，制作成自己的数据集，标注处理后，输入到深度学习神经网络中进行训练，得到识别模型。现场部署识别程序后，通过触发识别信号，对经过摄像头前方的轨道车进行30秒的单张图像识别和单张图像后处理，之后对30秒内的所有图像识别处理结果进行多张图像识别处理得到最终得板坯号结果，把该结果写入到数据库。最后根据识别的板坯号，建立WMS数据库和连
铸数据库连接，通过查询识别的结果是否存在于数据库中来判断本次自动识别的成功和失败，完成二次验证。如果二次验证失败，则客户端进行报警提示，由人工前来对客户端界面上的板坯图像进行人眼确认，并修改板坯号，对于一些异常的不规范的板坯号则联系连铸车间工人进行询问并做修改。
[0035]本专利技术相比现有技术具有以下优点：
[0036]本专利技术通过神经网络自动识别行进过程中的板坯号，然后经过一系列排序算法处理后得到最后的板坯个数和对应的板坯号，来代替工人识别这一过程，不仅节省了入库板坯号验证流程，还减少了板坯管理混乱的历史，造成生产率低下、劳动强度大而产生的混钢等现象，严重影响生产节奏和后期产品质量判定等问题；实现了从连铸到装炉的物料全自动跟踪和控制，摆脱多年影响生产节奏的“瓶颈”。
[0037]本专利技术板坯编号识别方法不仅能够减少人工作业量，还能提高入库板坯号的准确率，方便库区管理，并且可以实现自动查询核对、能够有效加快板坯入库节奏，提高整个生产车间的效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的板坯编号识别方法，其特征在于，包括以下步骤：获取现场板坯行进过程的视频录像，对视频录像进行按帧截取获得大量带有板坯编号的图像；采用机器视觉识别技术对每张板坯图像上的板坯号进行标注，制作板坯号识别模型训练所需的数据集；采用深度学习神经网络，训练调试识别模型，在收集制作的数据集上达到99％以上的精度；现场部署识别模型，每次识别整个行车经过的一段视频，最后处理匹配结果，并得到板坯个数和对应的板坯号，输出识别结果；对识别的结果在数据库的入库计划中自动查询，进行二次验证，成功后认定识别成功，失败后报警提示。2.根据权利要求1所述的板坯编号识别方法，其特征在于，带有板坯编号图像的采集方法如下：在板坯行进路程上搭建RGB摄像头，用于记录每一辆行车经过摄像头前的完整过程，捕获板坯移动时候的板坯编号；对获取的视频录像，截取一帧一帧的图像；处理获得的板坯图像，并过滤掉没有板坯编号的图像。3.根据权利要求1所述的板坯编号识别方法，其特征在于，板坯号识别模型训练所需数据集的制作方法如下：使用图像标注工具labelme，对得到的带有板坯号和板坯头部的图像进行标注；在标注过程中如果发现板号变形、喷印错误、无板坯号或者板坯头部的图像；把标注的图像得到的json格式转为txt文件。4.根据权利要求1所述的板坯编号识别方法，其特征在于，识别模型的训练调试过程如下：在收集制作的数据集中分别划分出训练集和验证集；设置超参数，使用数据增广，训练深度学习识别模型；评估训练出的神经网络模型结果。5.根据权利要求4所述的板坯编号识别方...

【专利技术属性】
技术研发人员：刘铭皓，夏天鹏，刘进波，施海庆，宋嘉颍，薛杨鹏，
申请(专利权)人：南京闻望自动化有限公司，
类型：发明
国别省市：