一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法技术

本发明专利技术公开一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法，属于机器视觉工业检测领域。本发明专利技术采用两级递阶的双检测模型，首先利用板坯号字符区域检测模型检测原始板坯图片中含有板坯号的字符区域，然后将该区域分割出来，形成只含有板坯号字符区域的子图片，将此子图片输入字符检测与识别模型，识别出板坯号中每个字符，最后按照字符顺序拼接成最终的板坯号。本发明专利技术解决了在连铸切割打号后辊道、板坯库、加热炉前入炉辊道上等复杂场景下对板坯号高精度识别的问题，对比现有的使用单一检测器的识别方法，可以降低原始图片的采集要求，提高在多场景下不同采集设备得到的不同背景图片的板坯号识别精度。不同背景图片的板坯号识别精度。不同背景图片的板坯号识别精度。

【技术实现步骤摘要】
一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法


[0001]本专利技术属于机器视觉工业检测领域，涉及在连铸切割打号后辊道、板坯库、加热炉前入炉辊道上等多场景下对板坯号进行识别的方法。

技术介绍

[0002]板坯跟踪是炼钢与轧钢工序间物流的关键环节，随着检测技术进步，目前板坯号的识别已经大多采用自动识别技术，识别方法也由过去的传统机器视觉算法过渡到精度更高的基于深度卷积神经网络的目标检测模型，这种方法通过训练一个字符目标检测模型直接在图片中找到板坯号中的字符并进行识别。这种方法要求用于识别的图片最好只包含坯号字符区域，不包含其他背景，这就对拍照场景有严格要求。而在实际场景中，板坯号的拍照位置可能有多个地方，图片的采集方式也可能是多种多样的，如固定式、手持式等，采集到的图片中不一定只包含板坯号字符区域，还可能包含其他物体。在这种复杂场景下，对于单一检测模型，会受到其他背景干扰，将坯号字符区域与图片中相近区域混肴(背景中有时也会出现字符)，造成识别出的坯号多位或少位。因此，一般单一检测模型的识别方法准确率在复杂场景下很难达到95％，实际使用中常需要人工确认识别结果，降低了物流效率。

技术实现思路

[0003]针对上述问题，本专利技术提出一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法，用于在复杂场景下实现板坯号的高精度识别，识别准确率可达到99％以上。
[0004]本专利技术提出一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法，具体步骤为：
[0005]步骤1、利用板坯号图片采集模块采集含有板坯号的板坯图片，并上传保存在服务器中。
[0006]步骤2：对服务器图片中的板坯号字符区域进行标注，将图片中含有板坯号的图片区域用矩形框框出，形成字符区域样本库。
[0007]步骤3：利用步骤2得到的训练样本训练一个板坯号字符区域检测模型；模型采用基于深度卷积神经网络的两级结构，第一级采用ResNet34或者ResNet50的深度残差神经网络，用于图片的特征提取，第二级采用fcos算法基于第一级产生的特征图片回归求解目标检测框位置坐标。
[0008]步骤4：将步骤2中，标注了板坯号字符区域的图片中板坯号字符区域部分截取下来，保存为板坯号字符区域图片，并在板坯号字符区域图片中标注每个字符区域和字符值，标注时通过矩形框圈出每个字符，形成字符检测和识别样本库。
[0009]步骤5：利用步骤四得到的训练样本训练一个字符检测和识别模型；模型同样采用基于深度卷积神经网络的两级结构，第一级采用ResNet101或者ResNet152的深度残差神经网络，用于图片的特征提取，第二级包含两个模型，第一个采用fcos算法基于第一级产生的
特征图片回归求解字符检测框的位置坐标，第二个模型利用第一级产生的特征训练一个全连接神经网络用于对每个字符进行识别。
[0010]步骤6：将板坯号字符区域检测模型文件和字符检测与识别模型文件拷贝至在线服务器内。在线服务器读取板坯号图片采集模块发送的板坯号图片，将图片进行标准化处理；随后将处理后的图片输入板坯号字符区域检测模型中，经板坯号字符区域检测模型处理后得到板坯号字符区域的矩形框坐标，包括矩形框四角坐标；最后将上述矩形框坐标以及矩形框所圈出的板坯号字符区域图像截取出来，形成字符区域子图片。
[0011]步骤7：将步骤6中将截取出来的字符区域子图片输入字符检测与识别模型，经字符检测与识别模型检测板坯号字符区域图像中包含的字符，得到每个字符的检测框的坐标以及检测框的数据，并根据检测框数目与板坯号预设字符数是否相等确定是否输出字符识别结果。如果数目相等，则进行步骤9；如果数目不想等，说明检测有误，进行步骤8。
[0012]步骤8：根据输出的检测框数目小于或大于预设字符数目判断是否有遗漏或重叠。如果检测框数目比预设值大，则减小检测模型输出的检测框交并比重新输出保留的检测框坐标，返回进行步骤7中的判断过程。如果检测框数目比预设值小，则增大检测模型输出的检测框交并比重新输出保留的检测框坐标，返回执行步骤7中的判断过程。
[0013]步骤9：由字符识别模块调用字符检测与识别模型，对各个检测框中的图像进行字符识别，输出识别后的字符。
[0014]步骤10：字符拼接模块将最终输出的字符按照图片中字符出现的顺序进行排列，字符顺序以每个字符的左上角坐标按照水平方向从小到大排列，形成最终的板坯号。
[0015]本专利技术还提出一种复杂场景下基于两级递阶检测模型的板坯号高精度识别系统，包括板坯号图片采集模块、板坯号字符区域检测模型训练模块、字符检测与识别模型训练模块、板坯号字符区域检测模块、字符检测模块、字符识别模块、字符拼接模块。
[0016]所述板坯号图片采集模块由图片采集设备和网络传输系统组成，图片采集设备用于对喷印了号码的板坯侧面进行拍照，并将图片上传至服务器中。板坯号图片采集模块部署在工业现场，通过光纤网络将图片传送到离线服务器和在线服务器中。其中，离线服务器为GPU服务器，具有板坯号字符区域检测模型训练模块和字符检测与识别模型训练模块，用于训练板坯号字符区域检测模型和字符检测与识别模型。
[0017]上述板坯号字符区域检测模型训练模块利用板坯图片训练一个目标检测模型，该模型只检测不识别，对图片中包含板坯号字符区域的目标进行检测，主要任务是分割出字符区域的子图片；训练后的模型供板坯号字符区域检测模块使用。
[0018]所述字符检测与识别模型训练模块利用板坯号字符区域子图片训练一个字符检测与识别模型；模型包含检测和识别两部分，分别用于字符分割和字符识别。训练后的模型供字符检测模块和字符识别模块使用。
[0019]所述板坯号字符区域检测模块调用训练好的板坯号字符区域检测模型，对采集到的板坯图片进行检测，并分割出包含板坯号的字符区域子图片，供字符检测模块使用。
[0020]所述的字符检测模块利用字符检测与识别模型对板坯号字符区域子图片进行检测，分割出每个字符图片，输出为每个字符区域图像，供字符识别模块使用。
[0021]所述的字符识别模块利用字符检测与识别模型对字符图片进行识别，输出每个图片的字符。
[0022]所述的字符拼接模块对每个输出字符按照字符顺序拼接为板坯号，其中字符顺序按照根据每个字符的图片坐标进行判断。
[0023]本专利技术提出的复杂场景下基于两级递阶检测模型的板坯号高精度识别方法，可实现在复杂场景下的板坯号高精度识别，对比现有的使用单一检测器的识别方法，可以降低原始图片的采集要求，提高在多场景下不同采集设备得到的不同背景的板坯号图片识别精度。
附图说明
[0024]图1为本专利技术所述的一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法的结构示意图。
[0025]图2为本专利技术所述的一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法的流程示意图。
具体实施方式
[0026]下面结合附图对本专利技术做进一步的详细说明。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下基于两级递阶检测模型的板坯号高精度识别方法，其特征在于：步骤1、利用板坯号图片采集模块采集含有板坯号的板坯图片，并上传保存在服务器中；步骤2：对服务器图片中的板坯号字符区域进行标注，将图片中含有板坯号的图片区域用矩形框框出，形成字符区域样本库；步骤3：利用步骤2得到的训练样本训练一个板坯号字符区域检测模型，模型采用基于深度卷积神经网络的两级结构，第一级采用ResNet34或者ResNet50的深度残差神经网络，用于图片的特征提取，第二级采用fcos算法基于第一级产生的特征图片回归求解目标检测框位置坐标；步骤4：将步骤2中，标注了板坯号字符区域的图片中板坯号字符区域部分截取下来，保存为板坯号字符区域图片，并在板坯号字符区域图片中标注每个字符区域和字符值，标注时通过矩形框圈出每个字符，形成字符检测和识别样本库；步骤5：利用步骤四得到的训练样本训练一个字符检测和识别模型，模型同样采用基于深度卷积神经网络的两级结构，第一级采用ResNet101或者ResNet152的深度残差神经网络，用于图片的特征提取，第二级包含两个模型，第一个采用fcos算法基于第一级产生的特征图片回归求解字符检测框的位置坐标，第二个模型利用第一级产生的特征训练一个全连接神经网络用于对每个字符进行识别；步骤6：将板坯号字符区域检测模型文件和字符检测与识别模型文件拷贝至在线服务器内；在线服务器读取板坯号图片采集模块发送的板坯号图片，将图片进行标准化处理；随后将处理后的图片输入板坯号字符区域检测模型中，经板坯号字符区域检测模型处理后得到板坯号字符区域的矩形框坐标，包括矩形框四角坐标；最后将上述矩形框坐标以及矩形框所圈出的板坯号字符区域图像截取出来，形成字符区域子图片；步骤7：将步骤6中将截取出来的字符区域子图片输入字符检测与识别模型，经字符检测与识别模型检测板坯号字符区域图像中包含的字符，得到每个字符的检测框的坐标以及检测框的数据，并根据检测框数目与板坯号预设字符数是否相等确定是否输出字符识别结果；如果数目相等，则进行步骤9；如果数目不想等，说明检测有误，进行步骤8；步骤8：根据输出的检测框数目小于或大于预设字符数目判断是否有遗漏或重叠；如果检测框数目比预设值大，则减小检测模型输出的检测框交并比重新输出保留的检测框坐标，返回进行步骤7中的判断过程；如果检测框数目比预设值小，则增大检测模型输出的检测框交并比重新输出保留的检测框坐标，返回执行步骤7中的判断过程；步骤9：由字符识别模块调用字符检测与识别模型，对各个检测框中的图像进行字符识别，输出识别后的字符；步骤10：字符拼接模块将最终输出的字符按照图片中字符出现的顺序进行排列，字符顺序以每个字符的左上角坐标按照水平方向从小到大...

【专利技术属性】
技术研发人员：顾佳晨，
申请(专利权)人：中国钢研科技集团有限公司，
类型：发明
国别省市：