【技术实现步骤摘要】
本专利技术属于视觉检测，具体涉及一种基于3d视觉及多模型串联的钢坯号识别方法及系统。
技术介绍
1、公开该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
2、在钢铁生产中，钢坯号的使用可以方便进行钢坯生产、质量管理和追溯。通过钢坯号，钢铁厂可以掌握每一批次钢坯的生产情况，包括原料来源、生产时间、加工工艺等信息，这有助于提高生产效率，减少不良品率。同时，钢坯号也可以作为质量管理的一个手段，方便对钢坯的品质进行追踪和核查。此外，钢坯号也可以作为贸易中的一个重要凭证，确保了交易双方的权益和安全性。因此，钢坯号的识别对钢铁生产管理有重要作用。
3、目前钢坯号字符识别系统技术较多，运用也较为广泛，常用的识别方法有基于传统图像处理算法的ocr识别、基于卷积神经网络的图像ocr识别、基于模版匹配的图像ocr识别。上述方法都是基于摄像机拍摄的二维图像进行的识别，采集的图像质量容易受到如光线、噪声等影响，进而影响钢坯号识别率。
技术实现思路
1、本专利技术的目的是为了实现轧钢钢坯上料工艺中的钢坯号识别，进而通过钢坯号获取原料来源、生产时间、加工工艺等物料信息而提出的一种基于3d视觉及多模型串联的钢坯号识别方法及系统。
2、为了实现上述目的，本专利技术的技术方案为：
3、本专利技术的第一个方面，提供一种基于3d视觉及多模型串联的钢坯号识别方法，包括如下步
4、(1)钢坯刚进入入炉辊道时，采集点云p1；钢坯进入入炉辊道后，同时采集点云p2和rgb图像；
5、(2)利用采集的点云p1和p2，采用3d视觉算法计算钢坯位置；结合钢坯位置，提取rgb图像中的钢坯端部图像；
6、(3)采用分类网络调整所得钢坯端部图像的状态，将钢坯端部图像旋转至0°状态；
7、(4)采用yolo目标检测算法检测钢坯端部图像，得到完整单行钢坯号序列图像；
8、(5)识别完整单行钢坯号序列图像，并将识别得到的钢坯号与当前批次钢坯号进行匹配，判断识别的正确性。
9、在本专利技术的一些实施例中，采用3d相机采集点云。
10、在本专利技术的一些实施例中，所述3d视觉算法包括：
11、对采集的点云p2建立k-d树结构，遍历背景点云p1，寻找最近邻点d，设置距离阈值dmax，与最近邻点距离d小于dmax，认为是背景点，将点删除；若大于dmax，则认为是钢坯位置点，保留该点，并通过钢坯外接矩形固定的长宽比特征得到最终的钢坯位置。
12、在本专利技术的一些实施例中，所述钢坯端部图像的状态包括：0-未喷码、1-喷码不清、2-0°、3-90°、4-180°、5-270°，识别结果为3-5的类别，将其旋转至0°状态，识别结果为未喷码和喷码不清，进行人为确认补录。
13、在本专利技术的一些实施例中，采用yolo目标检测算法对输入的钢坯端部图像进行钢坯号位置检测，得到矩形钢坯号图像，对矩形钢坯号图像进行等距分片、拉直、拼接，得到完整单行钢坯号序列图像。
14、在本专利技术的一些实施例中，利用矩形钢坯号特点将矩形钢坯号图像沿y方向依据行数量进行等距分片，等距分片后的图像能够完全包住该行的钢坯号且不存在字符截断的情况，将分片图像拉直、拼接，得到完整单行钢坯号序列图像。
15、在本专利技术的一些实施例中，采用卷积循环神经网络对输入的完整单行钢坯号序列图像进行钢坯号识别，输出识别钢坯号结果，同时采用生成对抗网络，利用自定义文本替换原钢坯号图像中的文本并保留钢坯号文本风格样式和位置以及钢坯端部背景，防止模型的过拟合。
16、在本专利技术的一些实施例中，通过钢坯号的编制规则校验识别得到的钢坯号的正确性，同时在当前批次钢坯号中检索，对未被检索到的钢坯号进行最大相似度计算，匹配到最可能的钢坯号。
17、优选的，所述最大相似度计算的公式为：
18、
19、式中，x代表识别的钢坯号结果，y代表当前生产批次列表中的钢坯号。
20、本专利技术的第二个方面，提供一种基于3d视觉及多模型串联的钢坯号识别系统，包括入炉辊道、设置在入炉辊道进口处的第一接近开关、设置在入炉辊道中后部的第二接近开关、设置在入炉辊道上部的3d相机和系统服务器；
21、所述3d相机，用于钢坯刚进入入炉辊道、经过第一接近开关时，3d相机拍照采集点云p1；钢坯进入入炉辊道，经过第二接近开关时，3d相机拍照采集点云p2和rgb图像；同时将采集的点云和rgb图像输送至系统服务器；
22、所述系统服务器包括位置计算模块、图像调整模块、序列提取模块以及校验修正模块；
23、所述位置计算模块，用于利用3d相机采集的点云p1和p2，采用3d视觉算法计算钢坯位置；结合钢坯位置，提取rgb图像中的钢坯端部图像；
24、所述图像调整模块，用于采用分类网络调整所得钢坯端部图像的状态，将钢坯端部图像旋转至0°状态；
25、所述序列提取模块，用于采用yolo目标检测算法检测钢坯端部图像，得到完整单行钢坯号序列图像；
26、所述校验修正模块，用于识别完整单行钢坯号序列图像，并将识别得到的钢坯号与当前批次钢坯号进行匹配，判断识别的正确性。
27、在本专利技术的一些实施例中，所述钢坯端部图的状态包括：0-未喷码、1-喷码不清、2-0°、3-90°、4-180°、5-270°，识别结果为3-5的类别，将其旋转至0°状态，识别结果为未喷码和喷码不清，进行人为确认补录。
28、在本专利技术的一些实施例中，采用yolo目标检测算法对输入的钢坯端部图像进行钢坯号位置检测，得到矩形钢坯号图像，对矩形钢坯号图像进行等距分片、拉直、拼接，得到完整单行钢坯号序列图像。
29、本专利技术的有益效果为：
30、本专利技术公开了一种基于3d视觉及多模型串联的钢坯号识别方法，包括如下步骤：钢坯刚进入入炉辊道时，采集点云p1；钢坯进入入炉辊道后，同时采集点云p2和rgb图像；利用采集的点云p1和p2，采用3d视觉算法计算钢坯号位置；结合钢坯号位置，提取rgb图像中的钢坯号图像；采用分类网络调整所得钢坯号图像的状态，将钢坯号图像旋转至0°状态；采用多行钢坯号区域检测算法检测钢坯号图像，得到完整单行钢坯号序列图像；识别完整单行钢坯号序列图像，并将识别得到的钢坯号与当前批次钢坯号进行匹配，判断识别的正确性。本专利技术采用具有很强抗光线性的3d相机采集钢坯位置信息，其采集的深度信息能够精确实现钢坯端部位置检测；再利用检测到的位置信息在rgb图像中裁剪出钢坯端部图像，利用分类网络判断钢坯文字的有无和旋转方向，利用yolo目标检测算法检测多行钢坯号区域后等比例切片，利用文字识别网络(即卷积循环神经网络)批量识别多行文字，结果回传物料跟踪平台并校验。本专利技术利用二维和三维数据共同提高钢坯号的识别精度，同时设计多模型串联本文档来自技高网...
【技术保护点】
1.一种基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，采用3D相机采集点云。
3.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，所述3D视觉算法包括：
4.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，所述钢坯图像的状态包括：0-未喷码、1-喷码不清、2-0°、3-90°、4-180°、5-270°，识别结果为3-5的类别，将其旋转至0°状态，识别结果为未喷码和喷码不清，进行人为确认补录。
5.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，采用yolo目标检测算法对输入的钢坯端部图像进行钢坯号位置检测，得到矩形钢坯号图像，对矩形钢坯号图像进行等距分片、拉直、拼接，得到完整单行钢坯号序列图像。
6.如权利要求5所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，利用矩形钢坯号特点将矩形钢坯号图像沿Y方向依据行数量进行等距分片，等距分片后的图
7.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，采用卷积循环神经网络对输入的完整单行钢坯号序列图像进行钢坯号识别，输出识别钢坯号结果，同时采用生成对抗网络，利用自定义文本替换原钢坯号图像中的文本并保留钢坯号文本风格样式和位置以及钢坯端部背景，防止模型的过拟合。
8.如权利要求1所述的基于3D视觉及多模型串联的钢坯号识别方法，其特征在于，通过钢坯号的编制规则校验识别得到的钢坯号的正确性，同时在当前批次钢坯号中检索，对未被检索到的钢坯号进行最大相似度计算，匹配到最可能的钢坯号。
9.一种基于3D视觉及多模型串联的钢坯号识别系统，其特征在于，包括入炉辊道、设置在入炉辊道进口处的第一接近开关、设置在入炉辊道中后部的第二接近开关、设置在入炉辊道上部的3D相机和系统服务器；
10.如权利要求9所述的基于3D视觉及多模型串联的钢坯号识别系统，其特征在于，所述钢坯端部图像的状态包括：0-未喷码、1-喷码不清、2-0°、3-90°、4-180°、5-270°，识别结果为3-5的类别，将其旋转至0°状态，识别结果为未喷码和喷码不清，进行人为确认补录；
...【技术特征摘要】
1.一种基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，采用3d相机采集点云。
3.如权利要求1所述的基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，所述3d视觉算法包括：
4.如权利要求1所述的基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，所述钢坯图像的状态包括：0-未喷码、1-喷码不清、2-0°、3-90°、4-180°、5-270°，识别结果为3-5的类别，将其旋转至0°状态，识别结果为未喷码和喷码不清，进行人为确认补录。
5.如权利要求1所述的基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，采用yolo目标检测算法对输入的钢坯端部图像进行钢坯号位置检测，得到矩形钢坯号图像，对矩形钢坯号图像进行等距分片、拉直、拼接，得到完整单行钢坯号序列图像。
6.如权利要求5所述的基于3d视觉及多模型串联的钢坯号识别方法，其特征在于，利用矩形钢坯号特点将矩形钢坯号图像沿y方向依据行数量进行等距分片，等距分片后的图像能够完全包住该行的钢坯号且不存在字符截...
【专利技术属性】
技术研发人员：陈兆文，张涌泉，刘江南，马志坚，王宇，战旗，王刚，田媛，孙悦，尹青青，
申请(专利权)人：中冶东方工程技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。