一种焦罐与提升机吊钩状态检测方法技术

本发明专利技术公开了一种焦罐与提升机吊钩状态检测方法。首先通过对应固定工位摄像机实时采集焦罐与提升机左、右两边吊钩动作视频流数据，对视频流解码取帧并对图像进行ROI选取操作，然后利用pp

【技术实现步骤摘要】
一种焦罐与提升机吊钩状态检测方法


[0001]本专利技术属于机器视觉和工业自动检测领域，涉及一种基于机器视觉的焦罐与提升机吊钩状态的检测方法。

技术介绍

[0002]目前，干熄焦是全自动运行系统，在该系统中，焦罐从焦炉装载完红焦后被焦罐运载车运送至干熄焦提升塔下方，在APS夹紧装置的作用下，焦罐运载车会进行对位操作使焦罐吊耳对准提升机吊钩，完成此操作后，提升机吊钩会进行合勾动作以扣住焦罐吊耳并将焦罐从焦罐运输车上起吊至提升塔上方。
[0003]上述工艺操作中，焦罐运输车对位以及提升机吊钩合勾两个操作未能有效闭环，在提升机吊钩合钩动作指令发出后，无法确认吊钩是否已经准确挂住焦罐吊耳。现场实际生产过程中，需要操作人员通过视频监控画面对焦罐与提升机吊钩状态进行监测，可能存在因现场操作人员疏忽而未观测到提升机吊钩挂偏、未完全闭合等情况，造成生产事故。

技术实现思路

[0004]本专利技术旨在提供一种焦罐与提升机吊钩状态检测方法，利用深度学习技术，能准确、快速的判断焦罐提升工艺中焦罐与提升机吊钩状态，减少操作人员劳动强度，提高生产安全性及生产效率。
[0005]本专利技术实现上述目的的解决技术方案：一种焦罐与提升机吊钩状态检测方法，包括以下步骤：通过对应固定工位摄像机实时采集焦罐与提升机左、右两边吊钩动作视频流数据，对视频流解码取帧并对图像进行ROI选取操作；利用pp
‑
yoloe深度网络提取ROI图像中挂钩不同状态深度特征信息，离线训练模型继而对挂钩状态进行实时分类预测，结合实时输出的左、右吊钩分类信息给出当前提升机吊钩与焦罐状态信息；将实时状态信息传输给提升机控制PLC，提升机控制PLC通过状态信息传入时间及先验经验确认当前焦罐与提升机吊钩是否挂好。
[0006]进一步的，步骤1）中，对实时视频流解码取帧并对图像进行ROI区域选取操作，所得为焦罐与提升机吊钩区域ROI图像，剔除原视频帧中无关背景图像特征信息。
[0007]进一步的，步骤2）中，采用轻量化pp
‑
yoloe网络训练焦罐与提升机吊钩状态检测模型，并基于c++平台部署，利用焦罐与提升机吊钩左右两侧两个独立检测模型并发在线预测。
[0008]进一步的，步骤2）中，利用pp
‑
yoloe深度网络提取ROI区域图像中挂钩不同状态深度特征信息离线训练模型包括：（1）通过实时视频得到焦罐与提升机吊钩ROI区域图像；（2）利用labelme对收集的焦罐与提升机吊钩ROI图像进行目标的标注，构建得到
包含多类别的焦罐与提升机吊钩样本集；（3）构建pp
‑
yoloe焦罐与提升机吊钩状态检测模型；将所述导入所述pp
‑
yoloe焦罐与提升机吊钩检测模型中进行训练，直至模型收敛，将训练好的网络结构和参数设置到ppyoloe目标检测网络中得到训练好的pp
‑
yoloe吊钩检测模型。
[0009]进一步的，步骤2）中，焦罐与提升机吊钩左、右两边分别训练检测模型，每个检测样本集类别一共为两类，分别为“OK”、“NG”，对应“挂好”、“未挂好”两种吊钩状态。
[0010]进一步的，步骤2）中，结合实时输出的左、右吊钩分类信息给出当前提升机吊钩与焦罐状态信息，按照同时序下，左、右焦罐与提升机吊钩状态皆为闭合则给出焦罐整体“挂好”，否则判为“未挂好”。
[0011]进一步的，步骤3）中，通过现场先验经验，可以得到提升机吊钩每次从开始动作到挂好的机械时间范围；每次提升机左、右吊钩对焦罐吊耳进行抓紧动作时，将检测的提升机吊钩与焦罐实时状态信息传输给提升机控制PLC，提升机控制PLC可通过机械时间范围内是否接收到“挂好”信号来确定当前焦罐与提升机吊钩是否已挂好。
[0012]与已有技术相比较，本专利技术的有益效果：通过ROI区域选取操作，剔除了原视频帧中无关背景图像特征信息，降低图像目标特征提取难度；采用轻量化的pp
‑
yoloe神经网络，网络结构优化，参数减少，在不降低原有网络性能的基础上加快推理速度，并通过c++平台部署，左右两侧两个独立检测模型并发在线预测，检测速度达到毫秒级，在线判断焦罐与提升机吊钩抓紧过程中的状态，实时反馈结果信息；结合现场先验经验获取提升机吊钩每次从开始动作到挂好的机械时间范围，将检测结果与机械时间范围对应，确认焦罐与吊钩是否已挂好，确保准确；硬件结构简单，故障点少，易于实施及维护，稳定性好。
附图说明
[0013]图1为本专利技术实施例提供的焦罐与提升机吊钩状态检测方法原理图。
[0014]图2为本专利技术实施例提供的pp
‑
yoloe检测模型离线训练流程图。
具体实施方式
[0015]下面结合附图和实施方式对本专利技术作进一步说明。
[0016]图1所示：一种焦罐与提升机吊钩状态检测方法，包括以下步骤：通过对应固定工位摄像机实时采集焦罐与提升机左、右两边吊钩动作视频流数据，对视频流解码取帧并对图像进行ROI选取操作；利用pp
‑
yoloe深度网络提取ROI图像中挂钩不同状态深度特征信息，离线训练模型继而对挂钩状态进行实时分类预测，结合实时输出的左、右吊钩分类信息给出当前提升机吊钩与焦罐状态信息；将实时状态信息传输给提升机控制PLC，提升机控制PLC通过状态信息传入时间及先验经验确认当前焦罐与提升机吊钩是否挂好。
[0017]所述对应工位摄像机分别安装在提升机左、右两侧固定合适位置，确保可以清晰完整拍摄到提升机吊钩左、右两侧吊钩抓紧焦罐吊耳过程动作。
[0018]所述视频解码取帧及焦罐与提升机吊耳ROI选取过程中，监控摄像机解码可得到25帧/s，每2帧提取1张图像，并对图像进行ROI选取操作。所选ROI区域图像边缘限制在：提
升机吊钩左、右两侧吊钩与焦罐吊耳挂起全过程动作可看到完整焦罐吊耳，为避免震动或是焦罐运输车偏差导致无法看到完整焦罐吊耳，应适当扩大ROI区域。
[0019]图2所示：pp
‑
yoloe检测模型离线训练流程图，包含以下步骤：1）图像采集：分别离线收集经图像处理后的提升机左、右两侧吊钩与对应焦罐吊耳挂起过程动作ROI区域图像。包含不同时段、不同天气等造成图像特征情况变化情况下的图像。
[0020]2）样本集制作：利用labelme软件对采集到的提升机左、右两侧吊钩与对应焦罐吊耳挂起过程动作ROI区域图像进行区域及分类目标的标注,分别建立不同状态下提升机吊钩左、右两侧吊钩与对应焦罐吊耳样本集。每个检测样本集类别一共为两类，分别为“OK”、“NG”，对应“已挂好”、“未挂好”两种吊钩状态；背景（图像中未出现吊钩，既该样本没有“OK”、“NG”目标框）不做标注，亦放入数据集进行训练。
[0021]3）搭建pp
‑
yoloe目标检测模型。
[0022]4）模型训练：将标注好的提升机左、右两侧吊钩与对应焦罐吊耳挂起过程动作ROI区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种焦罐与提升机吊钩状态检测方法，包括以下步骤：通过对应固定工位摄像机实时采集焦罐与提升机左、右两边吊钩动作视频流数据，对视频流解码取帧并对图像进行ROI选取操作；利用pp
‑
yoloe深度网络提取ROI图像中挂钩不同状态深度特征信息，离线训练模型继而对挂钩状态进行实时分类预测，结合实时输出的左、右吊钩分类信息给出当前提升机吊钩与焦罐状态信息；将实时状态信息传输给提升机控制PLC，提升机控制PLC通过状态信息传入时间及先验经验确认当前焦罐与提升机吊钩是否挂好。2.根据权利要求1所述的一种焦罐与提升机吊钩状态检测方法，其特征在于：步骤1）中，对实时视频流解码取帧并对图像进行ROI选取操作，所得为焦罐与提升机吊钩区域ROI图像，剔除原视频帧中无关背景图像特征信息。3.根据权利要求1所述的一种焦罐与提升机吊钩状态检测方法，其特征在于：步骤2）中，采用轻量化pp
‑
yoloe网络训练焦罐与提升机吊钩状态检测模型，并基于c++平台部署，利用焦罐与提升机吊钩左右两侧两个独立检测模型并发在线预测。4.根据权利要求1所述的一种焦罐与提升机吊钩状态检测方法，其特征在于：步骤2）中，利用pp
‑
yoloe深度网络提取ROI区域图像中挂钩不同状态深度特征信息，所述的离线训练模型，包括：（1）通过实时视频得到焦罐与提升机吊钩ROI区域图像；（2）利用labelme对收集...

【专利技术属性】
技术研发人员：张家财，杨炼金，汪烁枫，乐蒙蒙，唐兵，肖彬，
申请(专利权)人：湖南瑞菱科技有限公司，
类型：发明
国别省市：