本发明专利技术公开一种基于深度学习的指针式仪表识别和异常警报方法,属于计算机视觉研究领域。本发明专利技术以流程工业生产为背景,通过改进后的YOLOv5s目标检测模型框出流程工业生产中指针式仪表图像的仪表所在位置;利用仿射变换和透视变换校正图像倾斜、旋转;利用ESPNetv2语义分割模型从图像中分割出刻度盘和指针关键信息;利用Hough变换拟合指针所在直线,同时利用轮廓跟踪,找到最小、最大刻度值和有效范围,依据线性比例关系计算出仪表读数;当指针式仪表读数超出预定范围或与数显数据不一致时,发出异常警报。本发明专利技术是基于典型流程工业监控指针式仪表异常所提出的解决方案,检测效率高,设备成本低,读数准确、迅速,具有十分广泛的应用价值。用价值。用价值。
【技术实现步骤摘要】
一种基于深度学习的指针式仪表识别和异常警报方法
[0001]本专利技术涉及一种基于深度学习的指针式仪表识别和异常警报方法,属于计算机视觉
技术介绍
[0002]面向有色金属行业的典型流程工业中,制酸工序和冶金工序装置运行环境具有超高温、高真空的特点。在生产过程中,各种传感器数据都需要测量,比如压力、温度和液位等。由于指针式仪表具有成本低、抗干扰能力强以及方便部署等特性,因此成为大部分流程工业生产中测量数据的首选。而在一些制酸工序和冶金工序等恶劣环境中,大部分是通过安装摄像头来观测指针式仪表数据,因此需要安排人员时刻关注视频当中仪表的变化,以防突发状况的发生。显然这样会增加人力成本,因此指针式仪表识别技术非常具有应用价值。
[0003]现有技术CN111160337A公开了一种对获取的包含表盘的目标区域的图像进行预处理;从经过预处理的目标区域的图像中提取表盘图像;从所述表盘图像中确定指针位置、最小刻度线位置和最大刻度线位置;根据所述指针位置、最小刻度线位置和最大刻度线位置计算指针式仪表的读数。
[0004]现有的大多数指针式仪表识别方法都是基于图像处理的方法,主要是针对所得到的指针式仪表图像进行预处理,一般通过去除噪音、增加对比度等操作来实现。通过图像处理技术检测指针在仪表盘上的位置,例如通过边缘检测、霍夫变换等方法检测仪表盘和指针的位置。然而基于图像处理方法的检测准确度受到背景复杂性的影响,尤其是流程工业中大部分仪表都是在室外环境中拍摄的,因此摄像头的安装角度、位置、光线强度以及与指针式仪表水平角度都将会直接影响检测的准确度。因此这类方法的实用范围狭窄,受设备安装环境影响较大,且大部分指针式仪表识别方法都没有与具体的实用场景相结合。
技术实现思路
[0005]本专利技术提供了一种基于深度学习的指针式仪表识别和异常警报方法,用于监控流程工业当中关键指针式仪表数据异常等状况,从而降低人力资源成本,同时提升生产过程的安全系数。
[0006]本专利技术的技术方案是:一种基于深度学习的指针式仪表识别和异常警报方法,具体步骤如下:
[0007]S101:依据流程工业生产当中的指针式仪表图像数据,构建相应指针式仪表图像数据集,并将其输入到改进后的YOLOv5s目标检测模型当中训练;
[0008]S102:依据流程工业生产当中的指针式仪表刻度盘和指针数据,构建相应指针式仪表刻度盘和指针数据集,并将其输入到ESPNetv2语义分割模型当中训练,以分割指针式仪表盘的刻度盘和指针区域;
[0009]S103:利用S101中训练好改进后的YOLOv5s目标检测模型对待识别的指针式仪表
图像进行特征提取,检测出指针式仪表所在位置,框出仅含有指针式仪表的图像;
[0010]S104:指针式仪表图像校正:利用仿射变换对仅含有指针式仪表的图像进行旋转校正,旋转校正完成后,通过透视变换,对其进行倾斜校正;
[0011]S105:利用S102中训练好的ESPNetv2语义分割模型,分割出指针式仪表刻度盘、指针区域;
[0012]S106:利用Hough变换拟合指针所在直线,将指针式仪表刻度盘、指针中的几何图形转化为参数集合,统计出刻度标记中心的位置,即表盘旋转中心的位置,应用轮廓跟踪,找到最小刻度点,最大刻度点和有效值范围,按线性比例关系算出指针式仪表读数;
[0013]S107:基于S106所获得的指针式仪表读数结果与相应流程工业中传感器的数显数据进行比较,若两者之间有偏差或超出了预定设置的参数范围,则发出警报提示指针式仪表异常存在安全隐患。
[0014]进一步地,S101中,所述改进后的YOLOv5s目标检测模型:
[0015]YOLOv5s作为目标检测网络是YOLOv5系列中深度最小,特征图的宽度最小的网络。拥有检测速度快、检测精度高、模型轻量的优点,所以选择在YOLOv5s模型上针对指针式仪表识别的特点来改进模型,加强检测效果。
[0016]Wise
‑
IoU是一种改进的IoU损失函数,旨在更好地训练目标检测模型,特别是在存在小目标和类别不平衡情况下。传统的IoU损失函数只关注目标和预测框之间的重叠部分,而Wise
‑
IoU考虑了目标和预测框之间的全部区域,通过引入一个权重系数来平衡不同的区域。将Wise_IoU添加到YOLOv5s目标检测模型当中,以提高目标检测的性能。
[0017]Wise_IoU损失函数公式如下:
[0018][0019]Loss
Wise_
=R
Wise_
Loss
IoU
(2)
[0020]其中,x、y表示锚框的中心坐标,x
gt
、y
gt
表示目标框的中心坐标,W
g
、H
g
是最小的封闭框的宽和高,*表示将W
g
、H
g
从计算图中分离出来,R
Wise_
表示放大普通质量锚框的参数,Loss
IoU
表示IoU的损失函数,Loss
Wise_
表示改进后的的损失函数。
[0021]修改后的目标检测损失函数如下:
[0022][0023]其中,S表示特征图的大小,B表示每个网格预测的边界框数,为置信度权重,为第i个网格的第j个边界框,为真实边界框,为该网格中未被选中的边界框,pos表示正样本集合。
[0024]进一步地,S104中,所述指针式仪表图像校正:
[0025]指针式仪表旋转校正:通过检测获得与中心对称线对称的关于初始尺度和最大尺度的一对关键点的位置信息后,将两点连接起来计算两点连接线与水平方向的夹角,在获得旋转角度后,选择图像中心点作为旋转中心,对仪器进行旋转校正。仿射变换的原理是将图像从二维平面线性变换到新的二维平面,其图形之间的相对位置关系不发生变化,其仿射变换公式如下:
[0026][0027]其中θ为所需旋转角度,x
ori
和y
ori
为目标检测得到的关键点对应的横坐标和纵坐标,x
1st
和t
1st
为旋转后所得到的关键点对应的横坐标和纵坐标。
[0028]指针式仪表倾斜校正:使用透视变换来校正仪器的倾斜。与仿射变换相比,透视变换可以将椭圆表盘变换为圆形表盘。透视变换的原理是将二维图像投影到三维平面上,再将其变换成新的二维平面。在转换过程中,需要提前获取转换前四个关键点的位置信息和转换后四个关键点的位置信息。通过旋转修正得到变换前四个关键点的位置信息;变换后的四个关键点的位置信息是通过提前采集仪器的标准照片,得到四个关键点对应的水平坐标和垂直坐标点的标准照片,从而获得四个关键点的位置信息,其透视变化公式如下:
[0029][0030][0031][0032][0033]其中T
m
为变换矩阵,m为变换矩阵中本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的指针式仪表识别和异常警报方法,其特征在于:具体步骤如下:S101:依据流程工业生产当中的指针式仪表图像数据,构建相应指针式仪表图像数据集,并将其输入到改进后的YOLOv5s目标检测模型当中训练;S102:依据流程工业生产当中的指针式仪表刻度盘和指针数据,构建相应指针式仪表刻度盘和指针数据集,并将其输入到ESPNetv2语义分割模型当中训练,以分割指针式仪表盘的刻度盘和指针区域;S103:利用S101中训练好改进后的YOLOv5s目标检测模型对待识别的指针式仪表图像进行特征提取,检测出指针式仪表所在位置,框出仅含有指针式仪表的图像;S104:指针式仪表图像校正:利用仿射变换对仅含有指针式仪表的图像进行旋转校正,旋转校正完成后,通过透视变换,对其进行倾斜校正;S105:利用S102中训练好的ESPNetv2语义分割模型,分割出指针式仪表刻度盘区域、指针区域;S106:利用Hough变换拟合指针所在直线,将指针式仪表刻度盘、指针中的几何图形转化为参数集合,统计出刻度标记中心的位置,即表盘旋转中心的位置,应用轮廓跟踪,找到最小刻度点,最大刻度点和有效值范围,按线性比例关系算出指针式仪表读数;S107:基于S106所获得的指针式仪表读数结果与相应流程工业中传感器的数显数据进行比较,若两者之间有偏差或超出了预定设置的参数范围,则发出警报提示指针式仪表异常存在安全隐患。2.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法,其特征在于:S101中,所述改进后的YOLOv5s目标检测模型为:将Wise_IoU添加到YOLOv5s目标检测模型当中:Wise_IoU损失函数公式如下:Loss
Wise_IoU
=R
Wise_Iou
Loss
IoU
(2)其中,x、y表示锚框的中心坐标,x
gt
、y
gt
表示目标框的中心坐标,W
g
、H
g
是最小的封闭框的宽和高,*表示将W
g
、H
g
从计算图中分离出来,R
Wise_IoU
表示放大普通质量锚框的参数,Loss
Iou
表示IoU的损失函数,Loss
Wise_IoU
表示改进后的的损失函数;修改后的目标检测损失函数如下:其中,S表示特征图的大小,B表示每个网格预测的边界框数,为置信度权重,为第i个网格的第j个边界框,为真实边界框,为该网格中未被选中的边界框,pos表示正样本集合。3.根据权利要求1所述的一种基于深度学习的指针式仪表识别和异常警报方法,其特征在于:S104中,所述指针式仪表图像校正:指针式仪表图像旋转校正:通过检测获得与中心对称线对称的关于初始尺度和最大尺度的一对关键点的位置信息后,将两点连接起来计算两点连接线与水平方向的夹角,在获
得旋转角度后,选择图像中心点作为旋转中心,对仪器进行旋转校正,仿射变换公式如下:其中θ为所需旋转角度,x
ori
和y
ori
为目标检测得到的关键点对应的横坐标和纵坐标,x
...
【专利技术属性】
技术研发人员:冯勇,沈世贤,李英娜,张晶,
申请(专利权)人:昆明理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。