一种基于深度学习的仪表角度校正与示数识别方法技术

本发明专利技术涉及一种基于深度学习的仪表角度校正与示数识别方法，包括：步骤1，构建神经网络对仪表盘图像角度检测与校正；步骤2，采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；步骤3，对卷积神经网络模型输出的图像经过均值偏移滤波后使用基于非线性双边滤波的Canny边缘检测算法二值化，再应用Hough圆检测定位表盘，获得仪表的圆心位置和半径；步骤4，使用CTPN+CRNN网络文字检测识别模型处理定位到仪表的图像，获得仪表开始刻度和最大量程的数值与位置；步骤5，使用基于区域选择的Hough直线检测算法提取仪表盘中的指针，最后根据刻度、量程和指针用角度法计算仪表读数。量程和指针用角度法计算仪表读数。量程和指针用角度法计算仪表读数。

【技术实现步骤摘要】
一种基于深度学习的仪表角度校正与示数识别方法


[0001]本专利技术涉及图像识别
，特别涉及一种基于深度学习的仪表角度校正与示数识别方法。

技术介绍

[0002]指针式仪表在有强磁干扰的变电站等环境中发挥着重要作用，但由于指针式仪表人工读数复杂，容易出现误差，并且通常工作在强电压，强辐射的危险场景中，所以并不适合人工读取示数。因此，研究指针式仪表的智能检测与识别具有重要意义。
[0003]然而在现有技术中，基于深度学习的仪表盘目标检测多是基于传统图像处理技术对仪表指针进行定位，如模板匹配法或减影法，而后再进行角度与示数的换算，这些方法存在识别过程复杂，智能读取普适性低、实时性差等问题。但是对于常规角度的仪表读数具有较好的识别能力，而对于存在不规则角度的仪表则难以准确进行识别。

技术实现思路

[0004]本专利技术提供一种基于深度学习的仪表角度校正与示数识别方法，所述基于深度学习的仪表角度校正与示数识别方法包括以下步骤：
[0005]步骤1，构建神经网络对仪表盘图像角度检测与校正；
[0006]步骤2，采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；
[0007]步骤3，对卷积神经网络模型输出的图像经过均值偏移滤波后使用基于非线性双边滤波的Canny边缘检测算法二值化，再应用Hough圆检测定位表盘，获得仪表的圆心位置和半径；
[0008]步骤4，使用CTPN+CRNN网络文字检测识别模型处理定位到仪表的图像，获得仪表开始刻度和最大量程的数值与位置；
[0009]步骤5，使用基于区域选择的Hough直线检测算法提取仪表盘中的指针，最后根据刻度、量程和指针用角度法计算仪表读数。
[0010]更近一步地，在步骤1还包括以下步骤：
[0011]步骤11，采集仪表盘图像信息，对数据进行清洗和标注；
[0012]步骤12，搭建多尺度卷积神经网络模型，利用仪表盘图像信息对网络模型进行训练；
[0013]步骤13，加载已训练的模型参数，对仪表盘图像进行角度校正，将检测后的图像花纹角度校正到统一朝向；
[0014]在步骤12中，所述多尺度卷积神经网络包括特征提取模块和多尺度决策融合模块；
[0015]所述特征提取模块包括小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络，分别输出小尺度特征向量、中尺度特征向量、大尺度特征向量和全尺度特征向量；
[0016]所述多尺度决策融合模块将四个不同尺度的特征向量生成系数矩阵，并通过系数矩阵与小尺度特征向量、中尺度特征向量和大尺度特征向量进行融合生成输出向量。
[0017]更近一步地，在步骤12还包括以下步骤：
[0018]步骤121，位移场多尺度卷积神经网络特征提取；
[0019]步骤122，位移场多尺度卷积神经网络决策级融合；
[0020]步骤123，计算位移场多尺度卷积神经网络损失函数；
[0021]所述小尺度CNN网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；
[0022]所述中尺度CNN网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；
[0023]所述大尺度CNN网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；
[0024]所述全尺度CNN网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷积模块和第七全尺度卷积模块；
[0025]各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和Relu函数单元。
[0026]更近一步地，在步骤122中，四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6
×
1的向量。这个向量被改变形状，然后通过一个SoftMax层，生成一个3
×
2的系数矩阵
[0027]在该系数矩阵中，满足以下等式：
[0028][0029]其中，c
j
和d
j
表示各尺度系数矩阵的元素，并且都在[0,1]的范围内；最后，可以得到输入子集图像对应的位移向量为：
[0030][0031]其中，u1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标，u3为大尺度特征向量的横坐标，v3为大尺度特征向量的纵坐标。
[0032]更近一步地，在步骤123中，所述损失函数包括：
[0033]采用Ciou损失函数对任意方向检测框的最小外接矩形进行优化：
[0034][0035][0036][0037]其中，IOU表示预测框与标注框的交并比，b表示预测检测框的中心点，b
gt
表示标注框的中心点，ρ2表示预测框和标注框两个中心点距离的平方，α和υ为长宽比，w、h和w
gt
、h
gt
分别代表预测框的高宽和真实框的高宽；
[0038]置信度损失：
[0039][0040]类别损失：
[0041][0042]方向向量损失：
[0043][0044][0045][0046][0047]其中，为正样本系数，特征图中存在正样本处为1，其余为0，和分别表示检测框头部横坐标和其标签值，和分别表示检测框方向向量头部纵坐标和其标签值，和分别表示检测框方向向量尾部横坐标值和其标签值，和分别表示检测框方向向量尾部纵坐标值和其标签值。
[0048]更近一步地，步骤S3中所述Canny边缘检测算法具体包括：
[0049]同时考虑值域和空间域对图像进行非线性双边滤波，很好的保留边缘信息，滤波后的图像经过Sober算子方向模板在3
×
3邻域内计算梯度幅值，再对边缘信息进行非极大值抑制达到边缘细化效果；
[0050]根据图像的灰度分布分割出前景部分和背景部分，将灰度类间方差最大化，找到使方差最大的的阈值并定义为高阈值，将k倍的高阈值定义为低阈值，根据高低阈值进行边缘连接，其中k∈[0.5,0.8]。
[0051]更近一步地，在步骤2中，所述YOLOv5算法中MobileNetV3网络包括五个卷积层，输入的图像经过MobileNetV3网络卷积后输出相应的特征图，再经过FPN网络和PAN网络进行学习，最终送入Prediction Head模块预测出预测类别的置信度、预测边界框的坐标，然后通过非极大值抑制算法去除重复检测框，设定好阈值后最终显示出仪表的类别、类别置信度以及边本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的仪表角度校正与示数识别方法，其特征在于，所述基于深度学习的仪表角度校正与示数识别方法包括以下步骤：步骤1，构建神经网络对仪表盘图像角度检测与校正；步骤2，采集多场景多种类的指针式仪表图像构建训练集，并使用训练集对卷积神经网络模型进行深度训练；步骤3，对卷积神经网络模型输出的图像经过均值偏移滤波后使用基于非线性双边滤波的Canny边缘检测算法二值化，再应用Hough圆检测定位表盘，获得仪表的圆心位置和半径；步骤4，使用CTPN+CRNN网络文字检测识别模型处理定位到仪表的图像，获得仪表开始刻度和最大量程的数值与位置；步骤5，使用基于区域选择的Hough直线检测算法提取仪表盘中的指针，最后根据刻度、量程和指针用角度法计算仪表读数。2.根据权利要求1所述基于深度学习的仪表角度校正与示数识别方法，其特征在于，在步骤1还包括以下步骤：步骤11，采集仪表盘图像信息，对数据进行清洗和标注；步骤12，搭建多尺度卷积神经网络模型，利用仪表盘图像信息对网络模型进行训练；步骤13，加载已训练的模型参数，对仪表盘图像进行角度校正，将检测后的图像花纹角度校正到统一朝向；在步骤12中，所述多尺度卷积神经网络包括特征提取模块和多尺度决策融合模块；所述特征提取模块包括小尺度CNN网络、中尺度CNN网络、大尺度CNN网络和全尺度CNN网络，分别输出小尺度特征向量、中尺度特征向量、大尺度特征向量和全尺度特征向量；所述多尺度决策融合模块将四个不同尺度的特征向量生成系数矩阵，并通过系数矩阵与小尺度特征向量、中尺度特征向量和大尺度特征向量进行融合生成输出向量。3.根据权利要求2所述基于深度学习的仪表角度校正与示数识别方法，其特征在于，在步骤12还包括以下步骤：步骤121，位移场多尺度卷积神经网络特征提取；步骤122，位移场多尺度卷积神经网络决策级融合；步骤123，计算位移场多尺度卷积神经网络损失函数；所述小尺度CNN网络包括依次连接的第一小尺度卷积模块、平均池化层、第二小尺度卷积模块、第三小尺度卷积模块、第四小尺度卷积模块、第五小尺度卷积模块和第六小尺度卷积模块；所述中尺度CNN网络包括依次连接的第一中尺度卷积模块、平均池化层、第二中尺度卷积模块、第三中尺度卷积模块、第四中尺度卷积模块、第五中尺度卷积模块和第六中尺度卷积模块；所述大尺度CNN网络包括依次连接的第一大尺度卷积模块、平均池化层、第二大尺度卷积模块、第三大尺度卷积模块、第四大尺度卷积模块、第五大尺度卷积模块、第六大尺度卷积模块和第七大尺度卷积模块；所述全尺度CNN网络包括依次连接的第一全尺度卷积模块、平均池化层、第二全尺度卷积模块、第三全尺度卷积模块、第四全尺度卷积模块、第五全尺度卷积模块、第六全尺度卷
积模块和第七全尺度卷积模块；各卷积模块均包括依次连接的数量和尺寸不同的卷积核、归一化单元和Relu函数单元。4.根据权利要求3所述基于深度学习的仪表角度校正与示数识别方法，其特征在于，在步骤122中，四个不同尺度的输出数据叠加在一起，然后进入全连接层，生成一个6
×
1的向量，这个向量被改变形状，然后通过一个SoftMax层，生成一个3
×
2的系数矩阵在该系数矩阵中，满足以下等式：其中，c
j
和d
j
表示各尺度系数矩阵的元素，并且都在[0,1]的范围内；最后，可以得到输入子集图像对应的位移向量为：其中，i1为小尺度特征向量的横坐标，v1为小尺度特征向量的纵坐标，u2为中尺度特征向量的横坐标，v2为中尺度特征向量的纵坐标...

【专利技术属性】
技术研发人员：陈运蓬，赵飞，赵锐，马江海，尚文，夏彦，彭柳，
申请(专利权)人：国网山西省电力公司大同供电公司，
类型：发明
国别省市：