基于偏振成像的深度学习指针仪表读数识别方法技术

本发明专利技术属于仪表数据采集技术领域，涉及基于偏振成像的深度学习指针仪表读数识别方法，通过无人机或者塔基摄像头采集获取指针仪表的若干第一图像；第一图像包括四个角度的偏振图像；对第一图像中的指针仪表进行表盘位置标注，得到第二图像；对标注好的第二图像进行随机数据扩增；使用扩增后的第二图像对

【技术实现步骤摘要】
基于偏振成像的深度学习指针仪表读数识别方法


[0001]本专利技术属于仪表数据采集
，具体涉及一种基于偏振成像的深度学习指针仪表读数识别方法
。

技术介绍

[0002]指针仪表广泛用于变电站系统，例如指针式油位表计
、
油压表计等等
。
传统获取这些指针仪表读取方法为定期或非定期人工检查，然而这种方式不仅耗时耗力效率较低并且准确性较差
。
除此之外，有一些时候由于大量设备在高温
、
高压
、
高海拔地区，工作人员难以进入到相关设备进行读数读取，并且读取后再进行集中统计效率较低无法达到实时性
。
工人每天都要进行大量的抄表工作，这些仪表需要一定的计算，高精度仪表读取比较困难，而且记录数据需要大量工作人员手动完成，这很容易导致员工疲劳，从而造成一些数据读取不正确，一些数据记录不正确，并且当时无法立即发现
。
长远来看可能会造成严重的经济损失
。
因此使用自动化读取仪表读数很有必要
。
[0003]目前主流方法为传统方法，张文杰等提出了一种基于视觉显著性区域检测先验知识来获得指针区域的方法，再通过旋转仪表对比指针投影最大值，获取指针与横轴的夹角；
Kim
等提出了基于形态学的处理方法来进行指针仪表读数
。
传统方法都有一个前提，就是需要先把仪表的位置裁剪出来，再对仪表内指针进行读数，而裁剪的好坏将决定仪表读数的准确性，并且需要对图像进行裁剪预处理难以实现全自动化处理
。
随着人工智能技术的发展，基于深度学习的目标检测方法检测性能在大数据场景中展现出远超过传统方法的性能
。
然而由于环境高温，潮湿会导致指针仪表内有水雾，从而影响自动化读取的准确性，可能会造成严重的经济损失
。
而偏振图像能够很好的对水雾进行去除，目前并没有工作对指针仪表进行研究
。
[0004]由于指针仪表周围的环境大多都是高温潮湿的环境，因此经常会出现仪表中有水雾的情况，现有方法在指针仪表中出现水雾情况下进行读数时会出现读数不准确，甚至无法读数，这就导致自动化系统无法准确记录读数，会带来潜在的经济损失
。

技术实现思路

[0005]为了克服现有技术水雾情况下自动化获取指针仪表读数的缺陷，本专利技术提出了基于偏振成像的深度学习指针仪表读取识别方法，该方法使用两阶段来实现仪表读取，第一阶段采用深度学习的检测方法来获取表盘的位置，并将其裁剪出来作为第二阶段的输入，第二阶段采用基于偏振去水雾的方法对表盘进行预处理然后再进行表盘读数的获取，从而能够实现在有水雾情况下依旧高效的全自动化获取指针仪表读数
。
[0006]本专利技术通过下述技术方案来实现，基于偏振成像的深度学习指针仪表读数识别方法，包括如下步骤：步骤
S1
：通过摄像头采集获取指针仪表的若干第一图像；第一图像包括四个角度的偏振图像，四个角度的偏振图像均为灰度图像；
步骤
S2
：对第一图像中的指针仪表进行表盘位置标注，得到第二图像；步骤
S3
：对标注好的第二图像进行随机数据扩增；步骤
S4
：使用扩增后的第二图像对
RetinaNet
目标检测模型进行训练，得到训练后的
RetinaNet
目标检测模型；
RetinaNet
目标检测模型包括图像拼接模块
、
归一化模块
、RetinaNet
主干网络；步骤
S5
：使用训练好的
RetinaNet
目标检测模型检测实时拍摄的偏振图像中是否包含表盘，并裁剪表盘图像；步骤
S6
：对表盘图像进行去水雾处理；步骤
S7
：表盘指针读数
。
[0007]进一步优选，所述四个角度的偏振图像包括0°
、45
°
、90
°
和
135
°
的偏振图像
。
[0008]进一步优选，第二图像也包括四个角度的偏振图像，图像拼接模块将四个角度的偏振图像直接在通道维度拼接在一起，得到
w*h*4
大小的拼接图像，
w
表示表盘宽度，
h
表示表盘高度；归一化模块将拼接图像归一化，归一化使用的通道均值根据
RetinaNet
主干网络使用的预训练模型选择
。
[0009]进一步优选，
RetinaNet
主干网络包括
ResNet50
网络
、
特征金字塔网络和头网络，将归一化处理后的拼接图像输入
RetinaNet
主干网络中，输入大小为
w*h*4
，然后通过一个
3*3
的卷积进行特征提取与通道整合，输出
w*h*3
大小的特征，然后通过
ResNet50
网络
、
特征金字塔网络和头网络，头网络包括分类分支和回归分支，特征金字塔网络输出多层特征图，分类分支得到预测的各个类别的概率，回归分支得到预测的目标在图像中的位置
。
[0010]进一步优选，步骤
S6
根据偏振暗通道先验去雾技术进行水雾去除，对在0°
, 45
°
, 90
°
与
135
°
下的偏振图像进行去水雾处理，然后计算出线偏振度
DOLP
图
。
[0011]进一步优选，步骤
S6
中，
Stokes 矢量用来表征光偏振态有四个参量：；其中，
S
代表
Stokes 矢量，
S0代表入射光的总光强，是偏振强度信息；
S1、S2、S3分别是光在
45
°
, 90
°
与
135
°
角度方向上的强度之差，
I
表示光强信息，
Q
表示线偏振的方向，
U
表示线偏振的强度，
V
表示圆偏振分量，
I0、I
45
、I
90
、I
135
分别为0°
, 45
°
, 90
°
与
135
°
角度下光的强度， I
right
和
I
left
分别表示右旋圆偏振光与左旋圆偏振光；线偏振度
DOLP
计算方式为：；线偏振度
DOLP
计算后得到线偏振度
DOLP
图
。
[0012]进一步优选，表盘指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，包括如下步骤：步骤
S1
：通过摄像头采集获取指针仪表的若干第一图像；第一图像包括四个角度的偏振图像，四个角度的偏振图像均为灰度图像；步骤
S2
：对第一图像中的指针仪表进行表盘位置标注，得到第二图像；步骤
S3
：对标注好的第二图像进行随机数据扩增；步骤
S4
：使用扩增后的第二图像对
RetinaNet
目标检测模型进行训练，得到训练后的
RetinaNet
目标检测模型；
RetinaNet
目标检测模型包括图像拼接模块
、
归一化模块
、RetinaNet
主干网络；步骤
S5
：使用训练好的
RetinaNet
目标检测模型检测实时拍摄的偏振图像中是否包含表盘，并裁剪表盘图像；步骤
S6
：对表盘图像进行去水雾处理；步骤
S7
：表盘指针读数
。2.
根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，所述四个角度的偏振图像包括0°
、45
°
、90
°
和
135
°
的偏振图像
。3.
根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，第二图像也包括四个角度的偏振图像，图像拼接模块将四个角度的偏振图像直接在通道维度拼接在一起，得到
w*h*4
大小的拼接图像，
w
表示表盘宽度，
h
表示表盘高度；归一化模块将拼接图像归一化，归一化使用的通道均值根据
RetinaNet
主干网络使用的预训练模型选择
。4.
根据权利要求3所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，
RetinaNet
主干网络包括
ResNet50
网络
、
特征金字塔网络和头网络，将归一化处理后的拼接图像输入
RetinaNet
主干网络中，输入大小为
w*h*4
，然后通过一个
3*3
的卷积进行特征提取与通道整合，输出
w*h*3
大小的特征，然后通过
ResNet50
网络
、
特征金字塔网络和头网络，头网络包括分类分支和回归分支，特...

【专利技术属性】
技术研发人员：徐波，支妍力，宋小欣，钟幼平，林谋，刘嘉，赖韵宇，刘家豪，杨鹤，杜欢欢，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：