本发明专利技术提供了一种数字电气表计的识别方法、装置及设备，涉及机器视觉和人工智能领域。识别装置包括图像获取单元、数字显示区域检测单元、数字识别单元。图像获取单元用于获取待检测图像；数字显示区域检测单元用于对待检测图像进行显示区域的检测操作，并输出至数字识别单元；数字识别单元用于接收来自所述数字显示区域检测单元的显示区域图像，并执行数字识别操作。对比较常见的表计能实现90％以上的准确率。改进的YOLOV5检测模型能同时实现多个功能，剪枝后的模型推理速度能得到30％以上的加速，同时缩减了数字表计识别流程。另外本申请针对带有数字背景的LED表计读数进行了优化，采用双识别融合的方式进行输出，减少了错误输出。出。出。
【技术实现步骤摘要】
一种数字电气表计的识别方法、装置及设备
[0001]本专利技术涉及机器视觉和人工智能领域，尤其涉及一种数字电气表计的识别方法、装置及设备。
技术介绍
[0002]随着国家电网的不断建设以及城市轨道交通的发展，变电站、配电站的数量越来越多，供电部门的维护压力越来越大。传统的人工电力巡检方式不仅效率低下，而且检查质量得不到保障。随着国家大力发展智能电网，智能巡检系统代替人工完成了部分自动化巡检工作。现有的数字显示表计的自动化识别主要分为传统图像识别方法和基于深度学习的模型的算法。传统图像识别方法先对图像进行灰度化，然后边缘检测、二值化后提取数字轮廓，通过倾斜校正后确定最终的字符区域，对比模板进行识别；这类方法受背景、光线条件等因素的影响较大，检查与读数的整体准确率依然很低。基于深度学习模型的算法一般包括区域检测和文本识别两个步骤，其中文本识别采用通用的CRNN+CTC方法，虽然场景多，但是识别准确率低，实用性较差。
[0003]现有基于目标检测的数字表计读数算法虽然在一定程度上解决了缺乏稳定性、准确性的问题，但由于仅仅依靠目标检测算法，当摄像头有倾斜时，准确率就会受到影响，针对有背景的LED数字识别率大大下降，且只能识别单一类型的数字，泛化能力差。针对多种数字的表计读数算法虽然已有研究，但该方法仅过程繁琐，且针对摄像头倾斜没有提及。
技术实现思路
[0004]专利技术目的：提出一种数字电气表计的识别方法、装置及设备，以解决现有技术存在的上述问题。
[0005]技术方案：第一方面，提出一种数字电气表计的识别方法，步骤如下：
[0006]获取需要读数的数字电气表计初始图像；
[0007]对获取的所述初始图像进行预处理操作；所述预处理操作至少包括图像缩放操作和图像归一化操作，得到预处理图像；
[0008]针对所述预处理图像，识别显示区域，并输出为包围所述显示区域的矩形预测框，此为第一显示区域图像；
[0009]针对所述第一显示区域图像，利用改进YOLOv5模型检测表盘并回归出关键点；
[0010]利用所述关键点对显示字体进行水平校正；
[0011]判断表计的类型，包括LED表计和非LED表计(转轮型、液晶屏型等)；
[0012]A、若判断当前表计为LED表计，则对LED表计的所述第一显示区域图像做动态阈值二值化处理，生成第一显示区域图像的二值化mask模板；
[0013]将所述二值化mask模板与所述第一显示区域图像融合，形成第二显示区域图像；
[0014]利用SVTR_LCNet轻量化文本识别网络对所述第一显示区和第二显示区域图像进行OCR识别，将两个识别结果择优输出；
[0015]B、若判断当前表计为非LED表计，将显示区域输入到SVTR_LCNet轻量化文本识别网络，输出置信度高于预定值的结果，流程结束。
[0016]在第一方面进一步的实施例中，YOLOv5是YOLO系列中检测速度较快，轻量化程度较高的模型，但在本项目中考虑到速度及多任务的影响，在原始YOLOv5模型的基础上做了进一步改进。
[0017]在YOLOv5 V6.1基础上，将Focus层，替换成3层3x3 kernel卷积模块，从而便于模型在CPU上的部署。主干网路采用MobileNet
‑
v3。MobileNet
‑
v3采用了深度可分离卷积、具有线性瓶颈的倒残差结构和squeeze and excitation注意力结构的轻量级注意力模型，使用计算量小、性能良好的激活函数Hard
‑
Swish。为了实现多种功能，参照RetinaFace的思想，添加了回归关键点分支，用于回归数字显示区域的关键点，改进后的模型实现了检测框、数字表计类别、关键点同时输出的目的。为了能够得到更快的速度，对模型进行了剪枝，在保证模型精度的情况下，剪枝率达50％，多种优化思想使得模型在模型尺寸、检测速度与检测精度各方面取得平衡。轻量化改进，使得模型在CPU上的检测精度无明显变化，推理速度得到较大程度的提升。
[0018]在第一方面进一步的实施例中，获取的所述初始图像至少应同时具备如下特征：
[0019]图像分辨率大于预定值；
[0020]表计角度偏离值在预定区间内；
[0021]所述初始图像包括各种格式的图片或视频。
[0022]在第一方面进一步的实施例中，所述图像缩放操作包括：
[0023]保持初始图像的宽高比例，根据模型输入尺寸计算宽高的缩放比例，分别调整图像的长宽尺寸到32的倍数。
[0024]在第一方面进一步的实施例中，数字电气表计的识别方法还包括：
[0025]缩放所述初始图像的长边L至32的倍数，记录缩放后长边为L
S
，并记录缩放比例为S；
[0026]依据所述缩放比例S，等比例缩放所述初始图像的宽边W；
[0027]若所述宽边W依据缩放比例S缩放后W
S
也为32的倍数，则图像缩放完成，此时图像尺寸为L
S
×
W
S
，转入步骤S3；
[0028]若所述宽边依据缩放比例S缩放后W
S
不为32的倍数，则搜索大于W
S
且距离最近的32的整数倍W
S
′
；此时图像尺寸为L
S
×
W
S
′
；转入步骤S3。
[0029]在第一方面进一步的实施例中，利用所述关键点对显示字体进行水平校正的过程包括：
[0030]通过所述第一显示区域的四个角点信息计算透射矩阵，利用透射变换将显示区域矫正成同一平面上的矩形图像；
[0031]所述投射变换的公式如下：
[0032][0033]式中，u，v是原始图片左边，对应得到变换后图片坐标x，y；其中x＝x
′
/w
′
,y＝y
′
/w
′
；
[0034]变换矩阵拆成4部分，其中表示线性变换；[a
31
a
32
]用于平移；[a
13
a
23
]产生透射变换；
[0035]得到：
[0036][0037][0038]在第一方面进一步的实施例中，所述动态阈值二值化处理的过程包括：
[0039]将第一显示区域转化为灰度图像；
[0040]对灰度图像进行高斯滤波；
[0041]统计灰度图像的灰度直方图；
[0042]对灰度直方图进行平滑处理；
[0043]从后向前计算直方图梯度变化，求出第一次和第三次变化时灰度值；
[0044]计算动态阈值，即两个灰度值的平均值。
[0045]在第一方面进一步的实施例中，所述二值化mask模板与所述第一显示区域图像融合的过程包括：
[0046]根据计算得到的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字电气表计的识别方法，其特征在于，包括如下步骤：获取需要读数的数字电气表计初始图像；对获取的所述初始图像进行预处理操作；所述预处理操作至少包括图像缩放操作和图像归一化操作，得到预处理图像；针对所述预处理图像，识别显示区域，并输出为包围所述显示区域的矩形预测框，此为第一显示区域图像；针对所述第一显示区域图像，检测表盘并回归出关键点；利用所述关键点对显示字体进行水平校正；判断表计的类型，标记类型包括LED表计和非LED表计；A、若判断当前表计为LED表计，则对LED表计的所述第一显示区域图像做动态阈值二值化处理，生成第一显示区域图像的二值化mask模板；将所述二值化mask模板与所述第一显示区域图像融合，形成第二显示区域图像；对所述第一显示区域图像和第二显示区域同时进行OCR识别，将识别结果进行最优选择，最后输出数显结果；B、若判断当前表计为非LED表计，直接将显示区域送入OCR模型进行识别，输出置信度高于预定值的结果，流程结束。2.根据权利要求1所述的数字电气表计的识别方法，其特征在于，获取的所述初始图像至少应同时具备如下特征：图像分辨率大于预定值；表计角度偏离值在预定区间内；所述初始图像包括各种格式的图片或视频。3.根据权利要求1所述的数字电气表计的识别方法，其特征在于，所述图像缩放操作包括：保持初始图像的宽高比例，根据模型输入尺寸计算宽高的缩放比例，分别调整图像的长宽尺寸到32的倍数。4.根据权利要求3所述的数字电气表计的识别方法，其特征在于，还包括：缩放所述初始图像的长边L至32的倍数，记录缩放后长边为L
S
，并记录缩放比例为S；依据所述缩放比例S，等比例缩放所述初始图像的宽边W；若所述宽边W依据缩放比例S缩放后W
S
也为32的倍数，则图像缩放完成，此时图像尺寸为L
S
×
W
S
，转入步骤S3；若所述宽边依据缩放比例S缩放后W
S
不为32的倍数，则搜索大于W
S
且距离最近的32的整数倍W
S
′
；此时图...
【专利技术属性】
技术研发人员：冷聪，单绍杰，
申请(专利权)人：中科南京人工智能创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。