一种基于深度学习的指针式仪表自动读数方法技术

本发明专利技术公开了一种基于深度学习的指针式仪表自动读数方法，训练基于Yolov4的目标检测模型，对表盘进行检测。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。本发明专利技术应用四种深度学习模型，以提高自然条件下的指针表读数精度。在对收集的5000张自然条件下拍摄的指针表图像进行读数后，本方法的错误率仅为1.57％，能够胜任在自然场景如燃气站、油田等场地等自动读数工作。动读数工作。动读数工作。

【技术实现步骤摘要】
一种基于深度学习的指针式仪表自动读数方法


[0001]本专利技术属于计算机视觉领域，是一种基于深度神经网络的指针式仪表自动读数方法，输入为待读数仪表图像，输出为读数。

技术介绍

[0002]指针式仪表被广泛应用于石油工业，发电站，燃气站等工业领域。这主要是因为它们结构简单，安装便利以及抗电磁干扰强。但是由于它们没有数字接口，所以主要还是由人工读数的方式对这些表进行记录。这种方式人工成本高，读表效率低，实时性差，并且有些高温高压的环境不适合人类活动。近年来，随着移动巡检机器人技术的发展以及智能化工业领域的推广，基于计算机视觉技术的移动巡检机器人已逐渐应用于仪表的自动读数。因此，研究一种稳定可靠的指针式仪表自动检测与识别方法具有重要的现实意义。
[0003]针对指针式仪表的自动检测与识别技术，已经有很多研究人员提出了不同的解决方法。现有的指针表自动读数方法主要是基于传统的计算机视觉技术，如图像灰度处理、二值化、图像滤波等技术，找到指针表的特征点，定位表盘位置。再结合Hough变换等算法，分割出指针角度。结合数字文本检测方法定位表盘文本，二值图中找出刻度文本所对应的主刻度线位置，最后进行读数。该类方法对图像质量要求较高，需要指针表类型、倾斜角度、光照、清晰度等均达到要求，才能进行准确的读数。而且整个方法中过程较为繁琐，限制条件多，鲁棒性差。
[0004]随着深度学习技术的发展，将深度学习与神经网络应用到指针式仪表的自动检测与读数领域逐渐成为主流。该类方法应用Faster
‑
RCNN以及Mask
‑
RCNN等目标检测模型，对表盘区域进行提取和放大。结合Hough变换以及边缘检测算子，提取指针区域。应用文本检测算法模型对指针表上的刻度数字以及其他文本信息进行检测与识别。该类方法对比传统计算机视觉方法，具有限制条件少、准确率高、计算过程简明等特点。但是现存的基于深度学习的指针表读数方法也只有一部分应用深度神经网络，其他部分如指针定位以及主刻度线定位等还是应用传统方法。这导致在自然场景下的指针表不能被准确读数，从而应用范围不大。所以，研究一种基于深度学习并且能够在自然场景下准确读数的指针式仪表自动读数方法是很有必要的。

技术实现思路

[0005]本专利技术设计了一种新式的基于深度学习的指针式仪表自动读数方法，在仪表读数的每个阶段均使用深度神经网络模型，以实现在自然场景下能够达到良好的准确性和鲁棒性。如图1为本专利总览图。
[0006]为实现上述目的，本方法包括以下步骤：
[0007]步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测。对指针式仪表进行自动检测与识别首先就是要定位它的位置。在如油田、燃气站等实际场景下，它容易受位置、倾斜角度、外界条件等因素影响，容易出现漏检错检等情况。选用网络层次较深的卷积神经
网络，以获取更深层次的特征，使得定位更加准确。同时，机器人巡检任务也要求较高的实时性，以保证工作效率。Yolov4作为一种one
‑
stage目标检测模型，其最大的特点就是具有高度实时性的同时，准确率也能保证很高的水准。
[0008]Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出。CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入了CSPnet结构。CSPnet模块可以增强Darknet53网络卷积层的学习能力，移除计算瓶颈，减少计算量从而减少内存开销。SPP
‑
block可以不用考虑图像大小，输出图像固定长度网络结构，并且可以做到在图像变形情况下表现稳定。PANet的作用是进行参数聚合以适用于不同level的目标检测。最后，Yolov4使用Yolov3 Head，提取多特征层进行目标检测。
[0009]通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中。整体过程如图2所示。
[0010]步骤2：训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。在实验过程中发现基于传统计算机视觉的方法在实际应用场景下的效果不佳。这主要是由于传统计算机视觉方法对图像的清晰度要求较高。而自然场景下的表盘可能受到遮挡物、泥土、光线、天气等因素的影响，清晰度无法满足要求。因此，创新性的提出使用基于卷积神经网络的语义分割算法，对指针进行定位。
[0011]Unet是一个基于深度卷积网络的语义分割模型，其主要分为下采样和上采样两个部分。下采样利用卷积层和池化层提取输入图像的深层特征。上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度。通过此网络，对输入的表图片进行处理，将指针区域分割出来。具体过程如图3所示。
[0012]将分割出来的指针区域以二值图像的形式输入，经过开操作(先腐蚀后膨胀)以去除小的噪声区域，保留完整剩余区域。之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度。具体过程如图4所示。
[0013]步骤3：训练基于E2E
‑
MLT的文本检测与识别模型，对表盘文本进行识别。对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置。选用E2E
‑
MLT模型进行文本检测与识别。E2E
‑
MLT是一个端到端可训练的文本检测与识别模型，其拥有文本定位与文本识别两个分支。训练一个网络可以同时实现文本的定位与识别功能，十分方便。E2E
‑
MLT的具体使用过程如图5所示。
[0014]步骤4：训练基于自主设计的MSLnet的表盘主刻度线识别模型。由于表盘上主刻度线的朝向不一，不容易直接进行检测，所以根据上述获得的刻度数字文本位置，确定表盘圆心。之后将表盘转换为极坐标系，使得每条主刻度线水平排列。最后，根据映射到极坐标下的刻度数字位置，去除图像中的干扰部分。具体过程如图6所示。
[0015]之后，设计了一个轻量级的卷积神经网络，用于定位极坐标后图像中的主刻度线位置，将其命名为MSLnet。网络结构如图7所示。将极坐标后的图像调整为128*1280大小，然后分成五个128*256的部分，输入网络。输出为1*256*2大小的特征图。该特征图代表在相对应的横坐标位置，是否有主刻度线。具体流程如图8所示。
[0016]步骤5：基于上述检测结果，对指针表读数进行计算。最后，将极坐标系统下识别出
的主刻度线还原到笛卡尔坐标系统下，结合指针角度、刻度数值、表盘单位，计算指针表的真实读数。公式1为具体计算公式。其中，(A
max
,V
max
)和(A
min
,V
mi本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的指针式仪表自动读数方法，其特征在于：本方法包括以下步骤：步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测；对指针式仪表进行自动检测与识别首先就是要定位它的位置；选用网络层次较深的卷积神经网络，以获取更深层次的特征；Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出；CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入CSPnet结构；CSPnet模块增强Darknet53网络卷积层的学习能力；SPP
‑
block不用考虑图像大小，输出图像固定长度网络结构，并且在图像变形情况下表现稳定；PANet的作用是进行参数聚合以适用于不同level的目标检测；最后，Yolov4使用Yolov3 Head，提取多特征层进行目标检测；通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中；步骤2：训练基于Unet的语义分割模型，分割指针；Unet主要分为下采样和上采样两个部分；下采样利用卷积层和池化层提取输入图像的深层特征；上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度；通过此网络，对输入的表图片进行处理，将指针区域分割出来；具体过程如图3所示；将分割出来的指针区域以二值图像的形式输入，经过开操作以去除小的噪声区域，保留完整剩余区域；之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度；步骤3：训练基于E2E
‑
MLT的文本检测与识别模型，对表盘文本进行识别；对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置；选用E2E
‑
MLT模型进行文本检测与识别；E2E
‑
MLT是一个端到端可训...

【专利技术属性】
技术研发人员：黄志清，孙峻礁，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：