一种基于机器视觉的仪表自动读数方法装置制造方法及图纸

本发明专利技术提供一种基于机器视觉的仪表自动读数方法及装置，方法包括如下步骤：A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点；B、利用标注好的训练图像对神经网络模型进行训练；C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；E、根据指针关键点获取指针区域，将尖端的指针关键点与质心相连，得到指针指示的位置；F、根据校准后的表盘和指针指示的位置判断当前仪表读数。本发明专利技术能够克服环境干扰，保证检测的稳定性和鲁棒性，且检测精度高。且检测精度高。且检测精度高。

【技术实现步骤摘要】
一种基于机器视觉的仪表自动读数方法装置


[0001]本专利技术涉及一种基于机器视觉的仪表自动读数方法装置。

技术介绍

[0002]变电站是对电压和电流进行变换，接受电能及分配电能的场所。变电站的安全性和稳定性直接影响到整个电网系统运行。因此，变电站日常巡检工作十分重要。变电站巡检是由值班人员定期巡视观察仪表设备的状态并记录结果。但通过人工巡检的方式受到巡检人员工作状态、工作水平等诸多因素制约，时常会造成误检、漏检等情况。此外，巡检工作人员无法在深夜或雷雨等恶劣天气下进站工作。
[0003]随着科技进步和技术革新，基于机器人技术、导航技术及机器视觉技术融合的电力巡检机器人逐步取代人工，进行变电站的智能化巡检工作。现有的利用机器人自动读取仪表读数的技术中，通常采用基于Hough直线检测实现仪表的指针检测或提取仪表显著性特征对仪表指针进行相对位置判别。如中国专利申请号为201811049628.5的一种指针式仪表读数识别方法及系统，使用Hough直线检测进行仪表的指针检测。但该类方法易受外部环境因素影响，如光照条件、拍摄角度、表盘的清洁程度，需根据不同的环境条件，调节算法参数，否则无法保证算法的鲁棒性及准确性。

技术实现思路

[0004]本专利技术提出一种基于机器视觉的仪表自动读数方法装置，能够克服环境干扰，保证检测的稳定性和鲁棒性，且检测精度高。
[0005]本专利技术通过以下技术方案实现：
[0006]一种基于机器视觉的仪表自动读数方法，仪表包括表盘和指针，包括如下步骤：
>[0007]A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
[0008]B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；
[0009]C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
[0010]D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
[0011]E、根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心相连，得到指针指示的位置；
[0012]F、根据校准后的表盘和指针指示的位置判断当前仪表读数。
[0013]进一步的，所述步骤B中，神经网络模型包括四阶hourglass网络模块。
[0014]进一步的，所述步骤A中，M≥4，N≥3。
[0015]进一步的，所述标准模板图像为利用相机拍摄的仪表清晰的正面图像。
[0016]进一步的，所述步骤D中，根据以下公式进行透视变换：其中，(u,v)表示原始图像像素坐标，(x
′
,y
′
,z
′
)表示变换后的图像像素坐标，表示图像线性变换，T2＝[a
13 a
23
]T
用于产生图像透视变换，T2＝[a
31 a
32
]表示图像平移。
[0017]进一步的，所述步骤A中，M个表盘关键点分别位于长刻度线端部，N
‑
1个指针关键点分别位于指针边缘折弯处。
[0018]进一步的，所述步骤B中，将步骤A中标注好的训练图像按照8：2的比例随机划分，80％的训练图像用于训练所述神经网络模型，20％的训练图像用于测试训练后的神经网络图像。
[0019]进一步的，所述步骤E中，连接各指针关键点以形成一封闭区域，该封闭区域即为指针区域。
[0020]本专利技术还通过以下技术方案实现：
[0021]一种基于机器视觉的仪表自动读数装置，包括：
[0022]采集模块：用于采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；
[0023]检测模块：用于利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，并利用训练后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；
[0024]校准模块：用于将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；
[0025]指针位置获取模块：用于根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心项相连，得到指针指示的位置；
[0026]读数模块：用于根据校准后的表盘和指针指示的位置判断当前仪表读数。
[0027]本专利技术具有如下有益效果：
[0028]1、本专利技术首先通过已标注多个表盘关键点和指针关键点的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点，再利用已训练的神经网络模型检测当前仪表图像的表盘关键点和指针关键点，然后将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换对表盘进行校准，最后根据指针关键点获取指针区域，并将指针尖端的指针关键点与指针区域的质心项链，从而得到指针指示的位置，根据校准后的表盘和指针指示的位置判断当前仪表读数；利用神经网络检测关键点，能够解决复杂环境下仪表特征提取困难的问题，保证检测的稳定性和鲁棒性，并克服光照变化、仪表积灰及拍摄角度等外界条件不同所带来的检测干扰，同时，通过仪表盘特征点进行表盘校准，通过指针特征点精确定位指针位置，则保证了检测结果的精确性。
附图说明
[0029]下面结合附图对本专利技术做进一步详细说明。
[0030]图1为本专利技术的流程图。
[0031]图2为仪表关键点标注示意图。
[0032]图3
‑
1为当前仪表图像与标准模板图像的校准示意图。
[0033]图3
‑
2为校准后的当前仪表图像。
[0034]图4为已获取指针区域的当前仪表图像。
[0035]图5为确定指针指示位置的当前仪表图像。
具体实施方式
[0036]仪表包括表盘和指针，如图1所示，基于机器视觉的仪表自动读数方法包括如下步骤：
[0037]A、采集标准模板图像和训练图像，如图2所示，在各图像的表盘上标注5个表盘关键点(A1、A2、A3、A4和A5)、指针上标注3个指针关键点(B1、B2和B3)，5个表盘关键点分别位于长刻度线端部，相邻两表盘关键点之间隔了一根长刻度线，一个指针关键点B1位于指针尖端，其余2个指针关键点位于指针边缘折弯处；
[0038]标准模板图像是利用相机拍摄的仪表清晰的正面图像，训练图像则是在仪表不同清晰度下，由相机在各种角度下所拍摄的照片；
[0039]B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；
[0040]在本实施例中，网络神经模型包括四阶hourglass网络模块；
[0041]训练具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的仪表自动读数方法，仪表包括表盘和指针，其特征在于：包括如下步骤：A、采集标准模板图像和训练图像，在各图像的表盘上标注M个表盘关键点、指针上标注N个指针关键点，其中有一个指针关键点位于指针尖端；B、利用标注好的训练图像对神经网络模型进行训练，以使该神经网络模型能够检测表盘关键点和指针关键点；C、利用经步骤B后的神经网络模型对当前仪表的图像进行检测，得到表盘关键点和指针关键点；D、将表盘关键点与标准模板图像上标注的表盘关键点进行一一配准，并通过透视变换，对表盘进行校准；E、根据指针关键点获取指针区域，并计算该指针区域的质心，将尖端的指针关键点与质心相连，得到指针指示的位置；F、根据校准后的表盘和指针指示的位置判断当前仪表读数。2.根据权利要求1所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤B中，神经网络模型包括四阶hourglass网络模块。3.根据权利要求1所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤A中，M≥4，N≥3。4.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述标准模板图像为利用相机拍摄的仪表清晰的正面图像。5.根据权利要求1或2或3所述的一种基于机器视觉的仪表自动读数方法，其特征在于：所述步骤D中，根据以下公式进行透视变换：其中，(u,v)表示原始图像像素坐标，(x
′
,y
′
,z
′
)表示变换后的图像像素坐标，表示图像线性变换，T2＝[a
13 a
23
]
T...

【专利技术属性】
技术研发人员：林文伟，李瑞峰，罗冠泰，张陈涛，汤思榕，梁培栋，
申请(专利权)人：福建泉州哈工大工程技术研究院，
类型：发明
国别省市：