一种基于目标检测的指针式仪表表盘信息识别方法技术

本发明专利技术公开了一种基于目标检测的指针式仪表表盘信息识别方法，包括：1)利用目标检测网络提取仪表表盘图像的标度数字和指针信息；2)对不同标签的字符进行非极大值抑制处理；3)将相邻的单个字符划分为待融合字符组；4)基于待融合字符组内的单个字符信息生成标度数字的信息；5)利用标度数字信息估算指针旋转中心点；6)对指针区域应用一种改进的自适应Hough变换直线检测，拟合指针所在直线；7)基于指针旋转中心点和指针所在直线计算指针尖端点坐标。本发明专利技术利用了目标检测网络，可以基于各个单个字符建立完整标度盘信息，对指针区域进行自适应分析以获取指针信息，具有良好的通用性、检测速度和精度，可有效提高仪表读数算法性能。性能。性能。

【技术实现步骤摘要】
一种基于目标检测的指针式仪表表盘信息识别方法


[0001]本专利技术涉及智能视觉检测的
，尤其是指一种基于目标检测的指针式仪表表盘信息识别方法。

技术介绍

[0002]指针式仪表因为其具有结构简单、成本低廉、抗干扰能力强等特点，目前被广泛应用在石油化工和电网系统等工业环境中，对上述场所的安全高效生产有着重要的意义。在典型场景中，企业通过安排人员现场巡检的方法获取仪表的读数信息，此项工作枯燥乏味且长时间工作后人眼识别容易因疲劳而出错。因此，随着科技不断发展，越来越多的研究人员正在尝试利用巡检机器人替代巡检工人，实现此类巡检任务的全自动化。
[0003]仪表自动读数算法是上述机器人的核心算法之一，该算法需要解决的核心问题就在于获取仪表的指针和标度盘信息并且计算出仪表的读数，而能否获取可靠的仪表相关信息就成了仪表读数算法能否完成其读数任务的关键。
[0004]现有的获取仪表信息的绝大多数研究都是围绕获取指针信息开展的，主要可以分为基于传统图像处理方法和基于深度学习方法。基于传统图像处理方法多先进行一定的图像预处理，然后使用最小二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的指针式仪表表盘信息识别方法，其特征在于，包括以下步骤：1)使用经过训练的目标检测网络提取仪表表盘的字符和指针区域信息；2)对所有得到的字符进行不同标签间非极大值抑制，并对剩余的字符进行筛选，得到有效字符检测结果；3)将相邻的字符划分为一个待融合字符组，并对待融合字符组内的各个字符按照横坐标升序进行排列；4)确定各个待融合字符组的最终数字融合结果，融合后的数字即为仪表的标度数字，所有的标度数字共同构成了表盘的标度盘信息；5)根据仪表的标度数字估算仪表的指针旋转中心点坐标；6)对指针区域进行一种改进的自适应Hough变换直线检测，拟合得到指针中心线；7)根据指针中心线和指针旋转中心点计算指针尖端点坐标。2.根据权利要求1所述的一种基于目标检测的指针式仪表表盘信息识别方法，其特征在于，在步骤1)中，所述目标检测网络为一种卷积神经网络，输入为彩色图像，输出为对图像中特定目标的预测结果及其边界框，所述边界框由其左上角和右下角的位置坐标描述，使用经过标注后数据集训练的目标检测网络能够检测的特定目标包括字符0～9和指针总计11类目标。3.根据权利要求2所述的一种基于目标检测的指针式仪表表盘信息识别方法，其特征在于，在步骤2)中，需要对检测得到的不同标签的字符分别进行非极大值抑制，以去除那些可能由于相似而被目标检测网络同时识别成两个不同标签字符造成的重复检测；其中，所述非极大值抑制具体步骤如下：2.1)将所有字符分为：经过非极大值抑制处理的保留字符，被剔除的删除字符和未经过非极大值抑制处理的待处理字符三类；2.2)任取一个待处理字符；2.3)计算该字符和其它所有待处理字符进行IoU检验，计算边界框的交并比IoU，IoU的计算公式如下：式中，S1和S2分别表示了两个正在计算IoU的边界框的面积；2.4)若该字符和另一个待处理字符的IoU大于预先设定的阈值，则IoU检验判断存在了高度重复的字符，保留其中置信度高的字符继续进行非极大值抑制的处理，剔除置信度低的字符为删除字符，若该字符已经和所有剩余待处理字符边界框的IOU均小于阈值，则将该字符判定为保留字符；2.5)不断重复步骤2.2)至步骤2.4)，直到所有的字符仅剩保留字符和删除字符两类，所有的保留字符就是最终的有效字符。4.根据权利要求3所述的一种基于目标检测的指针式仪表表盘信息识别方法，其特征在于，在步骤3)中，所述待融合字符组指被认定为共同组成了一个标度数字的若干字符所构成的有序字符组；定义字符位置坐标为字符边界框的中心点坐标，两个字符之间的字符间距为两个字符位置坐标之间的欧氏距离，通过计算字符间距能够划分待融合字符组，具体计算步骤如下：
3.1)将所有字符划分为未融合和已融合两类；3.2)任取一个未融合字符作为当前待融合字符组的初始字符，遍历所有剩余未融合字符与初始字符分别计算字符间距和字符边界框间距，所述字符边界框间距指字符边界框x方向距离之和的一半，若字符间距与字符边界框间距之差大于设定的阈值，则判定两个字符属于同一个待融合字符组；d
p
‑
0.5*(d
a
+d
b
)＞α式中，d
p
表示字符间距，d
a
和d
b
分别表示两个字符边界框的水平长度，α表示设定的阈值，这个阈值取0.25*(d
a
+d
b
)；3.3)待融合字符组中元素需按照字符中心点横坐标升序进行排列；3.4)若一个字符被划入当前的待融合字符组，则也需要对该字符进行步骤3.3)中的循环过程，直到当前待融合字符组中的所有字符都已经和剩余所有未融合字符完成了比较计算，则该待融合字符组最终确定；3.5)重复步骤3.2)至3.4)，直到所有的字符都已经完成待融合字符组的划分操作。5.根据权利要求4所述的一种基于目标检测的指针式仪表表盘信息识别方法，其特征在于，在步骤4)中，所述数字融合具体指利用一个待融合字符组中的若干字符信息生成一个新的标度数字的过程，包括以下步骤：4.1.1)边界框的融合，选取所有待融合字符组中各个字符最外部的坐标，具体计算公式如下：x1＝min(x
11
,x
12
,x
13
,...,x
1i
,...,x
1n
)y1＝min(y
11
,y
12
,y
13
,...,y
1i
,...,y
1n
)x2＝max(x
21
,x
22
,x
23
,...,x
2i
,...,x
2n
)y2＝max(y
21
,y
22
,y
23<...

【专利技术属性】
技术研发人员：杜启亮，安毅，王昭霖，曲烽瑞，田联房，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：