一种指针式仪表读数识别方法及系统技术方案

一种指针式仪表读数识别方法及系统，涉及计算机视觉技术领域，包括以下步骤：S1、获取指针式仪表图像，构建指针式仪表图像数据集；S2、构建指针式仪表刻度值检测网络模型，利用指针式仪表图像数据集对指针式仪表刻度值检测网络模型进行训练；S3、构建指针式仪表关键点检测网络模型，利用指针式仪表图像数据集对指针式仪表关键点检测网络模型进行训练；S4、利用训练好的指针式仪表刻度值检测网络模型对待识别的指针式仪表图像进行刻度值预测；S5、利用训练好的指针式仪表关键点检测网络模型对待识别的指针式仪表图像进行关键点预测；S6、根据指针式仪表刻度值和关键点的预测结果，对预测结果进行后处理分析，获取当前指针式仪表读数。读数。读数。

【技术实现步骤摘要】
一种指针式仪表读数识别方法及系统


[0001]本专利技术涉及一种指针式仪表读数识别方法及系统，属于计算机视觉的


技术介绍

[0002]指针式仪表是目前生产过程中非常普遍的测量仪表之一，不仅种类繁多，而且数量巨大。目前国内对这类仪表的检定工作多采用人工观测仪表盘指针读数，这种传统方法受检测人员的操作经验、工作态度、业务水平和精神状态等其他主观因素的影响，存在劳动强度大、生产效率低、检测误差大、可靠性差等问题。另外，在高温、辐射、野外等比较恶劣的工作环境下，通常不适于人工监测指针式仪表的读数，这种情况下，图像识别得到了越来越多的应用。
[0003]中国专利文献CN202010326587公开了一种基于HRNet网络模型的SF6仪表图像读数方法，其中，对数据集的处理是标注SF6指针表的刻度关键点、指针、指针在仪表上的旋转中心点以及中间交点，然后所采用的关键点检测算法为自上而下的HRNet，也就是针对每一个关键点都利用一张特征图去预测，文献中所述的不同特征图按照顺序预测指定位置的关键点信息，这也就要求标注时候要严格按照一定的顺序进行标注，对于关键点的预测结果，因此上述文献由于只针对一种指针表型，所以结合刻度值的先验知识进行读数处理，采用的读数方法为角度判别法。
[0004]中国专利文献CN202010326587具有以下特点：
①
数据集处理方式中，所述标注的信息为刻度关键点、指针、指针在仪表上的旋转中心点以及中间交点，并且有严格的标注顺序要求；
②
使用算法：该文献所使用的HRNet为自上而下的关键点检测算法，对于图片上的每一个关键点都用一张特征图去预测，按照上述专利所述，总共需要14个特征图才可以完成所有关键点的预测。
③
整体处理逻辑：该文献只采用关键点检测算法加上SF6指针表的先验知识进行读数检测，无法纠正模型检测结果错检、漏检的情况。
④
适用范围：该文献只是针对SF6指针表进行处理，还需要结合大量的先验知识才可以最终完成读数，无法适用于所有类型的指针表，泛化性不佳。
⑤
后处理方法：该文献的后处理方法是结合先验利用角度之间的比值进行读数，结果的可靠性、置信度都有待提高。
[0005]中国专利文献CN202111422893公开一种基于机器视觉的仪表示数识别方法和装置：首先使用yolov5目标检测算法将图片中的表计外框检测出来，然后将检测出来的表计图像裁剪出来利用传统图像处理方法灰度、阈值分割、最小二值化等方法确定指针位置和分割出来字符的位置信息，然后将分割出来的字符图像送入resnet分类算法进行分类，最终再结合上一步处理结果，进行读数处理。
[0006]中国专利文献CN202111422893具有以下特点：
①
算法逻辑：该文献先是利用目标检测算法检测出来表计图像，然后利用传统图像处理算法得到指针和刻度值信息，最后通过分类算法得到刻度值结果，最终才是读数算法。
②
目标检测算法检测目标：该文献使用目标检测算法只是用于将表计图像的位置和类别检测出来，得到整个表计的信息。
③
算法的稳定性：该文献由于中间采用了传统图像处理算法得到指针的信息和刻度值的信息，传统
图像处理算法有很大的局限性，对图像的质量要求较高，而且容易受到光照等外界因素的影响，导致整体读数算法的不稳定。
④
使用范围：该文献由于方法的局限性，导致他不能适用于所有种类的表计读数，只能针对一种或几种表盘干扰因素少的表计种类进行读数识别。
[0007]综上，传统的算法多是针对较为简单的情况，对人工预处理(比如将表盘放到图片中间，并放大到整张图片，去掉周围的背景等等)过的图片进行操作，并且只能识别特定形状的指针，不能很好的满足目前的工作需要。

技术实现思路

[0008]针对现有技术的不足，本专利技术公开一种指针式仪表读数识别方法。
[0009]本专利技术还公开一种加载所述识别方法的系统，用于对指针式仪表读数。
[0010]本专利技术详细的技术方案如下：
[0011]一种指针式仪表读数识别方法，其特征在于，包括：
[0012]S1、构建指针式仪表图像数据集：分别对指针式仪表图像进行标注，对应形成标注完成的指针式仪表刻度值数据集和标注完成的指针式仪表关键点数据集；
[0013]S2、构建指针式仪表刻度值检测网络模型：利用标注完成的指针式仪表刻度值数据集对指针式仪表刻度值检测网络模型进行训练；
[0014]构建指针式仪表关键点检测网络模型：利用标注完成的指针式仪表关键点数据集对指针式仪表关键点检测网络模型进行训练；
[0015]S3、利用训练好的指针式仪表刻度值检测网络模型对待识别的指针式仪表图像进行刻度值预测；
[0016]利用训练好的指针式仪表关键点检测网络模型对待识别的指针式仪表图像进行关键点预测；
[0017]S4、根据步骤S3的预测结果进行后处理分析，获取待识别的指针式仪表图中当前指针式仪表读数。
[0018]根据本专利技术优选的，所述步骤S1中构建指针式仪表图像数据集具体包括：
[0019]S11、利用摄像头拍摄指针式仪表图像；
[0020]S12、获取各摄像头拍摄的视频，并收集不同时间段下的视频流；
[0021]S13、采用抽帧的方法对收集到的视频流进行处理，得到若干张图片；所述抽帧时间间隔为30min，每隔30min从视频中抽取一张图片；
[0022]S14、将所有收集到的图片汇总，将包含指针式仪表图像的所有图片筛选出来制作未标注的指针式仪表图像数据集；
[0023]S15、标注指针式仪表图像数据集：
[0024]利用开源标注工具Labelimg对未标注的指针式仪表图像数据集各图片中的表盘刻度值进行标注，标注类别即为表盘刻度值，形成标注完成的指针式仪表刻度值数据集，将标注完成的指针式仪表刻度值数据集按照7：2：1的比例，乱序分配为训练集、测试集和验证集；
[0025]利用开源标注工具Labelme对未标注的指针式仪表图像数据集各图片中的表盘刻度、指针针头、指针针尾进行标注，形成标注完成的指针式仪表关键点数据集，将标注完成
的指针式仪表关键点数据集按照7：2：1的比例，乱序分配为训练集、测试集和验证集。
[0026]根据本专利技术优选的，在步骤S2中，所述指针式仪表刻度值检测网络模型，是采用改进的yolov5目标检测算法建立的，包括：在yolov5目标检测算法中添加ASFF自适应特征融合模块，用于对上层的输出特征层进行加权融合；
[0027]所述ASFF自适应特征融合模块采用公式：
[0028][0029]将上层的输入特征分别乘上各自对应的权重参数得到下一层的特征融合图权重参数经过降维之后通过softmax函数使得它们的范围都在[0,1]内并且和为1；公式(I)中的下标和上标代表的是前后不同特征融合图的对应。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指针式仪表读数识别方法，其特征在于，包括：S1、构建指针式仪表图像数据集：分别对指针式仪表图像进行标注，对应形成标注完成的指针式仪表刻度值数据集和标注完成的指针式仪表关键点数据集；S2、构建指针式仪表刻度值检测网络模型：利用标注完成的指针式仪表刻度值数据集对指针式仪表刻度值检测网络模型进行训练；构建指针式仪表关键点检测网络模型：利用标注完成的指针式仪表关键点数据集对指针式仪表关键点检测网络模型进行训练；S3、利用训练好的指针式仪表刻度值检测网络模型对待识别的指针式仪表图像进行刻度值预测；利用训练好的指针式仪表关键点检测网络模型对待识别的指针式仪表图像进行关键点预测；S4、根据步骤S3的预测结果进行后处理分析，获取待识别的指针式仪表图中当前指针式仪表读数。2.根据权利要求1所述的一种指针式仪表读数识别方法，其特征在于，所述步骤S1中构建指针式仪表图像数据集具体包括：S11、利用摄像头拍摄指针式仪表图像；S12、获取各摄像头拍摄的视频，并收集不同时间段下的视频流；S13、采用抽帧的方法对收集到的视频流进行处理，得到若干张图片；S14、将所有收集到的图片汇总，将包含指针式仪表图像的所有图片筛选出来制作未标注的指针式仪表图像数据集；S15、标注指针式仪表图像数据集：利用开源标注工具Labelimg对未标注的指针式仪表图像数据集各图片中的表盘刻度值进行标注，标注类别即为表盘刻度值，形成标注完成的指针式仪表刻度值数据集；利用开源标注工具Labelme对未标注的指针式仪表图像数据集各图片中的表盘刻度、指针针头、指针针尾进行标注，形成标注完成的指针式仪表关键点数据集。3.根据权利要求1所述的一种指针式仪表读数识别方法，其特征在于，在步骤S2中，所述指针式仪表刻度值检测网络模型，包括：在yolov5目标检测算法中添加ASFF自适应特征融合模块，用于对上层的输出特征层进行加权融合；所述ASFF自适应特征融合模块采用公式：将上层的输入特征分别乘上各自对应的权重参数得到下一层的特征融合图权重参数经过降维之后通过softmax函数使得它们的范围都在[0,1]内并且和为1。4.根据权利要求3所述的一种指针式仪表读数识别方法，其特征在于，在步骤S2中，所述指针式仪表关键点检测网络模型：在步骤S15中，通过标注出的表盘刻度、指针针头和指针针尾分别为指针式仪表刻度特征层、指针式仪表针头特征层和指针式仪表针尾特征层；
对于指针式仪表刻度特征层，利用Associative Embedding后处理方法提取指针式仪表刻度关键点；对于指针式仪表针头特征层和指针式仪表针尾特征层则提取特征图中最大特征值所在的位置作为指针式仪表针头关键点和指针式仪表针尾关键点。5.根据权利要求1所述的一种指针式仪表读数识别方法，其特征在于，在步骤S3中，所述利用训练好的指针式仪表刻度值检测网络模型对待识别的指针式仪表图像进行刻度值预测，具体包括：将待识别的指针式仪表图像输入到训练好的指针式仪表刻度值检测网络模型中进行特征提取，并根据提取的特征，对不同的输出层进行自适应的特征融合：对指针式仪表图像中的表盘上的刻度值的位置以及类别进行检测，得...

【专利技术属性】
技术研发人员：张亚辉，张健，王书堂，徐传伦，王飞，
申请(专利权)人：智洋创新科技股份有限公司，
类型：发明
国别省市：