一种基于Yolact网络的指针式仪表数据自动读取方法技术

本发明专利技术提出了一种基于Yolact网络的指针式仪表数据自动读取方法，包括以下步骤：S1，对采集的仪表图像进行矫正；S2，采用Yolact实例分割网络对矫正后的仪表图进行实例分割，将仪表图像分割成表盘与指针两个区域，得到指针掩码和表盘掩码；S3，数值匹配：将矫正后的图像与模板图像进行FGINN匹配，得到若干匹配点对；S4，直线拟合与读数：对矫正表盘进行二值化，从表盘区域中获取刻度线轮廓，然后对刻度线轮廓进行直线拟合取直线的交点得到中心点一，将中心点一在指针直线方程上的投影点作为中心点；根据指针与任一匹配点的差值，使用角度法得到读数。本发明专利技术能够利用深度学习结合图像处理对指针式仪表进行读数检测，有效地提高了读取数值的准确性。值的准确性。值的准确性。

【技术实现步骤摘要】
一种基于Yolact网络的指针式仪表数据自动读取方法


[0001]本专利技术涉及计算机图像处理
，特别是涉及一种基于Yolact网络的指针式仪表数据自动读取方法。

技术介绍

[0002]目前，主要的仪表巡检手段是通过人工巡检，需要很高的成本去培养和雇佣熟练的巡检工人。对于指针式仪表所监测数据的采集和录入仍然需要利用人的肉眼进行观察并手工进行记录，首先这种数据的釆集和录入方式不仅仅耗费大量的人力、物力，同时也容易因工作量大而导致工作效率低下，易产生错误，降低数据采集的准确率，数据采集质量受主观影响较大。而且大多数仪表工作在高温、高压、高辐射、甚至有毒等恶劣的环境条件中，如果采用人工对数据进行采集和录入的方式，对数据采集员的生命安全是一种严重的威胁。此外，人工采集和录入数据耗费时间过长，严重影响工业生产的效率，而对于指针式仪表进行更换和升级又存在成本过高、操作复杂、资源过度浪费的问题。
[0003]除了上述的人工方式，还有通过采集指针式仪表图像从而获得数据的传统指针式仪表读数识别方法；但由于拍摄角度和时间不尽相同，收集到的仪表图像比较容易受到自然环境的影响，例如光照、角度以及大小等因素。传统指针式仪表读数识别方法容易受到环境影响，在不同的环境之下，所处理得到的仪表图像存在比较大的差异，存在识别率低，读数误差大的问题。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于Yolact网络的指针式仪表数据自动读取方法。
[0005]为了实现本专利技术的上述目的，本专利技术提供了一种基于Yolact网络的指针式仪表数据自动读取方法，包括以下步骤：
[0006]S1，对采集的仪表图像进行矫正；
[0007]S2，采用Yolact实例分割网络对矫正后的仪表图进行实例分割，将仪表图像分割成表盘与指针两个区域，得到指针掩码和表盘掩码；进行表盘的分割是为了剔除仪表外的环境干扰因素，使得后续进行读数检测更加准确。
[0008]通过使用基于深度学习的Yolact算法定位表盘，能够快速准确地得到表盘位置并分割出指针掩码。跟传统方法相比，具有极强的抗干扰性，能够适应于不同的环境下进行定位识别，并且可以随着硬件条件的提升不断提高算法效率。
[0009]S3，数值匹配：将矫正后的图像与模板图像进行FGINN匹配，FGINN中几何不一致的阈值设置为1像素，进一步提高匹配的精度，得到若干匹配点对，然后取表盘中心为中心点，水平向右的直线为极坐标轴，从而计算矫正后的图像中每个匹配点的角度与指针角度的差值，取最大的负值与最小的正值得到指针两侧差值最小的匹配点；
[0010]所述模板图像中标记了中心点、零点、数值点和数值，称为标记信息。可以根据标
记信息计算分度值、根据角度差值计算任意一点的读数值。由于模板图像与矫正图像中匹配点是严格匹配的，所以对应两者的匹配点对读数值相等，可准确读出矫正图像中的数值。
[0011]S4，直线拟合与读数：对矫正表盘进行二值化，从表盘区域中获取刻度线轮廓，然后对刻度线轮廓进行直线拟合取直线的交点得到中心点一，对指针掩码进行最小二乘直线拟合得到指针直线方程，由于指针检测的准确度比较高，指针掩码比较精确，所以可以认为指针是经过中心点的，所以将中心点一在指针直线方程上的投影点作为中心点；再根据步骤S3得到的指针两侧差值最小的匹配点以及模板图像求得所述匹配点的对应数值，然后根据两个匹配点的角度差值求分度值，再根据指针与任一匹配点的差值，使用角度法得到读数。
[0012]提出基于刻度线拟合直线交点的中心定位法，使用散点拟合中心点，提升了读数精度。
[0013]进一步地，所述S1包括以下步骤：
[0014]S1
‑
1，通过对采集的原始图像和模板图像采用SIFT算法进行特征点检测，得到关键点；
[0015]S1
‑
2，通过改进匹配算法FGINN对关键点进行匹配与筛选，得到多对匹配点，然后再通过随机抽样一致算法求原始图像和模板图像的单应性矩阵；
[0016]S1
‑
3，利用所述单应性矩阵进行仿射变换，得到了矫正后的图像。
[0017]所述FGINN算法为改进的SIFT图像匹配算法，利用FGINN算法实现图像矫正、对严重倾斜的图像有较好的矫正效果，利用关键点匹配，能在不标注起始点的情况下完成读数，并且具有很高的扩展性。
[0018]进一步地，所述改进匹配算法FGINN包括：
[0019]原始图像的任一关键点为point1，所述关键点point1在模板图像上最近关键点为point21点，point1与point21的距离为dis1；然后在模板图像上选取几何上不一致且距离最近的关键点point22点，point1与point21的距离为dis2；若dis1/dis2<σ，则point1与point21视为正确匹配的点对，否则为错配的点对予以剔除；其中σ表示阈值比率；
[0020]所述point21是与point1第一近的关键点，所述point21是与point1第二近的关键点；
[0021]所述几何上不一致包括：区域中心之间的欧几里德距离≥n像素。
[0022]所述区域中心为：当关键点具体到图像空间时，为一个区域。
[0023]采用改进匹配算法FGINN得到的匹配点，能避免检测到具有多个方向或彼此太近的关键点。
[0024]进一步地，所述n为10。
[0025]进一步地，所述阈值比率σ的取值范围为0.6～0.8。
[0026]进一步地，所述Yolact实例分割网络包括：使用ResNet101作为Yolact模型的骨干网，使用预训练模型权重对仪表图像进行调整。
[0027]进一步地，还包括：在S1之前对采集的仪表图像进行图像去光照影响处理：
[0028]由于采集的仪表图像可能会受光照影响，从而形成过亮区域或者阴影区域影响读数；因此需在矫正图像前进行图像去光照影响处理操作，所述图像去光照影响处理包括：
[0029]S100，根据所述图像的直方图分布特征信息，判断是否进行阴影补偿或亮度补偿；
[0030]S200，求取图像的平均亮度值，然后判断各像素的亮度值是否处于x1～x2倍平均亮度值区间内，若不处于x1～x2倍平均亮度值区间内则执行下一步骤，若处于x1～x2倍平均亮度值区间内则不处理；
[0031]S300，将处于同一区间亮度区间的连接像素划分为同类亮度区域：获得当前像素的亮度值h
c
，求取当前像素的亮度值h
c
周围相连接像素的亮度平均值h
z
，判断h
c
是否满足过曝阈值，若满足则将h
z
赋值给当前像素的亮度值h
c
；判断h
c
是否满足欠曝阈值，若满足则将h
z
赋值给当前像素的亮度值h
c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Yolact网络的指针式仪表数据自动读取方法，其特征在于，包括以下步骤：S1，对采集的仪表图像进行矫正；S2，采用Yolact实例分割网络对矫正后的仪表图进行实例分割，将仪表图像分割成表盘与指针两个区域，得到指针掩码和表盘掩码；S3，数值匹配：将矫正后的图像与模板图像进行FGINN匹配，得到若干匹配点对，然后取表盘中心为中心点，水平向右的直线为极坐标轴，从而计算矫正后的图像中每个匹配点的角度与指针角度的差值，取最大的负值与最小的正值得到指针两侧差值最小的匹配点；S4，直线拟合与读数：对矫正表盘进行二值化，从表盘区域中获取刻度线轮廓，然后对刻度线轮廓进行直线拟合取直线的交点得到中心点一，对指针掩码进行最小二乘直线拟合得到指针直线方程，将中心点一在指针直线方程上的投影点作为中心点；再根据步骤S3得到的指针两侧差值最小的匹配点以及模板图像求得所述匹配点的对应数值，然后根据两个匹配点的角度差值求分度值，再根据指针与任一匹配点的差值，使用角度法得到读数。2.根据权利要求1所述的一种基于Yolact网络的指针式仪表数据自动读取方法，其特征在于，所述S1包括以下步骤：S1
‑
1，通过对采集的原始图像和模板图像采用SIFT算法进行特征点检测，得到关键点；S1
‑
2，通过改进匹配算法FGINN对关键点进行匹配与筛选，得到多对匹配...

【专利技术属性】
技术研发人员：卢业康，方黎勇，孙俊男，王思维，谌小彤，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：