一种基于目标检测的指针式仪表示数检测方法技术

一种基于目标检测的指针式仪表示数检测方法，属于模式识别与人工智能技术领域，可以识别仪表表面为单圈刻度及数字标度均匀的指针式仪表读数，包括目标检测模型训练和仪表示数识别，其中，S1、目标检测模型训练的具体内容为：（1）数据获取；（2）表盘区域数据标定；（3）表盘区域检测模型网络训练；（4）仪表数字区域数据标定；（5）表盘数字区域检测模型网络训练；（6）数字识别数据图像预处理及分类；（7）数字识别模型网络训练；（8）仪表指针训练图片的预处理及指针区域标定；（9）仪表指针位置检测模型网络训练；S2、仪表示数识别，该发明专利技术提高对指针式仪表读数读取的速度和准确度，减少人工读数过程中的误差，并将读数数据化以便于对数据进行存储、预测。

【技术实现步骤摘要】
一种基于目标检测的指针式仪表示数检测方法
本专利技术属于模式识别与人工智能
，特别涉及一种基于目标检测的指针式仪表示数检测方法。
技术介绍
在现阶段，非电子式仪表在工业生产和生活日用中有着广泛的应用，按计量原理可分为字轮式和指针式两大类。字轮式仪表常用于观测值需累加的场合，如用水量和用气量等。指针式仪表常用于观测值为瞬时值的场合，如压力、速度、液位、电阻等。指针式仪表包含至少一个指针和与该指针对应的刻度盘，通过人为判断指针与该指针对应刻度盘的交点，结合交点处刻度盘的标识来进行读数。随着工业技术的快速发展，越来越多的指针式仪表被应用于生产和生活，且多个仪表趋向于集成在一起或集中安装于同一区域，以便于观测记录。传统的人工观测会出现人为误差和视觉误差，且效率极为低下。
技术实现思路
本专利技术的目的在于克服上述提到的缺陷和不足，而提供一种基于目标检测的指针式仪表示数检测方法。为了解决上述技术问题，采用如下技术方案：一种基于目标检测的指针式仪表示数检测方法，包括以下步骤：S1、目标检测模型训练：(1)数据获取：针对单圈刻度仪表建立神经网络训练用数据集，要求尽可能完备的包含不同刻度线样式，不同表盘数字样式，不同的仪表指针样式；(2)仪表表盘区域数据标定：通过人工标定软件LabelImg手动标定图像中相切仪表表盘的矩形区域边框；(3)表盘区域检测模型网络训练：将仪表图片和(2)所得标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；(4)仪表数字区域数据标定：利用(2)标定的表盘区域坐标切割数据图片，对切割完后的表盘图片通过人工标定软件LabelImg手动标定图像中对每个数字相切的矩形区域边框；(5)表盘数字区域检测模型网络训练：将(3)所得表盘图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；(6)数字识别数据图像预处理及分类：利用(3)标定的数字矩形区域切割，使用图像处理提取其中的每一个数字，按0～9分类放入对应的标签文件夹中；(7)数字识别模型网络训练：将数据送入CNN网络中训练，获取最终的训练权重文件；(8)仪表指针训练图片的预处理及指针区域标定：对(3)中所得表盘图片和标定数字矩形区域中心点，使用单应性变换进行矫正。对矫正后图像极坐标展开得到仪表指针训练图片。通过人工标定软件LabelImg手动标定图像中指针针尖所在矩形区域边框；(9)仪表指针位置检测模型网络训练：将(8)所得指针训练图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件。S2、仪表示数识别：(1)使用手机拍摄指针式仪表盘，尽量保证仪表表盘平行与摄像头，获得待识别图片；(2)将待识别图片送入FasterRCNN网络，利用(1.1-3)表盘区域检测模型权重，获得表盘区域坐标，对待识别图片按坐标进行切割，获得表盘图像；(3)将(2)所得表盘图像图片送入FasterRCNN网络，利用(1.1-5)表盘数字区域检测模型权重，检测表盘上的数字所在区域；(4)对所得到的数字区域进行筛选排序并获得此时的表盘圆心；(5)获得矫正前表盘图像的刻度坐标；(6)利用(4)筛选得到的数字点对应(3)的数字区域切割数字图像。对数字图像进行二值化，计算每个数字的连通域对应的最小外接矩形，依外接矩形角度对图像旋转，记录水平方向投影最小时的角度。按该角度对数字图像旋转，并计算该旋转状态下数字外接矩形。按此矩形提取单个数字。将单个数字图像送入CNN网络，利用S1中的（7）数字识别模型权重识别数字。根据同意数字区域中每个连通域的位置关系，对单个数字进行组合。利用(5)所得刻度坐标信息对所得数字集合进行修订。(7)利用(5)所得刻度坐标和(6)所得标度数字值。根据每个刻度至圆心的距离均相等，且任意相邻连续的两个刻度间的距离相等，计算矫正后标定的刻度坐标。(8)由(7)所得矫正后标定坐标和(5)所得矫正前原图刻度坐标，使用单应性变换对图像进行矫正。单应性变换如下：对矫正后图像，按图像中心为圆心，0度为起始对表盘图像进行极坐标展开，展开方式同(5-1)。(9)对(8)所得矫正后极坐标图像，送入FasterRCNN网络，利用S1中的（9）仪表指针位置检测模型，检测图像中指针所在区域坐标。(10)由(9)所得指针坐标和(6)所得刻度值信息计算仪表读数。进一步，所述S2中步骤（4）包括以下步骤：(4-1)计算数字区域的中心点坐标作为备选数字点集合；(4-2)对集合按不重复的选取3点为一组组合，计算任意组合所组成的三角形各边中垂线的焦点作为备选圆心。(4-3)计算各备选中心到所有备选数字点的距离；(4-4)计算各备选中心到所有备选数字点的距离的均值；(4-5)接受一个备选中心和一个备选数字点的组合判断如下：；(4-6)接受备选数字点判断如下：(4-7)得到筛选后的数字中心点,以为起始按逆时针顺序前后排列；(4-8)筛选过后圆心坐标计算，对集合重复(4-2)操作得，取其均值作为表盘的圆心。进一步，所述S2中步骤（5）包括以下步骤：(5-1)以S2中的(2)所得表盘图像中心为圆心，0度为起始对表盘图像进行极坐标展开。其中为极坐标图中的横纵坐标，为原表盘图像中的横纵坐标，为(4)计算获得的圆心横纵坐标，表示坐标点的像素；(5-2)利用S2中的(4)筛选得到的数字点对应(3)的数字区域外推至仪表刻度区域，并转换至极坐标系，按该坐标区域切割表盘极坐标图像中的刻度，得筛选后的数字对应的刻度图；(5-3)对每张刻度图二值化后做垂直投影，以投影的最大连续区域做为刻度存在区域；(5-4)再对该区域进行水平投影，判断刻度类型，并且计算数字对应的刻度线所在坐标；投影法如下：水平投影：；垂直投影：；其中：表示图像的长宽，表示图像的像素，表示像素点坐标；(5-5)将该坐标从极坐标系变换至原表盘图像坐标系中得到矫正前表盘图像的刻度坐标，变换公式为(5-1)所示逆变换；进一步，所述FasterRCNN网络检测方法，应同样适用于RCNN，FastRCNN，MaskRCNN，PVAnet，EAST等目标检测深度学习方法。进一步，所述CNN网络数字识别方法，应同样适用于RNN，AlexNet，VGG，ResNet，RCNN等分类网络及字符识别网络方法。由于采用上述技术方案，具有以下有益效果：一种基于目标检测的指针式仪表示数检测方法，提高对指针式仪表读数读取的速度和准确度，减少人工读数过程中的误差，并将读数数据化以便于对数据进行存储、预测。附图说明图1为本专利技术一种基于目标检测的指针式仪表示数检测方法中目标检测模型训练流程图；图2为本本文档来自技高网...

【技术保护点】
1.一种基于目标检测的指针式仪表示数检测方法，可以识别仪表表面为单圈刻度及数字标度均匀的指针式仪表读数，其特征在于，包括目标检测模型训练和仪表示数识别；/nS1、目标检测模型训练的具体内容如下：/n（1）数据获取：针对单圈刻度仪表建立神经网络训练用数据集；/n（2）仪表表盘区域数据标定：通过人工标定软件，手动标定表盘区域坐标，得到标签文件；（3）表盘区域检测模型网络训练：将仪表图片和(2)所得标签文件送入Faster RCNN网络中训练，获取最终的训练权重文件，得到表盘区域坐标；/n（4）仪表数字区域数据标定：利用（2）标定的表盘区域坐标切割数据图片，再次通过人工标定软件手动标定；/n（5）表盘数字区域检测模型网络训练：将（3）所得表盘图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；/n（6）数字识别数据图像预处理及分类：利用(3)标定的数字矩形区域切割，使用图像处理提取其中的每一个数字，按0~9分类放入对应的标签文件夹中；/n（7）数字识别模型网络训练：将数据送入CNN网络中训练，获取最终的训练权重文件；（8）仪表指针训练图片的预处理及指针区域标定：对(3)中所得表盘图片和标定数字矩形区域中心点，使用单应性变换进行矫正,对矫正后图像极坐标展开得到仪表指针训练图片，通过人工标定软件手动标定图像中指针针尖所在矩形区域边框；/n（9）仪表指针位置检测模型网络训练：将(8)所得指针训练图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；/nS2、仪表示数识别的具体内容如下：/n（1）数据获取：手机拍摄指针式仪表盘，获得待识别图片；/n（2）数据校对：将待识别图片送入Faster RCNN网络，利用S1中的（3）获得表盘区域坐标，对待识别图片按坐标进行切割，获得表盘图像；/n（3）数字检测：将(2)所得表盘图像图片送入Faster RCNN网络，利用S1中的（5）检测表盘上的数字所在的区域；/n（4）筛选：对所得到的数字区域进行筛选排序并获得此时的表盘圆心；/n（5）获得刻度坐标：获得矫正前表盘图像的刻度坐标...

【技术特征摘要】
1.一种基于目标检测的指针式仪表示数检测方法，可以识别仪表表面为单圈刻度及数字标度均匀的指针式仪表读数，其特征在于，包括目标检测模型训练和仪表示数识别；
S1、目标检测模型训练的具体内容如下：
（1）数据获取：针对单圈刻度仪表建立神经网络训练用数据集；
（2）仪表表盘区域数据标定：通过人工标定软件，手动标定表盘区域坐标，得到标签文件；（3）表盘区域检测模型网络训练：将仪表图片和(2)所得标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件，得到表盘区域坐标；
（4）仪表数字区域数据标定：利用（2）标定的表盘区域坐标切割数据图片，再次通过人工标定软件手动标定；
（5）表盘数字区域检测模型网络训练：将（3）所得表盘图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；
（6）数字识别数据图像预处理及分类：利用(3)标定的数字矩形区域切割，使用图像处理提取其中的每一个数字，按0~9分类放入对应的标签文件夹中；
（7）数字识别模型网络训练：将数据送入CNN网络中训练，获取最终的训练权重文件；（8）仪表指针训练图片的预处理及指针区域标定：对(3)中所得表盘图片和标定数字矩形区域中心点，使用单应性变换进行矫正,对矫正后图像极坐标展开得到仪表指针训练图片，通过人工标定软件手动标定图像中指针针尖所在矩形区域边框；
（9）仪表指针位置检测模型网络训练：将(8)所得指针训练图片和标签文件送入FasterRCNN网络中训练，获取最终的训练权重文件；
S2、仪表示数识别的具体内容如下：
（1）数据获取：手机拍摄指针式仪表盘，获得待识别图片；
（2）数据校对：将待识别图片送入FasterRCNN网络，利用S1中的（3）获得表盘区域坐标，对待识别图片按坐标进行切割，获得表盘图像；
（3）数字检测：将(2)所得表盘图像图片送入FasterRCNN网络，利用S1中的（5）检测表盘上的数字所在的区域；
（4）筛选：对所得到的数字区域进行筛选排序并获得此时的表盘圆心；
（5）获得刻度坐标：获得矫正前表盘图像的刻度坐标；
（6）获得标度数字值：利用(4)筛选得到的数字点对应(3)的数字区域切割数字图像，对数字图像进行二值化，计算每个数字的连通域对应的最小外接矩形，依外接矩形角度对图像旋转，记录水平方向投影最小时的角度，按该角度对数字图像旋转，并计算该旋转状态下数字外接矩形，按此矩形提取单个数字，将单个数字图像送入CNN网络，通过S1中的（7）识别数字，根据同意数字区域中每个连通域的位置关系，对单个数字进行组合，结合(5)所得刻度坐标信息对所得数字集合进行修订；
（7）获得矫正标定的刻度坐标：利用(5)所得刻度坐标和(6)所得标度数字值，根据每个刻度至圆心的距离均相等，且任意相邻连续的两个刻度间的距离相等，计算矫正后标定的刻度坐标；
（8）图像矫正：由(7)所得矫正后标定坐标和(5)所得矫正前原图刻度坐标，使用单应性变换对图像进行矫正；
（9）检测指针区域坐标：对(8)所得矫正后极坐标图像，送入Faster...

【专利技术属性】
技术研发人员：郑会龙，
申请(专利权)人：杭州测质成科技有限公司，
类型：发明
国别省市：浙江;33