一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法技术

本发明专利技术涉及机器视觉领域，公开了一种基于Faster R‑CNN和U‑Net的指针式仪表读数自动识别方法，包括：S1)制作Faster R‑CNN数据集；S2)建立Faster R‑CNN网络模型，对Faster R‑CNN网络模型分别进行训练和测试；S3)构建U‑Net网络模型，建立损失函数L，对U‑Net网络模型分别进行训练和测试；S4)利用刻度线分割结果拟合刻度线轮廓；S5)利用透视变换校准表盘图像；S6)利用Faster R‑CNN网络模型对指针区域进行检测；S7)获取表盘校准图像的指针倾角以及最终结果。本发明专利技术采用Faster R‑CNN模型代替ORB等传统角点检测算法，提高检测仪表表盘和仪表指针所在区域的准确性；用分割图像、拟合轮廓的方法取代霍夫变换算法，针对电力仪表特点重新设计了U‑Net模型和相应的损失函数，自动识别准确率高。

【技术实现步骤摘要】
一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法
本专利技术涉及机器视觉领域，特别是涉及一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法。
技术介绍
变电站的大量压力表、电流表、油温表等表计出于对经济成本和环境中电磁干扰的考虑，大多设计为指针式仪表。随着经济的发展，巡检机器人被引进越来越多的变电站，代替人工巡检，极大提高了变电站的自动化水平。巡检机器人可以方便采集变电站的大量表计图像，对于这些获取的图像数据尤其是指针式仪表图像数据，如何实现其读数自动识别对于进一步提高变电站自动化水平具有重要的意义。指针式仪表读数自动识别流程大致分为检测表盘和识别指针位置两个步骤。传统检测图像中仪表表盘区域的方法大多为先计算图像的梯度找到图像角点，然后根据图像角点检测结果与模版库的表盘图像进行特征匹配，特征匹配计算的距离越近则角点所在区域是表盘图像的概率越大。常用的角点检测方法有SIFT、SURF、ORB等。但是角点检测方法受图像噪声、环境遮挡因素影响较大，因此在图像质量不高或者背景存在大量干扰物的情形下难以正确地检测表盘位置。在指针检测方面，传统采用的方法为霍夫线变换，不过霍夫线变换对参数的依赖性强、灵活性差，并且处理背景复杂的仪表图像时，霍夫线变换边缘检测结果中会出现非常多的干扰图形，因而其实用性受限。比如国家专利文献CN104657711A公开了“一种鲁棒的指针式仪表读数自动识别方法”，包括如下步骤：s1、获取仪表盘图像；s2、提取与仪表盘图像对应的本征图像，在本征图像提取过程中消除阴影；s3、基于所述本征图像确定仪表盘的中心，然后定位刻度线和仪表指针；s4、确定仪表盘数字所在区域，然后对仪表盘数字所在区域内的数字进行识别；s5、根据仪表指针位置，确定与刻度线相对关系，然后根据刻度读数得到仪表读数。该专利技术采用霍夫线Hough变换，然而霍夫线变换对参数的依赖性强、灵活性差，并且处理背景复杂的仪表图像时，霍夫线变换边缘检测结果中会出现非常多的干扰图形，因而其实用性受限。
技术实现思路
本专利技术是为了解决传统角点检测和霍夫变换方法自动识别指针式仪表图像读数的准确率不高的问题，提出了一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法。本专利技术采用基于深度学习的FasterR-CNN模型代替ORB等传统角点检测算法，提高检测仪表表盘和仪表指针所在区域的准确性；用分割图像、拟合轮廓的方法取代霍夫变换算法，针对电力仪表特点重新设计了U-Net模型和相应的损失函数，提高复杂场景下对小物件识别的准确性，指针式仪表图像读数的自动识别准确率高。为了实现上述目的，本专利技术采用以下技术方案：一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法，包括步骤：S1)采集指针式仪表图像数据集，制作FasterR-CNN数据集；S2)建立FasterR-CNN网络模型，利用FasterR-CNN数据集对FasterR-CNN网络模型分别进行训练和测试，获得表盘区域识别结果，表盘区域识别结果包括表盘类型、仪表量程和/或仪表单位；S3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net网络模型分别进行训练和测试，获得U-Net表盘区域的刻度线分割结果，刻度线分割结果包括表盘轮廓中的n个点坐标；S4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆；S5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像；S6)利用FasterR-CNN网络模型对指针区域进行检测，利用U-Net网络模型分割出指针区域的指针像素；S7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，获得指针式仪表读数识别的最终结果。本专利技术首先利用FasterR-CNN检测仪表图像的表盘区域，同时得到表盘的类型，然后使用U-Net分割表盘区域的刻度线部分，紧接着根据刻度线端点位置信息通过轮廓拟合以及透视变换方法对表盘图像进行校准；在校准的表盘图像中再次使用FasterR-CNN检测所得表盘区域中的指针所在区域，并再次使用U-Net精细地分割指针所在区域中仅属于指针的像素，最后计算指针的倾角并结合仪表的类型信息从而得到指针式仪表的最终识别结果。进一步的，步骤S1)中制作FasterR-CNN数据集，包括将FasterR-CNN数据集按比例分为FasterR-CNN训练集和FasterR-CNN测试集，对FasterR-CNN训练集的每张图片制作两份XML文件，两份XML文件包括第一份XML文件和第二份XML文件，第一份XML文件记录训练集每张图片中表盘区域的位置和表盘标签，表盘标签包括仪表的具体型号；第二份XML文件记录训练集每张图片指针区域的位置和指针标签。制作FasterR-CNN数据集时将巡检机器人采集的指针式仪表图像数据集按比例分为训练集和测试集。对于训练集的每张图片，制作两份XML文件：第一份XML文件记录表盘区域的位置和标签，为了后期能够正确得到仪表种类，表盘的标签需要指明仪表的具体型号(如SF6压力表)；第二份XML文件记录指针区域的位置和标签，标签统一注明为指针即可。这两份XML文件将分别用于训练FasterR-CNN网络检测识别表盘区域和指针区域。进一步的，步骤S2)中利用FasterR-CNN数据集对FasterR-CNN网络模型分别进行训练和测试，包括将训练集和第一份XML文件输入到FasterR-CNN网络模型，调整FasterR-CNN网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对FasterR-CNN网络模型进行测试。训练并测试FasterR-CNN网络模型，将训练集图片和记录表盘区域位置和标签信息的XML文件输入到FasterR-CNN网络模型，并适当调整参数如学习率以及训练轮数。训练完成后需要对模型的检测效果进行测试，测试阶段需要输入测试集中的图片数据。进一步的，步骤S3)包括：S31)将指针式仪表图片数据集按比例分成U-Net训练集和U-Net测试集，对U-Net训练集中的每张图片制作两类标签图像，包括第一类标签图像和第二类标签图像，所述第一类标签图像保留表盘区域中的刻度线像素，所述第二类标签图像保留指针区域中仅属于指针的像素；S32)对标签图像进行预处理，包括将背景像素类别标签设为0，目标像素类别标签统一设为1；S33)在U-Net网络中计算样本真实值和预测值的相似度X为图像像素的真实标签集合，Y为预测标签集合，ε为平滑常数；S34)将相似度s作为U-Net网络的损失函数L；S35)将U-Net训练集和第一类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测试。制作U-Net数据集。将指针式仪表图片数据集按照比例分成训练集和测试集。对训练集中的每张图片制作两张标签图像：第一本文档来自技高网...

【技术保护点】
1.一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，包括步骤：/nS1)采集指针式仪表图像数据集，制作Faster R-CNN数据集；/nS2)建立Faster R-CNN网络模型，利用Faster R-CNN数据集对Faster R-CNN网络模型分别进行训练和测试，获得表盘区域识别结果，所述表盘区域识别结果包括表盘类型、仪表量程和/或仪表单位；/nS3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net网络模型分别进行训练和测试，获得U-Net表盘区域的刻度线分割结果，所述刻度线分割结果包括表盘轮廓中的n个点坐标；/nS4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆；/nS5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像；/nS6)利用Faster R-CNN网络模型对指针区域进行检测，利用U-Net网络模型分割出指针区域的指针像素；/nS7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，获得指针式仪表读数识别的最终结果。/n

【技术特征摘要】
1.一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，包括步骤：
S1)采集指针式仪表图像数据集，制作FasterR-CNN数据集；
S2)建立FasterR-CNN网络模型，利用FasterR-CNN数据集对FasterR-CNN网络模型分别进行训练和测试，获得表盘区域识别结果，所述表盘区域识别结果包括表盘类型、仪表量程和/或仪表单位；
S3)制作U-Net数据集，构建U-Net网络模型，建立损失函数L并利用U-Net数据集对U-Net网络模型分别进行训练和测试，获得U-Net表盘区域的刻度线分割结果，所述刻度线分割结果包括表盘轮廓中的n个点坐标；
S4)利用刻度线分割结果拟合刻度线轮廓，获得拟合椭圆；
S5)利用透视变换校准表盘图像，获得标准无偏的表盘校准图像；
S6)利用FasterR-CNN网络模型对指针区域进行检测，利用U-Net网络模型分割出指针区域的指针像素；
S7)根据指针像素拟合指针轮廓并获取表盘校准图像的指针倾角，获得指针式仪表读数识别的最终结果。


2.根据权利要求1所述的一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S1)中制作FasterR-CNN数据集，包括将FasterR-CNN数据集按比例分为FasterR-CNN训练集和FasterR-CNN测试集，对FasterR-CNN训练集的每张图片制作两份XML文件，所述两份XML文件包括第一份XML文件和第二份XML文件，所述第一份XML文件记录训练集每张图片中表盘区域的位置和表盘标签，所述表盘标签包括仪表的具体型号；第二份XML文件记录训练集每张图片指针区域的位置和指针标签。


3.根据权利要求2所述的一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S2)中利用FasterR-CNN数据集对FasterR-CNN网络模型分别进行训练和测试，包括将训练集和第一份XML文件输入到FasterR-CNN网络模型，调整FasterR-CNN网络模型的参数，所述参数包括学习率和/或训练轮数；利用测试集对FasterR-CNN网络模型进行测试。


4.根据权利要求2或3所述的一种基于FasterR-CNN和U-Net的指针式仪表读数自动识别方法，其特征在于，步骤S3)包括：
S31)将指针式仪表图片数据集按比例分成U-Net训练集和U-Net测试集，对U-Net训练集中的每张图片制作两类标签图像，包括第一类标签图像和第二类标签图像，所述第一类标签图像保留表盘区域中的刻度线像素，所述第二类标签图像保留指针区域中仅属于指针的像素；
S32)对标签图像进行预处理，包括将背景像素类别标签设为0，目标像素类别标签统一设为1；
S33)在U-Net网络中计算样本真实值和预测值的相似度X为图像像素的真实标签集合，Y为预测标签集合，ε为平滑常数；
S34)将相似度s作为U-Net网络的损失函数L；
S35)将U-Net训练集和第一类标签图像输入到U-Net网络进行训练，当经若干迭代次数后损失函数L的值不再减少时结束训练，训练结束后利用U-Net测试集数据对U-Net网络进行测试。


5.根据权利要求4所述的一种基于Fast...

【专利技术属性】
技术研发人员：吴国强，沈建良，管敏渊，楼平，王涤，杨斌，高奥，归宇，岑富林，陈超，王瑶，赵崇娟，
申请(专利权)人：国网浙江省电力有限公司湖州供电公司，湖州电力设计院有限公司，
类型：发明
国别省市：浙江;33