基于深度学习的指针式仪表读数识别方法技术

本发明专利技术公开了一种基于深度学习的指针式仪表读数识别方法，该方法通过第一深度网络模型识别待识别仪表图片中的表盘区域；将该待识别仪表的表盘所在的区域从该图片上截取出来；通过第二深度网络模型识别该表盘中的圆心坐标、各个刻度线数字坐标、半指针针尖坐标以及位于指针两侧的两个刻度线数字的坐标；将该两个刻度线数字所在的区域分别从截取出的待识别仪表的表盘区域的图片中截取出来；通过第三深度网络模型识别该两个刻度线数字的数值，并采用角度法进行读数。该基于深度学习的指针式仪表读数识别方法能够同时识别多种类型的指针式仪表的读数，且读数效率更高。

Reading recognition method of pointer meter based on deep learning

【技术实现步骤摘要】
基于深度学习的指针式仪表读数识别方法
本专利技术是关于仪器仪表智能识别
，特别是关于一种基于深度学习的指针式仪表读数识别方法。
技术介绍
指针式仪表作为一种测量仪器，具有结构简单、价格低廉、防尘防水、抗电磁干扰能力强等特点，被广泛应用于电力系统、石油化工、航天航空等领域。目前大多数指针式仪表基本都是靠人眼进行示数判读，人眼识别过程中精度不高、工作量大、效率低，且在变电站等高温、高压、高辐射环境中，不适合用人眼进行仪表识别，因此，有必要研究用机器代替人工来进行指针式仪表的读数识别。指针式仪表读数识别主要包含三个步骤：仪表定位、表盘要素提取和示数判读。仪表定位主要有Hough变换圆检测和模板匹配法；表盘要素提取主要有Hough变换、减影法、中心投影法、最小二乘法、区域生长法等；示数判读主要有距离法和角度法。在仪表定位中，Hough变换圆检测和特征匹配方法效率低，速度慢。表盘要素提取时的中心投影法、减影法和区域生长法对采集仪表图像的要求较高，容易受拍摄环境的影响，鲁棒性能差，而Hough变换和最小二乘法计算量大，误差高，导致提取指针的速度较慢。仪表示数判读的方法中，角度法误差较大，距离法计算量较大。另外，专利技术人还发现，目前的仪表读数识别方法都是只针对一种类型的仪表进行读数识别，无法同时识别多种类型的仪表。公开于该
技术介绍
部分的信息仅仅旨在增加对本专利技术的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的指针式仪表读数识别方法，其能够同时识别多种类型的指针式仪表的读数，且读数效率更高。为实现上述目的，本专利技术提供了一种基于深度学习的指针式仪表读数识别方法，用于对指针式仪表进行读数识别，该方法包括：将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标；将该待识别仪表的表盘所在的区域从该图片上截取出来；将截取出的所述待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离所述指针所在的直线最近的两个刻度线数字的区域；将该两个刻度线数字所在的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出该两个刻度线数字的数值，并采用角度法计算出该仪表的读数。在本专利技术的一实施方式中，该指针式仪表读数识别方法还包括构建所述第一深度网络模型，所述构建所述第一深度网络模型包括：通过可见光摄像头采集监测范围内各个仪表的图片集，其中，该图片集包括多个拍摄角度、多种光照条件、多个背景以及多个指针旋转角度下拍摄的各个仪表的图片；在所述图片集中标注所述各个仪表的表盘区域以及仪表类型，并记录下所述各个仪表的表盘区域的位置信息以及所述各个仪表的刻度线数字区域的位置信息；通过目标检测网络模型对标注后的图片集进行训练得到所述第一深度网络模型。在本专利技术的一实施方式中，该指针式仪表读数识别方法还包括构建所述第二深度网络模型，所述构建所述第二深度网络模型包括：根据所述各个仪表的表盘区域的位置信息，将所述各个仪表的表盘区域从所述各个仪表的图片上截取出来从而得到表盘图片集；在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域，其中，所述半指针区域为矩形框，所述半指针被标注在该矩形框的对角线上；通过目标检测网络模型对标注后的表盘图片集进行训练从而得到所述第二深度网络模型。在本专利技术的一实施方式中，在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域包括：根据K均值算法确定所述各个表盘的半指针、表盘圆心以及刻度线数字的标注区域。在本专利技术的一实施方式中，该指针式仪表读数识别方法还包括构建所述第三深度网络模型，所述构建所述第三深度网络模型包括：根据所述各个仪表的刻度线数字区域的位置信息，将所述各个仪表的刻度线数字区域从所述各个表盘的图片中截取出来从而得到刻度线数字图片集；采用轮廓法对所述刻度线数字图片集的各个刻度线数字进行倾斜校正，并对校正后的各个刻度线数字用投影法进行分割从而得到数字字符图片集；采用CaffeNet网络模型迁移学习MNIST数据集权重训练所述数字字符图片集从而得到所述第三深度网络模型。在本专利技术的一实施方式中，所述确定该仪表表盘的半指针针尖的坐标包括：确定所述待识别仪表的表盘的圆心坐标到所述半指针矩形框的四个顶点的欧式距离；选择所述欧式距离最大值所对应的顶点坐标为所述半指针针尖的坐标。在本专利技术的一实施方式中，所述确定出距离所述指针所在的直线最近的两个刻度线数字包括：确定所述待识别仪表的各个刻度线数字的坐标到所述半指针针尖的坐标的欧式距离；选择所述欧式距离最小值和次小值所对应的刻度线数字为距离所述指针所在的直线最近的两个刻度线数字。在本专利技术的一实施方式中，所述采用角度法计算出该仪表的读数包括：将距离所述指针所在的直线最近的两个刻度线数字分别与所述待识别仪表的表盘圆心进行连接从而得到第一直线和第二直线；确定所述第一直线与所述指针所在的直线的第一夹角thea1，并确定所述第二直线与所述指针所在的直线的第二夹角thea2；根据角度法确定所述待识别仪表的读数v，其中，所述角度法为：其中v1为距离所述指针所在的直线最近的两个刻度线数字中较小的刻度线数字的值；v2为距离所述指针所在的直线最近的两个刻度线数字中较大的刻度线数字的值。在本专利技术的一实施方式中，所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值包括：若所述距离所述指针所在的直线最近的两个刻度线数字的数值均不能够被识别出来，则判定该两个刻度线数字被所述待识别仪表的指针所遮挡，此时再确认所述待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域；将所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；将截取出的所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值；根据所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值确定出所述距离所述指针所在的直线最近的两个刻度线数字的数值。在本专利技术的一实施方式中，所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符本文档来自技高网...

【技术保护点】
1.一种基于深度学习的指针式仪表读数识别方法，用于对指针式仪表进行读数识别，其特征在于，该方法包括：/n将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标；/n将该待识别仪表的表盘所在的区域从该图片上截取出来；/n将截取出的所述待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离所述指针所在的直线最近的两个刻度线数字的区域；/n将该两个刻度线数字所在的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；/n将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值；以及/n采用角度法计算出该待识别仪表的读数，并且根据所述待识别仪表的类型获取该待识别仪表的刻度单位。/n

【技术特征摘要】
1.一种基于深度学习的指针式仪表读数识别方法，用于对指针式仪表进行读数识别，其特征在于，该方法包括：
将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标；
将该待识别仪表的表盘所在的区域从该图片上截取出来；
将截取出的所述待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离所述指针所在的直线最近的两个刻度线数字的区域；
将该两个刻度线数字所在的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；
将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值；以及
采用角度法计算出该待识别仪表的读数，并且根据所述待识别仪表的类型获取该待识别仪表的刻度单位。


2.如权利要求1所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第一深度网络模型，所述构建所述第一深度网络模型包括：
通过可见光摄像头采集监测范围内各个仪表的图片集，其中，该图片集包括多个拍摄角度、多种光照条件、多个背景以及多个指针旋转角度下拍摄的各个仪表的图片；
在所述图片集中标注所述各个仪表的表盘区域以及仪表类型，并记录下所述各个仪表的表盘区域的位置信息以及所述各个仪表的刻度线数字区域的位置信息；以及
通过目标检测网络模型对标注后的图片集进行训练得到所述第一深度网络模型。


3.如权利要求2所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第二深度网络模型，所述构建所述第二深度网络模型包括：
根据所述各个仪表的表盘区域的位置信息，将所述各个仪表的表盘区域从所述各个仪表的图片上截取出来从而得到表盘图片集；
在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域，其中，所述半指针区域为矩形框，所述半指针被标注在该矩形框的对角线上；以及
通过目标检测网络模型对标注后的表盘图片集进行训练从而得到所述第二深度网络模型。


4.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域包括：
根据K均值算法确定所述各个表盘的半指针、表盘圆心以及刻度线数字的标注区域。


5.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第三深度网络模型，所述构建所述第三深度网络模型包括：
根据所述各个仪表的刻度线数字区域的位置信息，将所述各个仪表的刻度线数字区域从所述各个表盘的图片中截取出来从而得到刻度线数字图片集；
采用轮廓法对所述刻度线数字图片集的各个刻度线数字进行倾斜校正，并对校正后的各个刻度线数字用投影法进行分割从而得到数字字符图片集；以及
采用CaffeNet网络模型迁移学习MNIST数据集权重训练所述数字字符图片集从而得到所述第三深度网络模型。


6.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，所述确定该仪表表盘的半指针针尖的坐标包括：
确定所述待识别仪表的表盘的圆心坐标到所述半指针矩形框的四个顶点的欧式距离；以及
选择所述欧式距离最大值所对应的顶点坐标为所述半指针针尖的坐标。


7...

【专利技术属性】
技术研发人员：朱杰，周登科，王库，
申请(专利权)人：随锐科技集团股份有限公司，
类型：发明
国别省市：北京;11