基于计算机视觉和深度学习的数字式电表读数识别方法技术

基于计算机视觉和深度学习的数字式电表读数识别方法，包括下列操作步骤：(1)电表图像预处理过程，包括倾斜矫正、鱼眼矫正和统一图像大小；(2)数字区域检测过程，通过预先训练好的深度神经网络进行数字区域检测；(3)读数识别过程，对数字区域进行分割，并将分割后获得的图像统一分辨率，通过预先训练好的深度神经网络进行识别；本发明专利技术方法实现了对数字式电表读数的快速准确读取，实现了电表的自动抄表，省时省力。

【技术实现步骤摘要】
基于计算机视觉和深度学习的数字式电表读数识别方法
本专利技术涉及基于计算机视觉和深度学习的数字式电表读数识别方法，属于计算机视觉
，特别是属于基于计算机视觉的数字识别

技术介绍
目前，我国很多电表还需要人工抄表，费时费力，效率低下，而且还很容易出错。计算机视觉技术和深度学习技术，近几年获得很大的发展。如何利用计算机视觉技术和深度学习技术，实现电表的自动抄表成为电力行业急需解决的一个技术难题。
技术实现思路
有鉴于此，本专利技术的目的是专利技术一种基于计算机视觉和深度学习技术的方法，实现数字化电表的自动抄表。为了达到上述目的，本专利技术提出了基于计算机视觉和深度学习的数字式电表读数识别方法，所述方法包括下列操作步骤：(1)电表图像预处理过程，具体内容是：首先提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中，根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正；然后将所述的经过倾斜矫正后的电表图像进行鱼眼矫正，获取无畸变图像；再次改变所述无畸变图像的分辨率，将所述的无畸变图像大小进行统一，获得所述电表图像的预处理图像；(2)数字区域检测过程，具体内容是：根据步骤(1)中所获得的预处理图像，通过预先训练好的深度神经网络进行所述预处理图像中的数字区域检测；检测后返回数字区域的分类结果和数字区域的坐标信息；(3)读数识别过程，具体内容是：根据步骤(2)所返回的数字区域的分类结果和数字区域的坐标信息，对数字区域进行分割，并将分割后获得的图像统一分辨率；将分割后的图像通过预先训练好的深度神经网络进行识别，获取概率最大的数字；计算读数的置信值，如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，否则进行二次识别。所述步骤(1)中提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中的具体内容是包括如下操作步骤：(1101)将所述电表图像进行低通滤波处理，去除所述电表图像中的高频成分；(1102)将上述滤波后的图像转为二值化图像；(1103)对上述的二值化图像，计算得到图像边缘信息；(1104)根据上述图像边缘信息，提取直线，记录直线与水平方向夹角角度，并将位置不同，但角度相同的平行线保存到同一组中。所述步骤(1)中根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正的具体内容是包括如下操作步骤：(1201)获取所述电表图像的高度像素值height和宽度像素值width，并将旋转中心设为图像中心，即坐标(height/2,width/2)；(1202)根据上述旋转中心和所述的平行线最多的直线组的角度信息即旋转角度，计算获得旋转矩阵；(1203)根据所述旋转矩阵、所述电表图像的高度像素值height和宽度像素值width，对所述电表图像进行图像旋转操作，获得倾斜校正后的图像。所述步骤(1)中将所述的无畸变图像大小进行统一为高度为480像素，宽度为640像素。步骤(2)中所述预先训练好的深度神经网络的训练过程包括如下操作步骤：(21)选择深度神经网络作为训练网络；(22)将所述数字电表读数整数部分的长度即读数识别长度、数字区域左上角坐标和数字区域右下角坐标作为训练时标注数据进行输入；(23)将所述训练网络的模型输出设为4个类别和2个坐标，所述的4个类别分别为：背景类别即所述的预处理图像中无数字区域、读数识别长度为4、读数识别长度为5、读数识别长度为6，共4类；所述的2个坐标为：数字区域左上角坐标，数字区域右下角坐标。所述步骤(3)中对数字区域进行分割，并将分割后获得的图像统一分辨率的操作具体包括如下步骤：(3101)首先判断系统是否已给定所述数字电表读数整数部分的数字位数，如果已经给定则按照给定的数字位数直接对所述数字区域进行平均分割；如果没有给定，将通过读取步骤(2)中数字区域检测返回结果中的类别信息对所述数字区域进行平均分割；获得包含单个数字的图像；(3102)将所获得的包含单个数字的图像统一变换为高度为72像素宽度为72像素的标准图像。所述步骤(3)中将分割后的图像通过预先训练好的深度神经网络进行识别，获取概率最大的数字的操作具体包括如下步骤：(3201)选择深度神经网络作为训练网络，进行预先训练；(3202)所述训练网络的输入为所述的标准图像，输出为该标准图像所包含数字的识别结果及对应概率。所述步骤(3)中计算读数的置信值，如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，否则进行二次识别操作具体包括如下步骤：(3301)设定置信值的阈值；(3302)计算所识别数字组合的联合概率的最大值作为当前读数的置信值；如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，流程结束；否则转步骤(3303)；(3303)进行二次识别，缩小步骤(2)所获取的数字区域的范围，并对新的数字区域图像重新进行倾斜校正，重新识别数字并重新计算读数的置信值，比较第一次和第二次读数的置信值结果，输出读数的置信值高的那次的读取结果。本专利技术的有益效果在于能实现对数字式电表读数的快速准确读取，实现了电表的自动抄表，省时省力。附图说明图1是本专利技术提出的基于计算机视觉和深度学习的数字式电表读数识别方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术作进一步的详细描述。参见图1，介绍本专利技术提出的基于计算机视觉和深度学习的数字式电表读数识别方法，所述方法包括下列操作步骤：(1)电表图像预处理过程，具体内容是：首先提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中，根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正；然后将所述的经过倾斜矫正后的电表图像利用OpenCV库中undistortImage函数进行鱼眼矫正，获取无畸变图像；再次改变所述无畸变图像的分辨率，将所述的无畸变图像大小进行统一，获得所述电表图像的预处理图像；(4)数字区域检测过程，具体内容是：根据步骤(1)中所获得的预处理图像，通过预先训练好的深度神经网络进行所述预处理图像中的数字区域检测；检测后返回数字区域的分类结果和数字区域的坐标信息；(5)读数识别过程，具体内容是：根据步骤(2)所返回的数字区域的分类结果和数字区域的坐标信息，对数字区域进行分割，并将分割后获得的图像统一分辨率；将分割后的图像通过预先训练好的深度神经网络进行识别，获取概率最大的数字；计算读数的置信值，如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，否则进行二次识别。所述步骤(1)中提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中的具体内容是包括如下操作步骤：(1101)将所述电表图像进行低通滤波处理(如高斯滤波)，去除所述电表图像中的高频成分；(1102)使用OpenCV中的cvtColor算法将上述滤波后的图像转为二值化图像；(1103)对上述的二值化图像，使用Canny算法，计算得到图像边缘信息；(1104)根据上述图像边缘信息，使用OpenCV中的HoughLines算法提取直线，记录直线与水平方向夹角角度，并将本文档来自技高网...

【技术保护点】
1.基于计算机视觉和深度学习的数字式电表读数识别方法，其特征在于：所述方法包括下列操作步骤：(1)电表图像预处理过程，具体内容是：首先提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中，根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正；然后将所述的经过倾斜矫正后的电表图像进行鱼眼矫正，获取无畸变图像；再次改变所述无畸变图像的分辨率，将所述的无畸变图像大小进行统一，获得所述电表图像的预处理图像；(2)数字区域检测过程，具体内容是：根据步骤(1)中所获得的预处理图像，通过预先训练好的深度神经网络进行所述预处理图像中的数字区域检测；检测后返回数字区域的分类结果和数字区域的坐标信息；(3)读数识别过程，具体内容是：根据步骤(2)所返回的数字区域的分类结果和数字区域的坐标信息，对数字区域进行分割，并将分割后获得的图像统一分辨率；将分割后的图像通过预先训练好的深度神经网络进行识别，获取概率最大的数字；计算读数的置信值，如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，否则进行二次识别。

【技术特征摘要】
1.基于计算机视觉和深度学习的数字式电表读数识别方法，其特征在于：所述方法包括下列操作步骤：(1)电表图像预处理过程，具体内容是：首先提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中，根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正；然后将所述的经过倾斜矫正后的电表图像进行鱼眼矫正，获取无畸变图像；再次改变所述无畸变图像的分辨率，将所述的无畸变图像大小进行统一，获得所述电表图像的预处理图像；(2)数字区域检测过程，具体内容是：根据步骤(1)中所获得的预处理图像，通过预先训练好的深度神经网络进行所述预处理图像中的数字区域检测；检测后返回数字区域的分类结果和数字区域的坐标信息；(3)读数识别过程，具体内容是：根据步骤(2)所返回的数字区域的分类结果和数字区域的坐标信息，对数字区域进行分割，并将分割后获得的图像统一分辨率；将分割后的图像通过预先训练好的深度神经网络进行识别，获取概率最大的数字；计算读数的置信值，如果读数的置信值大于所设定的置信值阈值，则直接输出读数结果，否则进行二次识别。2.根据权利要求1所述的基于计算机视觉和深度学习的数字式电表读数识别方法，其特征在于：所述步骤(1)中提取电表图像中全部直线信息，记录直线的位置信息、直线的角度信息，将其中存在平行关系的直线保存在同一组中的具体内容是包括如下操作步骤：(1101)将所述电表图像进行低通滤波处理，去除所述电表图像中的高频成分；(1102)将上述滤波后的图像转为二值化图像；(1103)对上述的二值化图像，计算得到图像边缘信息；(1104)根据上述图像边缘信息，提取直线，记录直线与水平方向夹角角度，并将位置不同，但角度相同的平行线保存到同一组中。3.根据权利要求1所述的基于计算机视觉和深度学习的数字式电表读数识别方法，其特征在于：所述步骤(1)中根据平行线最多的直线组的角度信息进行所述电表图像的倾斜矫正的具体内容是包括如下操作步骤：(1201)获取所述电表图像的高度像素值height和宽度像素值width，并将旋转中心设为图像中心，即坐标(height/2,width/2)；(1202)根据上述旋转中心和所述的平行线最多的直线组的角度信息即旋转角度，计算获得旋转矩阵；(1203)根据所述旋转矩阵、所述电表图像的高度像素值height和宽度像素值width，对所述电表图像进行图像旋转操作，获得倾斜校正后的图像。4.根据权利要求1所述的基于计算机视觉和深度学习的数字式电表读数识别方法，其特征在...

【专利技术属性】
技术研发人员：王敬宇，孙海峰，戚琦，王晶，戈策，肖凝，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11