一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法技术

本发明专利技术公开了一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，包括如下步骤：步骤一、选取代表不同电能表类型的模板；步骤二、将待检测图片与所述模板进行SIFT特征点匹配，确定待检测图片的电能表类型；步骤三、对待检测图片上的示数区域及汉字标签区域进行定位，并且对示数区域进行切分，得到单个数字区域；步骤四、筛选出有数字显示的单个数字区域及有汉字显示的汉字标签区域，并进行汉字标签识别及单个数字识别。本发明专利技术提供的结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，能够对电能表屏幕定位进行准确定位提取，同时提高示数及标签识别的准确性。

An automatic identification method of electric energy number and label based on depth neural network and SIFT features

【技术实现步骤摘要】
一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法
本专利技术属于电能表示数与标签自动识别
，特别涉及一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法。
技术介绍
随着我国电力行业的飞速发展，快速准确的获取电表信息已成为智能电力管理的必然要求。然而，现在的电能表示数及其标签获取方式依旧还是以人工记录方式为主，无法对电量损耗进行及时监控，且存在着大量的人力浪费与错误抄写现象。利用图像识别技术对电能表图像进行处理与识别，可以实现电表数据的定时监控，降低人力成本并提高抄表准确率，对于实现电能表管理的自动化有着重大意义。电能表示数及标签自动识别，可分为目标区域的定位与识别这两项子任务。而完成上述两项任务最常见的方法主要分为神经网络算法以及非神经网络算法两个类别。在电能表目标区域的定位上，随着近年来神经网络算法在图像的目标检测任务中不断取得突破性的进展。然而，基于神经网络的目标检测算法往往不能很好的定位到标签所出现的位置。其原因在于标签面积相对整副图像占比太小，而深度神经网络算法难以提取到小目标物体的准确特征，故对于小目标物体的检测往往存在遗漏，无法胜任电能表中标签定位任务。除此之外，不同类型的电能表屏幕所含有的标签并不相同，其中高压电能表中含有标签“有功”、“无功”、“组合”、“平”、“谷”、“峰”、“尖”、“总”，八种标签，低压电能表则含有“平”、“谷”、“峰”、“尖”、“总”五种标签。且在不同型号的电能表中，同一标签出现的位置也不相同，这极大增加了标签定位的难度。电能表整体面积较大，而屏幕上的数字及标签的面积占比却较小，如果直接利用深度学习进行预测，很难保证检测精度。此外，如果直接使用电能表原生数据作为训练集来拟合神经网络，训练集的来源也是一个需要解决的问题。
技术实现思路
本专利技术的目的是提供一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，通过SIFT特征进行电能表类型匹配并定位屏幕区域，采用深度神经网络对电能表屏幕中的示数及标签进行识别；能够对电能表屏幕定位进行准确定位，同时提高示数及标签识别的准确性。本专利技术提供的技术方案为：一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，包括如下步骤：步骤一、选取代表不同电能表类型的模板；步骤二、将待检测图片与所述模板进行SIFT特征点匹配，确定待检测图片的电能表类型；步骤三、对待检测图片上的示数区域及汉字标签区域进行定位，并且对所述示数区域进行切分，得到单个数字区域；步骤四、筛选出有数字显示的单个数字区域及有汉字显示的汉字标签区域，并进行汉字标签识别及单个数字识别。优选的是，在所述步骤二中，将待检测图片与所述模板进行SIFT特征点匹配后，还包括如下步骤：步骤1、计算所述待检测图片的SIFT特征向量，并计算其与所述模板上的相匹配的特征向量之间的欧式距离，并且过滤掉超过设定阈值的特征点匹配对，得到初步筛选的特征点匹配对；步骤2、将所述初步筛选的特征点匹配对输入代理模型，进行进一步筛选，得到最终的特征点匹配对；并且根据所述最终的特征点匹配对，确定与待检测图片SIFT特征点匹配数量最多的模板；其中，将与待检测图片SIFT特征点匹配数量最多的模板的电能表类型，确定为待检测图片的电能表类型。优选的是，在所述步骤2中，所述的代理模型为RANSAC模型，得到最终的特征点匹配对，包括如下步骤：步骤a、随机从最终的特征点匹配对组成的数据集中随机抽出4个样本数据，计算出变换矩阵H，记为模型M；步骤b、计算所述数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；其中，如果当前内点集I元素个数大于最优内点集I_best，则更新I_best＝I，同时更新迭代次数；如果迭代次数大于k，则退出；否则迭代次数加1，并重复上述步骤；其中，迭代次数k为：其中，p为置信度；w为内点数目和数据点数目的比例；m为计算模型所需要的最少样本数。优选的是，在所述步骤三中，对待检测图片上的示数区域及汉字标签区域进行定位，包括如下步骤：步骤A、根据待检测图片与其对应的电能表类型的模板之间的映射关系，得到预判屏幕区域；步骤B、对所述预判屏幕区域做边缘检测，得到液晶屏幕的四条边缘直线，计算出屏幕区域四个顶点的位置，利用Hough变换进行校正，得到标准液晶屏幕区域；步骤C、根据电能表类别，确定待检测图片上的示数区域及汉字标签区域出现在屏幕中的位置，截取出示数区域及汉字标签区域。优选的是，在所述步骤三中，通过对所述示数区域进行等比切分，得到单个数字区域。优选的是，在所述步骤四中，通过二分类感知器神经网络判别单个数字区域及汉字标签区域是否有数字或汉字显示，并且筛选出有数字显示的单个数字区域及有汉字显示的汉字标签区域。优选的是，在所述步骤四中，通过lenet-5神经网络对有数字显示的单个数字区域进行识别，得到电能表示数。本专利技术的有益效果是：(1)本专利技术提供的结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，能够实现电表数据的监控，解决电能表人工抄表过程中错误抄写、成本过高等问题。(2)本专利技术提供的结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，通过SIFT特征进行电能表类型匹配并定位屏幕区域，采用深度神经网络对电能表屏幕中的示数及标签进行识别；能够对电能表屏幕定位进行准确定位，同时提高示数及标签识别的准确性。附图说明图1为本专利技术所述电能表示数与标签自动识别方法的流程图。图2为本专利技术所述的二分类感知器网络结构结构示意图。图3为本专利技术所述的Lenet-5神经网络结构示意图。具体实施方式下面结合附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。如图1所示，本专利技术提供了一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，利用SIFT特征对电能表类型进行匹配，根据特征点之间的投影关系，得到大致的屏幕区域，并使用边缘检测与霍夫(Hough)变换对电能表屏幕区域进行矫正，最后采用深度神经网络对电能表屏幕中的示数及标签进行识别；具体包含三个功能模块：电能表类别匹配模块、定位模块和识别模块。(1)电能表类别匹配模块电能表类别匹配模块用以判别所拍摄电能表的类型(如高压或低压电能表)。该模块以SIFT特征作为基础匹配特征，利用RANSAC算法完成对电能表类别的匹配识别过程。第一步，计算电能表各类型模板的SIFT特征；以人工挑选出的光照良好、表盘干净、形态完整的电能表作为相应电能表类型的模板，然后根据电能表的四个顶角位置，通过透视变换将其转化为960*720的标准电能表模板图片；计算并存储这些模板的SIFT特征点，用以后面跟待检测图片的特征进行匹配。第二步，将待检测图片与各本文档来自技高网...

【技术保护点】
1.一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，其特征在于，包括如下步骤：/n步骤一、选取代表不同电能表类型的模板；/n步骤二、将待检测图片与所述模板进行SIFT特征点匹配，确定待检测图片的电能表类型；/n步骤三、对待检测图片上的示数区域及汉字标签区域进行定位，并且对所述示数区域进行切分，得到单个数字区域；/n步骤四、筛选出有数字显示的单个数字区域及有汉字显示的汉字标签区域，并进行汉字标签识别及单个数字识别。/n

【技术特征摘要】
1.一种结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，其特征在于，包括如下步骤：
步骤一、选取代表不同电能表类型的模板；
步骤二、将待检测图片与所述模板进行SIFT特征点匹配，确定待检测图片的电能表类型；
步骤三、对待检测图片上的示数区域及汉字标签区域进行定位，并且对所述示数区域进行切分，得到单个数字区域；
步骤四、筛选出有数字显示的单个数字区域及有汉字显示的汉字标签区域，并进行汉字标签识别及单个数字识别。


2.根据权利要求1所述的结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，其特征在于，在所述步骤二中，将待检测图片与所述模板进行SIFT特征点匹配后，还包括如下步骤：
步骤1、计算所述待检测图片的SIFT特征向量，并计算其与所述模板上的相匹配的特征向量之间的欧式距离，并且过滤掉超过设定阈值的特征点匹配对，得到初步筛选的特征点匹配对；
步骤2、将所述初步筛选的特征点匹配对输入代理模型，进行进一步筛选，得到最终的特征点匹配对；并且根据所述最终的特征点匹配对，确定与待检测图片SIFT特征点匹配数量最多的模板；
其中，将与待检测图片SIFT特征点匹配数量最多的模板的电能表类型，确定为待检测图片的电能表类型。


3.根据权利要求2所述的结合深度神经网络和SIFT特征的电能表示数与标签自动识别方法，其特征在于，在所述步骤2中，所述的代理模型为RANSAC模型，得到最终的特征点匹配对，包括如下步骤：
步骤a、随机从最终的特征点匹配对组成的数据集中随机抽出4个样本数据，计算出变换矩阵H，记为模型M；
步骤b、计算所述数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；
其中，如果当前内点...

【专利技术属性】
技术研发人员：吴彬彬，朱雅魁，冀明，张增丽，
申请(专利权)人：国网河北省电力有限公司电力科学研究院，
类型：发明
国别省市：河北;13