基于端到端回归模型的电线杆标牌目标检测及识别方法技术

本发明专利技术公开了基于端到端回归模型的电线杆标牌目标检测及识别方法，该方法包括以下步骤：制作电线杆标牌图像的多样化数据集，然后在分类网络框架下对端到端一次性回归目标检测模型进行适用于电线杆标牌的训练；提取出标牌在图像中的位置坐标后综合先验信息和投影分析法进行字符分割；采用迁移学习简化对字符识别网络的训练以提高整体效率；最后选用HSI颜色空间来识别标牌背景色以减小图像分析的工作量。本发明专利技术采用高效的端到端目标检测方法实现对电线杆标牌有效信息的准确识别，可以在一定程度上提高巡检路径规划、农网改造勘察的效率。

【技术实现步骤摘要】
基于端到端回归模型的电线杆标牌目标检测及识别方法
本专利技术属于输电线路巡检工作中电线杆标牌图象识别
，具体涉及基于一次性回归模型对电线杆标牌进行端到端的目标检测，利用迁移学习简化字符识别网络的训练过程以及在能够简化图像分析工作的HSI颜色空间进行背景色识别的方法。
技术介绍
我国电网建设发展迅速，社会生产生活对电力系统的依赖性不断加强，随着政府和国民环保意识的提高，许多耗能领域在电力使用上的比重也都在增加，这些都对电力系统能够安全可靠运行提出了越来越高的要求。而且随着泛在电力物联网的建设，电力系统运维各环节都在数字化、信息化、自动化方面不断完善。通过智能巡检方式保障电力系统运行的安全稳定是大环境下的发展要求。农村电网改造升级任务同样需要对输电线路进行勘察规划，在地理环境复杂或建设水平落后的农村地区，区分种类数量繁多的输电线路显然需要耗费大量的时间和人力资源。根据输电线路标志牌的制作规范，输电线路杆的标牌记录了线路的名称、杆塔号这类对电力线路巡检的路线标识起到重要作用的信息，根据这些信息可以对输电线路按类别进行划分统计。通过计算机图像识别本文档来自技高网...

【技术保护点】
1.基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，包括以下步骤：/n步骤1：采集多张包含电线杆标牌的图片形成图片集，所述图片集中的图片具有多样性；/n步骤2：用步骤1得到的图片集制作将用于训练目标检测模型的训练集和检验图像识别效果的测试集，标注图片中判定为有效的电杆标牌的边界框中心点坐标位置

【技术特征摘要】
1.基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，包括以下步骤：
步骤1：采集多张包含电线杆标牌的图片形成图片集，所述图片集中的图片具有多样性；
步骤2：用步骤1得到的图片集制作将用于训练目标检测模型的训练集和检验图像识别效果的测试集，标注图片中判定为有效的电杆标牌的边界框中心点坐标位置和宽高尺寸然后将图片与对应生成的标注文件按训练集规定格式保存；
步骤3：基于在Imagenet数据集上预训练的端到端一次性回归目标检测模型，进行参数配置，并在特征提取分类网络框架下用步骤2制作的训练集执行训练，得到训练后的目标检测模型，其中特征提取分类网络框架采用darknet框架；
步骤4：用步骤2得到的测试集验证步骤3训练中loss函数值最低的目标检测模型的识别率，识别率在阈值以下时，回到步骤1采集更多图像作为训练集或重新设置步骤3的参数重新执行训练，识别率在阈值以上时，用所述目标检测模型对电线杆标牌图像进行提取，并执行步骤5；
步骤5：基于电线杆标牌的印刷规则和投影分析法对步骤4中提取的标牌图像中的字符进行分割得到单个标牌中单个字符的图片；
步骤6：利用迁移学习训练标牌字符识别卷积神经网络，训练结束后，将步骤5中分割出的电线杆标牌中每个字符的图片输入标牌字符识别卷积神经网络中进行识别并输出对应文字。


2.根据权利要求1所述的基于端到端回归模型的电线杆标牌目标检测及识别方法，其特征在于，所述步骤3包括以下步骤：
S3.1、根据以下公式配置特征提取分类网络中最后一个卷积层的滤波器数目filters，filters＝(m+5)*A；式中，m为所要检测目标的类别数，A为预测边界的候选框个数；
S3.2、将darknet53.conv.74文件放在特征提取分类网络框架下，用其提供的模型预训练卷积权重值作为端到端一次性回归目标检测模型的初始化参数；
S3.3、设置端到端一次性回归目标检测模型训练的次数范围、每次送入模型的样本量batch、初始学习率以及所使用的学习率调整机制；
S3.4:执行端到端一次性回归目标检测模型的训练，特征提取分类网络将每张输入图片划分为S×S个网格，每个网格对应B个预测边界框，计算特征提取分类网络预测的第i个网格对应的第j个边界框的置信度Cij以及预测边界框与目标实际边框交并比IoU，计算第k类目标在第i个网格对应的第j个边界框出现的可能性得分Scorekij，得分最高的边界框为预测结果，输出其中心点坐标(x,y)和宽高尺寸(w,h)，具体计算公式如下：
Cij＝P(Object)*IoU



Scorekij＝P(Classk|Object)*Cij
式中，P(Object)为网格包含检测目标中心点的概率，包含则为1，不包含为0，IoU为预测边界框与实际目标区域的交并比，P(Classk|Object)为预测已经包含目标的边界框中包含第k类目标的条件概率；
S3.5计算损失函数loss来观察训练完成情况，具体计算公式如下：
损失函数loss＝loss1+loss2+loss3









式中，loss1为分类误差，loss2为位置误差，loss3为置信度误差，s2为划分的网格数目，Classes为待检测的目标类别，本发明中只有电线杆标牌一类，B为每个网格对应候选边界框的数目，表示物体落入格子i中，落入为1，未落入为0，pi(c)为第c类目标中心点在第i个网格的预测概率，为第c类...

【专利技术属性】
技术研发人员：琚泽立，孙浩飞，侯喆，蒲路，吕新良，邢伟，王浩，吴经锋，杨传凯，曹晖，赵学风，李雪，孔一鸣，楼润枫，
申请(专利权)人：国网陕西省电力公司电力科学研究院，西安交通大学，国网陕西省电力公司，国网陕西省电力公司西咸新区供电公司，国家电网有限公司，
类型：发明
国别省市：陕西;61