一种无人机巡视输电线路销钉缺陷分级图像识别方法技术

本发明专利技术涉及一种无人机巡视输电线路销钉缺陷分级图像识别方法，包括：S0、利用巡视采集图像对区域推荐卷积神经网络和SVM分类器进行预训练；S1、巡视采集图像送入区域推荐卷积神经网络；S2、利用区域推荐卷积神经网络对销钉进行定位，输出销钉定位矩形框图像；S3、对销钉定位矩形框图像上采样并作灰度化处理；S4、提取步骤S3处理后图像的SIFT特征；S5、对图像SIFT特征采用K‑means算法聚类并制作成词袋模型；S6、词袋模型送入SVM分类器判断销钉是否存在缺陷。有益效果是简化了输电线路巡检人员的工作量，提高了输电线路销钉缺陷的检出率。

A Hierarchical Image Recognition Method for Pin Defects of Unmanned Aerial Vehicle Inspection Transmission Line

【技术实现步骤摘要】
一种无人机巡视输电线路销钉缺陷分级图像识别方法
本专利技术涉及图像识别
，具体涉及一种无人机巡视输电线路销钉缺陷分级图像识别方法。
技术介绍
输电线路是电网的重要组成部分，是电力系统的动脉，输电线路巡检事关电网安全平稳运行。国家电网公司每年投入大量人力物力来保证电力巡检工作。由于我国地域辽阔，电网规模庞大，输电线路距离长容量大环境复杂，人工检修存在巡检环境恶劣，工作量大，记录数据多且不易储存的问题，费时费力。故目前主要通过无人机或者直升机巡检，拍摄输电线路图像后传回后台进行人工分析，进行线路缺陷及故障的排查，保证输电线路正常运行。但是由于航拍图像数量巨大，耗费大量人力。面对海量数据，工作人员受主观经验影响，难免会出现一定的漏检或误检，从而埋下安全隐患。借助合适的算法，利用计算机对无人机巡检图像进行缺陷检测有助于改善人工排查的弊端。销钉在输电线路中起到防止软连接部位错动的作用，销钉的脱落或脱出可能影响输电线路上其余部件的正常运行。但因其数量多，尺寸小，巡检人员需要通过放大拖拽的方式对无人机巡检图像中的销钉一一排查，不仅工作量巨大，漏报或误报率也是居高不下。近年来，基于深度学习目标识别算法在各个领域取得较好的效果。与传统方法相比，在大数据的支持下，深度学习不再依赖于人为设计选取的特征，自动学习与提取特征，鲁棒性强，识别精度更高。目前图像识别技术电力行业、高速铁路行业的应用广泛，深度学习、增量学习训练人工智能技术应用于销钉识别多有报道。申请号：201810311146.6，申请人：电子科技大学，专利技术名称《一种电力设备固件无人机巡检销钉缺失检测方法》解决电力设备在复杂场景下难以检测到螺丝钉是否缺失销钉的技术问题。申请号：201610793577.1，申请人：西南交通大学，专利技术名称《一种高铁接触网旋转双耳横向销钉不良状态检测方法》实现了双耳连接处和短斜撑上端连接处定位的准确性、开口销脱落与张角不足故障的检测。专利号：201410649784.0，申请人：西南交通大学，专利技术名称《一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法》包括：首先选取一个较为清晰完整的旋转双耳模板，利用SIFT算法提取双耳模板与目标图像的特征点并作匹配，然后利用改进的RANSAC算法消除误匹配得到仿射变换矩阵，定位旋转双耳；其次，采用Hough变换实现目标图像中双耳套筒倾角的提取，并将其旋转至水平方向，进而实现旋转双耳部分的分割；随后，累加目标图像的竖直方向像素灰度值，确定销钉受力部分和两端非受力部分长度；最后，归纳销钉正常工作及故障时这些长度间相关比值的范围，从而判断销钉的工作状态。本专利技术针对上述现有技术，对电力场所巡检图像销钉缺陷的识别进行了改进。
技术实现思路
本专利技术的目的是，提出一种简化巡检人员工作量，提高销钉缺陷检出率的无人机巡视输电线路销钉缺陷分级图像识别方法。为实现上述目的，本专利技术采取的技术方案是一种无人机巡视输电线路销钉缺陷分级图像识别方法，包括以下步骤：S0、利用巡视采集图像对区域推荐卷积神经网络和SVM分类器进行预训练；S1、巡视采集图像送入区域推荐卷积神经网络；S2、利用区域推荐卷积神经网络对销钉进行定位，输出销钉定位矩形框图像；S3、对销钉定位矩形框图像上采样并作灰度化处理；S4、提取步骤S3处理后图像的SIFT特征；S5、对图像SIFT特征采用K-means算法聚类并制作成词袋模型；S6、词袋模型送入SVM分类器判断销钉是否存在缺陷。进一步优选的技术方案，还包括以下步骤：S7、SVM分类器进行SVM分类输出销钉缺陷类型、位置；S8、跳转执行S1，继续图像识别。优选地，上述区域推荐卷积神经网络的预训练样本为所有包含销钉的巡视采集图像，上述SVM分类器的预训练正样本是巡视采集图像中有缺陷的销钉、负样本是巡视采集图像中无缺陷的销钉。优选地，上述的区域推荐卷积神经网络由前置网络，区域推荐网络和目标定位网络构成，上述前置网络提取输入图像的卷积特征图，上述区域推荐网络预测输入图像中可能存在销钉的区域，上述目标定位网络精确定位输入图像中销钉位置。优选地，上述销钉定位矩形框图像统一上采样至128×128像素。优选地，上述图像SIFT特征为n×128维矩阵，其中n为图像特征点数；上述K-means聚类中K设定为100，由K-means聚类并制成词袋模型后图像特征归一为1×100维。优选地，上述巡视采集图像是无人机巡视输电线路图像。本专利技术有如下有益效果：采用两级识别网络，第一级识别网络定位所有销钉位置，第二级识别网络识别销钉是否存在缺陷，简化了输电线路巡检人员的工作量，提高了输电线路销钉缺陷的检出率。【附图说明】图1是一种无人机巡视输电线路销钉缺陷分级图像识别方法步骤图。图2是一种无人机巡视输电线路销钉缺陷分级图像识别方法实施例流程图。【具体实施方式】下面结合实施例并参照附图对本专利技术作进一步描述。实施例1本实施例实现一种无人机巡视输电线路销钉缺陷分级图像识别方法。卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。支持向量机(SupportVectorMachine,SVM)是一类按监督学习方式对数据进行二元分类的广义线性分类器。SIFT，即尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)，是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。K均值聚类算法(k-meansclusteringalgorithm)是一种迭代求解的聚类分析算法，其步骤是随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。词袋模型(英语：Bag-of-wordsmodel)是个在自然语言处理和信息检索下被简化的表达模型。附图1所述一种无人机巡视输电线路销钉缺陷分级图像识别方法步骤图，框图中的区域卷积神经网络，可以基于本地的服务器实现，也可以是基于云计算的服务实现，或者兼而有之；具体实现可以是基于Python语言的项目；可以选用商业的神经网络，例如Alexnet、VGGNet，以及上述神经网络的改进。一种无人机巡视输电线路销钉缺陷分级图像识别方法，包括以下步骤：S0、利用巡视采集图像对区域推荐卷积神经网络和SVM分类器进行预训练；S1、巡视采集图像送入区域推荐卷积神经网络；S2、利用区域推荐卷积神经网络对销钉进行定位，输出销钉定位矩形框图像；S3、对销钉定位矩形框图像上采样并作灰度化处理；S4、提取步骤S3处理后图像的SIFT特征；S5、对图像SIFT特征采用K-means算法聚类并制作成词袋模型；S6、词袋模型送入SVM分类器判断销钉是否存在缺陷。对于巡视采集图像，经过两级识别网络，第一级识别网络定位巡视采集图像所有销钉位置，第二级识别网络识别销钉是否存在缺陷。进一步优选的技术方案，还包括以下步骤：S7、SVM分类器进行SVM分类输出销钉缺陷类型、位置；S8、跳转执行S1，继续图像识别。进一步的标明销钉缺陷类型、位置，以便持续将巡视采集图像应用于区域推荐卷本文档来自技高网...

【技术保护点】
1.一种无人机巡视输电线路销钉缺陷分级图像识别方法，其特征在于包括以下步骤：S0、利用巡视采集图像对区域推荐卷积神经网络和SVM分类器进行预训练；S1、巡视采集图像送入区域推荐卷积神经网络；S2、利用区域推荐卷积神经网络对销钉进行定位，输出销钉定位矩形框图像；S3、对销钉定位矩形框图像上采样并作灰度化处理；S4、提取步骤S3处理后图像的SIFT特征；S5、对图像SIFT特征采用K‑means算法聚类并制作成词袋模型；S6、词袋模型送入SVM分类器判断销钉是否存在缺陷。

【技术特征摘要】
1.一种无人机巡视输电线路销钉缺陷分级图像识别方法，其特征在于包括以下步骤：S0、利用巡视采集图像对区域推荐卷积神经网络和SVM分类器进行预训练；S1、巡视采集图像送入区域推荐卷积神经网络；S2、利用区域推荐卷积神经网络对销钉进行定位，输出销钉定位矩形框图像；S3、对销钉定位矩形框图像上采样并作灰度化处理；S4、提取步骤S3处理后图像的SIFT特征；S5、对图像SIFT特征采用K-means算法聚类并制作成词袋模型；S6、词袋模型送入SVM分类器判断销钉是否存在缺陷。2.根据权利要求1所述的一种无人机巡视输电线路销钉缺陷分级图像识别方法，其特征在于还包括以下步骤：S7、SVM分类器进行SVM分类输出销钉缺陷类型、位置；S8、跳转执行S1，继续图像识别。3.根据权利要求1所述的一种无人机巡视输电线路销钉缺陷分级图像识别方法，其特征在于：所述区域推荐卷积神经网络的预训练样本为所有包含销钉的巡视采集图像，所述SVM分类器的预训练正样本是巡视采集图像中有缺...

【专利技术属性】
技术研发人员：顾超越，史晋涛，李喆，盛戈皞，江秀臣，
申请(专利权)人：上海交通大学，上海交通大学烟台信息技术研究院，
类型：发明
国别省市：上海,31