基于图像分类的输电线路巡检图像命名方法及系统技术方案

本发明专利技术公开了一种基于图像分类的输电线路巡检图像命名方法及系统，本发明专利技术以拍摄内容为标签，采用图像分类模型对待处理的无人机巡检图像进行识别，获得图像所拍摄的内容；根据地理位置匹配出目标杆塔并读取相关信息；计算目标杆塔与相邻两基杆塔拟合成的直线的方向向量

【技术实现步骤摘要】
基于图像分类的输电线路巡检图像命名方法及系统
本专利技术涉及数字图像识别
，具体涉及一种基于图像分类的输电线路巡检图像命名方法及系统。
技术介绍
当前，大部分的220kV及以上电压等级输电线路已经采用了无人机巡检方式，无人机巡检具有操控便捷、观测灵活、画质清晰、不受地形限制等优点，无人机的应用大大提升了巡检作业的效率，但同时也带来了新的问题。无人机巡检作业产生了大量的图像数据，并以指数级的速度不断增加。按照相关管理规定，巡线人员需要花费大量的时间和精力对巡检图像进行手动命名，这种作业模式强度大、效率低，制约了巡检效率的进一步提升。随着无人机巡检业务范围的不断扩大，人员配置与业务发展需求之间的矛盾日益突出，迫切需要一种更为高效和智能的方法取代人工手段，实现无人机巡检图像的自动命名。无人机自主巡检技术是解决该问题的最有效途径，可事先指定无人机的拍摄点位和巡检图像名称。但是无人机自主巡检基于3D点云建模，需要对所有杆塔、线路进行激光扫描，然后生成模型并规划航线，投资大、成本高，短期内难以大范围推广实施。因此，需要设计新的方法来解决无人机巡检图像的自动命名问题。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于图像分类的输电线路巡检图像命名方法及系统，本专利技术投资小、成本低、灵活性高，可自动实现无人机巡检图像的识别和处理，有助于降低作业人员劳动强度、提高输电线路巡检的效率和自动化、智能化水平。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于图像分类的输电线路巡检图像命名方法，包括：1)输入待处理的巡检图像；2)以拍摄内容为标签，采用图像分类模型识别出巡检图像所拍摄的内容；根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔，并读取指定的目标杆塔相关信息；3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔，根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线，得到从编号较小的杆塔指向编号较大的杆塔的方向向量4)对于同一目标杆塔下的巡检图像，分别读取指定拍摄内容的图像的经、纬度坐标，然后以方向向量为基准，通过坐标比对的方法依次区分所拍摄内容的相序和大/小号侧方位；5)根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位等对巡检图像进行命名。可选地，步骤2)中图像分类模型可识别的拍摄内容包括塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十个类别；步骤4)中指定的拍摄内容包括绝缘子串、横担端挂点、导线端挂点、地线挂点、通道等五个需要区分相序或大/小号侧方位的类别。可选地，步骤2)中的图像分类模型为ResNet-50分类模型，所述ResNet-50分类模型由五个多block卷积层和一个全连接层组成，5个多block卷积层用于对输入的巡检图像进行处理得到32倍下采样的特征图，全连接层和后续的sigmoid函数用于将32倍下采样的特征图转换为长度为n的一维类别概率张量，选择概率值最大的类别作为ResNet-50分类模型对巡检图像的预测类别，其中n为ResNet-50分类模型可识别的拍摄内容的类别数量。可选地，步骤2)之前还包括训练ResNet-50分类模型的步骤：分别以拍摄内容为标签建立包含n个类别的训练样本；在每一轮迭代训练时，训练样本中的图像经5个多block卷积层处理得到32倍下采样的特征图，然后由全连接层分类为n个类别中某个具体的类，以交叉熵函数构建分类损失，以随机梯度下降法更新网络参数；经过多轮迭代直至训练样本的总体损失小于设定阈值后结束对ResNet-50分类模型的训练。可选地，步骤2)中根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔的步骤包括：读取巡检图像的经、纬度坐标，将巡检图像的经、纬度坐标和杆塔数据库中线路杆塔的经、纬度坐标数据进行比较，将找到的距离最近的杆塔作为目标杆塔。可选地，步骤3)中根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线时，采用的拟合方法为最小二乘法。可选地，步骤4)中对于同一目标杆塔下的巡检图像的处理步骤包括：4.1)检查读取的目标杆塔信息中的杆塔类型，如果杆塔类型为直线塔，则跳转执行步骤4.2)；如果杆塔类型为耐张塔，则跳转执行步骤4.3)；如果杆塔类型为同塔双回，则跳转执行步骤4.4)；4.2)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像，分别执行下述处理：读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标，并计算平均坐标中心；过平均坐标中心沿方向向量作直线l1；判定坐标点位于直线l1左侧指定范围δ以外的巡检图像所拍摄内容的相序为左相，坐标点位于直线l1右侧指定范围δ以外的巡检图像所拍摄内容的相序为右相，坐标点位于直线l1指定范围±δ以内的巡检图像所拍摄内容的相序为中相；针对拍摄内容为通道的巡检图像执行下述处理：读取目标杆塔下被分类为通道的图像的经、纬度坐标，判定位于方向向量正方向的通道为大号侧，位于方向向量负方向的通道为小号侧；结束；4.3)针对拍摄内容绝缘子串、横担端挂点、导线端挂点、地线挂点四个类别的巡检图像，分别执行下述处理：读取目标杆塔下所有被分类为同一类别的图像的经、纬度坐标，并计算平均坐标中心；过平均坐标中心沿方向向量作直线l1；判定坐标点位于直线l1左侧指定范围δ1以外的巡检图像所拍摄内容的相序为左相，坐标点位于直线l1右侧指定范围δ1以外的巡检图像所拍摄内容的相序为右相，坐标点位于直线l1指定范围±δ1以内的巡检图像所拍摄内容的相序为中相；过平均坐标中心沿方向向量的法线方向作直线l2；判定坐标点位于l2左侧指定范围δ2以外为小号侧，坐标点位于l2右侧指定范围δ2以外为大号侧，坐标点位于l2指定范围±δ2以内为跳线相关部件；读取目标杆塔下被分类为通道的图像的经、纬度坐标，判定位于方向向量正方向的通道为大号侧，位于方向向量负方向的通道为小号侧；结束；4.4)针对拍摄内容为绝缘子串、横担端挂点、导线端挂点、地线挂点三个类别的巡检图像，分别执行下述处理：读取目标杆塔下所有被分类为同一类别的图像的高度坐标，最上方的点为上相，中间的点为中相，最下方的点为下相；读取目标杆塔下被分类为通道的图像的经、纬度坐标，判定位于方向向量正方向的通道为大号侧，位于方向向量负方向的通道为小号侧；结束。可选地，步骤5)具体是指按照“电压等级+线路名称+杆塔号+相序+(大/小号侧方位)+拍摄内容”的命名规则，对前面获得的信息进行组合以完成巡检图像的命名。此外，本专利技术还提供一种基于图像分类的输电线路巡检图像命名系统，包括计算机设备，该计算机设备至少包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于图像分类的输电线路巡检图像命名方法的步骤，或者该存储器中存储有被编程或配置以执行所述基于图像分类的输电线路巡检图像命名方法的计算机程序。此外，本专利技术还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或本文档来自技高网...

【技术保护点】
1.一种基于图像分类的输电线路巡检图像命名方法，其特征在于，包括：/n1)输入待处理的巡检图像；/n2)以拍摄内容为标签，采用图像分类模型识别出巡检图像所拍摄的内容；根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔，并读取指定的目标杆塔相关信息；/n3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔，根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线，得到从编号较小的杆塔指向编号较大的杆塔的方向向量

【技术特征摘要】
1.一种基于图像分类的输电线路巡检图像命名方法，其特征在于，包括：
1)输入待处理的巡检图像；
2)以拍摄内容为标签，采用图像分类模型识别出巡检图像所拍摄的内容；根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔，并读取指定的目标杆塔相关信息；
3)在杆塔数据库中查找与目标杆塔同线路、且相邻的两基杆塔，根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线，得到从编号较小的杆塔指向编号较大的杆塔的方向向量
4)对于同一目标杆塔下的巡检图像，分别读取指定拍摄内容的图像的经、纬度坐标，然后以方向向量为基准，通过坐标比对的方法依次区分所拍摄内容的相序和大/小号侧方位；
5)根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位对巡检图像进行命名。


2.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤2)中图像分类模型可识别的拍摄内容包括塔全貌、塔头、塔身、基础、杆号牌、通道、绝缘子串、横担端挂点、导线端挂点、地线挂点十个类别；步骤4)中指定的拍摄内容包括绝缘子串、横担端挂点、导线端挂点、地线挂点、通道等五个需要区分相序或大/小号侧方位的类别。


3.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤2)中的图像分类模型为ResNet-50分类模型，所述ResNet-50分类模型由五个多block卷积层和一个全连接层组成，5个多block卷积层用于对输入的巡检图像进行处理得到32倍下采样的特征图，全连接层和后续的sigmoid函数用于将32倍下采样的特征图转换为长度为n的一维类别概率张量，选择概率值最大的类别作为ResNet-50分类模型对巡检图像的预测类别，其中n为ResNet-50分类模型可识别的拍摄内容的类别数量。


4.根据权利要求3所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤2)之前还包括训练ResNet-50分类模型的步骤：分别以拍摄内容为标签建立包含n个类别的训练样本；在每一轮迭代训练时，训练样本中的图像经5个多block卷积层处理得到32倍下采样的特征图，然后由全连接层分类为n个类别中某个具体的类，以交叉熵函数构建分类损失，以随机梯度下降法更新网络参数；经过多轮迭代直至训练样本的总体损失小于设定阈值后结束对ResNet-50分类模型的训练。


5.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤2)中根据巡检图像的地理位置在杆塔数据库中匹配出目标杆塔的步骤包括：读取巡检图像的经、纬度坐标，将巡检图像的经、纬度坐标和杆塔数据库中线路杆塔的经、纬度坐标数据进行比较，将找到的距离最近的杆塔作为目标杆塔。


6.根据权利要求1所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤3)中根据目标杆塔以及查找得到的两基杆塔三者的经、纬度坐标数据拟合直线时，采用的拟合方法为最小二乘法。


7.根据权利要求2所述的基于图像分类的输电线路巡检图像命名方法，其特征在于，步骤4)中对于同一目标杆塔下的巡检...

【专利技术属性】
技术研发人员：吴晟，唐远富，甘湘砚，徐晓晖，肖剑，徐先勇，
申请(专利权)人：国网湖南省电力有限公司，国网湖南省电力有限公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：湖南;43