【技术实现步骤摘要】
本专利技术涉及无人机巡检领域，尤其是适用多尺度多目标的金具串无人机自主巡检方法和系统。
技术介绍
1、金具作为输电线路上种类繁多且应用广泛的金属附件，主要用于支持、固定、接续裸导线和其他导体。输电线路长期暴露在野外恶劣环境下，一些金具部件极易产生锈蚀、破损和脱落等故障，就会对整个电力系统的稳定运行造成威胁，因此对金具部件进行定期检修可以有效保障线路的正常运行。
2、传统的金具检修方式为人工巡检，费时费力且检修效率较低，目前电力系统已广泛采用安全系数较高的直升机和无人机进行输电线路上金具巡检工作。基于传统图像处理的金具串检测方法，必须经过人工提取金具串特征，这一过程需要设计者积累大量的先验知识来设计检测算子。针对不同给定的金具串目标，需要考虑多种特征相结合，如颜色、轮廓、角点、纹理等。一旦金具串角度、大小、缺陷处发生明显变化，或待检测的目标数量增加，则需要重新进行特征提取，导致算法的泛化能力较弱、鲁棒性较差。同时，由于架空输电线路金具串往往处于环境多变的郊外，无人机航拍图像背景复杂，传统图像检测方法在推理过程中容易受到光线和背景干扰，发生漏检和误检现象，检测效果不理想。由于拍摄角度的多变性和金具所处背景的复杂性，必须利用鲁棒性较强的图像处理算法，并结合金具的背景信息处理其检测问题，这能够很大程度地提高输电线路自动化巡检的效率。
3、目前，输电线路图像金具检测工作也取得了一定的进展，以防振锤、线夹和均压环等金属部件为研究对象，相关的检测算法研究主要以传统图像处理、机器学习方法为代表和以深度学习算法为代表两大类
4、针对无人机巡检时拍摄的大量图片，使用深度学习目标检测算法检测金具串缺陷成为当前的研究趋势。相对于传统图像处理技术存在模型适应性弱，人工提取金具串缺陷特征不完美等问题，深度学习目标检测算法可以自动提取金具串缺陷特征，拥有更高的检测精度、更快的检测速度以及更好的适应性，并仍存在改进空间，值得研究。
技术实现思路
1、为了解决上述问题，本专利技术提供一种适用多尺度多目标的金具串无人机自主巡检方法和系统，本专利技术的技术方案具体如下：
2、一种适用多尺度多目标的金具串无人机自主巡检方法，包括如下步骤：
3、步骤(1)数据集分拣、标注与划分；
4、步骤(2)将yolov5s原主干网络中的c3模块改进为repinsulator模块；repinsulator模块是使用repvgg卷积进行特征加强，并采用大跳跃的残差结构，紧接一个1×1卷积负责通道维度上的信息交互融合；
5、步骤(3)引入基于通道注意力机制改进的bsc注意力机制；改进的bsc注意力机制采用双流结构，使得通道注意力和空间注意力模块直接从输入特征图进行学习；采用一维卷积操作进行通道特征聚合；使用混合空洞卷积进行空间特征聚合，利用添加空洞扩大感受野；
6、步骤(4)采用双向特征金字塔网络bi-fpn对原算法特征融合层进行改进，包括：利用bi-fpn捕捉不同尺度的特征；删除无用节点；添加跳跃连接；利用所得的bi-fpn对原算法特征融合层进行改进，包括增加一循环部分，该部分包括2个bi-fpn子块，中间层的特征中增设一条新的残差路径。
7、进一步地，步骤(1)中，挑选出所需的含有欲进行目标检测的图像，获取金具串缺陷成检测数据集；对图像中的正常金具串设备和缺陷设备进行标注，标注的信息包含类别名称和位置信息xmin、ymin、xmax、以及ymax，并以voc数据格式保存成xml标签文件。
8、进一步地，步骤(1)中，对数据集进行处理：清洗亮度异常、噪声较大和图像模糊的数据，并使数据集内正常金具串和缺陷金具串的目标样本数量尽量接近符合1:1的比例，然后将图像数据按照3：1：1的数量比例划分出训练集、验证集和测试集。
9、进一步地，步骤(2)中，repinsulator模块从下至上包含一个repvgg卷积，其组件的作用是对初始特征进行特征加强；接下来是2个卷积核conv，用于特取空间层次特征和实现参数共享；通过一个concat进行下方的2个卷积核分支的融合，实现此2个卷积核的各自尺度的信息处理；add将初始特征与经过以上结构操作后的特征逐元素相加，使得网络能够学习到残差；之后再进行后一步的conv卷积操作。
10、进一步地，步骤(3)中，该机制分为上下2个部分，上部分是通道注意力，先分别通过平均池化和最大池化来得到每个通道的平均值和最大值，后续的1x1卷积操作的作用是通过对每个通道进行独立的线性变换来产生新的通道，在分别通过1x1卷积操作得到平均和全局的新特征以后，即可进行融合，融合后的特征经过sigmoid函数，将输出映射到[0,1]范围，得到通道注意力权重mc(f)，之后再使用通道注意力权重mc(f)对原始输入特征进行加权，就得到了通道注意力加权后的特征图f1；
11、下部分是空间注意力，对于通过平均池化和最大池化来得到每个通道的平均值和最大值，通过混合空洞卷积来进行空间特征聚合，在得到聚合后的特征后，再经过sigmoid函数，将输出映射到[0,1]范围，得到空间注意力权重ms(f)，之后再使用空间注意力权重ms(f)对原始输入特征进行加权，就得到了通道注意力加权后的特征图f2；空间和通道注意力部分的输出f1和f2被融合在一起。
12、进一步地，步骤(4)中，添加跳跃连接中，bi-fpn将一个自上而下和自下而上的路径视为一个特征层，并将其重复多次以得到更多高层次特征的融合。
13、进一步地，步骤(4)之后还包括测试改进后的金具串检测算法。
14、本专利技术还涉及的一种适用多尺度多目标的金具串无人机自主巡检系统，包括设于无人机上的处理器，与处理器连接的采集器、存储器和显示器，采集器采集无人机收集的图像，处理器按上述方法进行处理。
15、本专利技术还涉及的一种电子设备，包括存储器、处理器以及在存储器上，并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
16、本专利技术还涉及的一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述方法的步骤。
17、本专利技术针对yolov5s检测金具串缺陷精度较低的问题，将原主干网络中的c3模块改进为repinsulator模块，进一步提高算法的检测精度并提升了检测速度。
18、针对复杂背景下容易出现金具串缺陷漏检、误检的问题，引入了基于通道注意力机制改进的bsc注意力机制，提高了算法的检测能力。
19、针对同一图像存在多尺度多目标的金具串缺陷检测效果较差的问题，采用双向特征金字塔网络bi-fpn对原算法特征融合层进行改进，提升多尺度多目标的金具串缺陷检测效果。
20、由此可见，现有的技术多为采用原始的yolov5s进行无人机的自主巡检，虽然有不错的检测速度表现，但存在检测金具串缺陷精度较低的问题，此外在复杂背景下还容易漏检、误检以本文档来自技高网...
【技术保护点】
1.一种适用多尺度多目标的金具串无人机自主巡检方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤（1）中，挑选出所需的含有欲进行目标检测的图像，获取金具串缺陷成检测数据集；对图像中的正常金具串设备和缺陷设备进行标注，标注的信息包含类别名称和位置信息Xmin、Ymin、Xmax、以及Ymax，并以VOC数据格式保存成xml标签文件。
3.根据权利要求1所述的方法，其特征在于：步骤（1）中，对数据集进行处理：清洗亮度异常、噪声较大和图像模糊的数据，并使数据集内正常金具串和缺陷金具串的目标样本数量尽量接近符合1:1的比例，然后将图像数据按照3：1：1的数量比例划分出训练集、验证集和测试集。
4.根据权利要求1所述的方法，其特征在于：步骤（2）中，RepInsulator 模块从下至上包含一个RepVGG卷积，其组件的作用是对初始特征进行特征加强；接下来是2个卷积核Conv，用于特取空间层次特征和实现参数共享；通过一个concat进行下方的2个卷积核分支的融合，实现此2个卷积核的各自尺度的信息处理；Add将初始特征与经过以
5.根据权利要求1所述的方法，其特征在于：步骤（3）中，该机制分为上下2个部分，上部分是通道注意力，先分别通过平均池化和最大池化来得到每个通道的平均值和最大值，后续的1x1 卷积操作的作用是通过对每个通道进行独立的线性变换来产生新的通道，在分别通过1x1 卷积操作得到平均和全局的新特征以后，即可进行融合，融合后的特征经过Sigmoid 函数，将输出映射到[0,1]范围，得到通道注意力权重 Mc(F)，之后再使用通道注意力权重MC(F)对原始输入特征进行加权，就得到了通道注意力加权后的特征图F1；
6.根据权利要求1所述的方法，其特征在于：步骤（4）中，添加跳跃连接中，Bi-FPN 将一个自上而下和自下而上的路径视为一个特征层，并将其重复多次以得到更多高层次特征的融合。
7.根据权利要求1所述的方法，其特征在于：步骤（4）之后还包括测试改进后的金具串检测算法。
8.一种适用多尺度多目标的金具串无人机自主巡检系统，其特征在于：包括设于无人机上的处理器，与处理器连接的采集器、存储器和显示器，采集器采集无人机收集的图像，处理器按权利要求1至7任一项所述的方法进行处理。
9.一种电子设备，包括存储器、处理器以及在存储器上，并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现上述权利要求1至7中任一所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时，实现如权利要求1至7中任一所述方法的步骤。
...【技术特征摘要】
1.一种适用多尺度多目标的金具串无人机自主巡检方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的方法，其特征在于：步骤（1）中，挑选出所需的含有欲进行目标检测的图像，获取金具串缺陷成检测数据集；对图像中的正常金具串设备和缺陷设备进行标注，标注的信息包含类别名称和位置信息xmin、ymin、xmax、以及ymax，并以voc数据格式保存成xml标签文件。
3.根据权利要求1所述的方法，其特征在于：步骤（1）中，对数据集进行处理：清洗亮度异常、噪声较大和图像模糊的数据，并使数据集内正常金具串和缺陷金具串的目标样本数量尽量接近符合1:1的比例，然后将图像数据按照3：1：1的数量比例划分出训练集、验证集和测试集。
4.根据权利要求1所述的方法，其特征在于：步骤（2）中，repinsulator 模块从下至上包含一个repvgg卷积，其组件的作用是对初始特征进行特征加强；接下来是2个卷积核conv，用于特取空间层次特征和实现参数共享；通过一个concat进行下方的2个卷积核分支的融合，实现此2个卷积核的各自尺度的信息处理；add将初始特征与经过以上结构操作后的特征逐元素相加，使得网络能够学习到残差；之后再进行后一步的conv卷积操作。
5.根据权利要求1所述的方法，其特征在于：步骤（3）中，该机制分为上下2个部分，上部分是通道注意力，先分别通过平均池化和最大池...
【专利技术属性】
技术研发人员：陈希颖，洪思源，李俊楠，艾川，
申请(专利权)人：云南电力试验研究院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。