基于级联卷积神经网络的销钉缺陷识别方法、装置和设备制造方法及图纸

本申请涉及一种基于级联卷积神经网络的销钉缺陷识别方法、装置和设备。其中，所述方法包括：基于原始MTCNN算法进行改进，并构建改进后的MTCNN算法模型；在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；基于改进后的MTCNN算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。如此设置，相对传统识别方法，本申请在识别速度和精度上都有较大的提高，模型在移动设备上的移植和应用也更具优势。

【技术实现步骤摘要】
基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
本申请涉及输电线路销钉缺陷识别
，具体涉及一种基于级联卷积神经网络的销钉缺陷识别方法、装置和设备。
技术介绍
电力金具作为电力系统中必不可少的金属元部件，在架空输电线路中承担着电力部件的固定、支撑、保护、连接等作用，对电力系统的稳定、安全、可靠的运行起着不可或缺的作用。然而由于大部分的电力金具不仅仅暴露在恶劣的户外环境下，而且还长期要承受外部其他电力设备的机械张力负荷以及内部电力系统电力传输所产生的负荷，在这种内外负荷的作用下，使电力金具上的销钉极易发生缺失等现象，造成电力系统的运行故障。近年来，无人机巡检已广泛应用于输电线路的日常巡检当中，减少了电网运维人员攀爬检查的工作量和降低了工作的危险系数，且能够高效准确的判断电力设备的故障情况。由于电力系统的完善，输电设备的大量增加，航拍图像呈爆炸式增长，导致传统的人工识别检测效率低下。因此，销钉缺陷识别的检测方法迎来严峻挑战。在现有的目标检测研究方法中，对背景复杂、大尺度的航拍输电线路图像中实现对销钉的缺陷检测还存在一定的难度。主要存在以下几个技术难点：①检测时由于图像模糊、图像背景复杂、目标小且呈现多形态、检测目标被部分遮挡等特点导致的误检、漏检；②在卷积神经网络中，高精度的网络一般都有较深的层数，由此产生的计算、存储开销极大；③较深的网络结构在训练时需要大量的标注数据，训练复杂、效率低下，在缺少数据集的情况下很难有较高的检测精度；④由于目标检测算法针对常规的图像进行设计的，进行训练和检测时图像大小得固定，这在航拍输电线路图像的目标检测中不能实现通用性、尺度自适应性。
技术实现思路
有鉴于此，本申请的目的在于克服现有技术的不足，提供一种基于级联卷积神经网络的销钉缺陷识别方法、装置和设备。本申请的上述目的是通过以下技术方案实现的：第一方面，本申请实施例通过一种基于级联卷积神经网络的销钉缺陷识别方法，其包括：改进算法模型：基于原始MTCNN算法进行改进，并构建改进后的MTCNN算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；MTCNN算法包括候选网络PNet、优化网络RNet和输出网络ONet三层网络结构；构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；基于改进后的MTCNN算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。可选的，所述改进卷积层结构包括：在部分卷积层之后加入非线性多层感知器，并在原始卷积中对卷积核进行分解，同时去除全连接层；其中，非线性多层感知器中每张特征图的计算公式为：式中，n表示第n层，代表偏置量，(i,j)代表图像像素点的位置索引，xi,j代表以位置(i,j)为中心的输入图片块，k表示待提取特征图的索引。可选的，所述对多尺度特征图进行融合，包括：将PNet中的12×12像素的检测窗口经过三层卷积后进行损失的计算，并将PNet的第一层与第三层进行特征图融合；基于相同的原理，对RNet和ONet的第二层和第三层进行特征图融合。可选的，所述改进损失函数包括：借助角度变量将损失函数化为关于角度的公式，并引入一个整数N来加大角度问题，得到改进后的损失函数为：式中，L表示损失函数，θ为分类面与W的夹角角度，W为神经元的权重向量。可选的，所述改进训练策略包括：将训练过程分为预训练和离线困难样本训练两个步骤；其中，在训练前，借助交并比IOU的大小将图像样本划分为正样本、负样本及部分正样本；在预训练阶段，采取在线困难样本挖掘的策略，即在训练过程中，将每个批量数据计算生成的传播损失进行排序，在传播损失最大的样本中按一定比例将样本划分为困难样本；在进行反向传播时，仅借助困难样本的损失来更新神经网络模型中的权重；在离线困难样本训练阶段，针对输入不同尺度图像的网络模型，对获得的正样本、负样本及部分正样本均进行缩放为12×12像素、24×24像素，并将PNet、改进的RNet分别进行训练；最后再将获取的困难样本，正样本与部分正样本缩放为48×48像素以对改进的ONet进行重新训练。可选的，所述借助交并比的大小将图像样本划分正样本、负样本及部分正样本，包括：借助滑动窗口法选取训练样本，即对训练图像金字塔化处理，利用设定好尺寸的滑动窗口在图像上进行区域选取；对选取的区域与标注框的IOU进行计算，将IOU大于0.7的区域记为正样本，小于0.3的区域记为负样本，0.5-0.7之间的区域记为部分正样本。可选的，利用所述训练模型对待识别图像进行销钉缺陷识别的检测过程为级联检测，其中包括：对输入图像进行金字塔化处理，并借助PNet对处理后的每一级图像进行检测得到初步候选框；将在每一级图像得到的候选框映射到原始的图像中，获得目标切片，再借助RNet对初步候选框进行分类和边界回归，得到次级候选框；利用ONet再一次将达到设定阈值的次级候选框进行分类和边界回归，得到检测结果。可选的，级联检测过程中，利用非极大值抑制算法NMS来减少各级候选框的冗余。第二方面，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别装置，其包括：改进模块，用于改进算法模型：基于原始MTCNN算法进行改进，并构建改进后的MTCNN算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；MTCNN算法包括候选网络PNet、优化网络RNet和输出网络ONet三层网络结构；构建模块，用于构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；训练模块，用于基于改进后的MTCNN算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；识别模块，用于利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。第三方面，本申请实施例还提供一种基于级联卷积神经网络的销钉缺陷识别设备，其包括：存储器与所述存储器相连接的处理器；所述存储器用于存储程序，所述程序至少用于实现如第一方面任一项所述的方法；所述处理器用于调用并执行所述存储器存储的所述程序。本申请的实施例提供的技术方案可以包括以下有益效果：本申请的实施例提供的技术方案中，首先，在处理大尺度图像时，借助小尺度浅层全卷积对航拍图像进行快速遍历和目标搜索，再采用较深层卷积对前面单尺度浅层全卷积处理出来的候选目标实现级联分类和精确定位。此外，在本文档来自技高网...

【技术保护点】
1.一种基于级联卷积神经网络的销钉缺陷识别方法，其特征在于，包括：/n改进算法模型：基于原始MTCNN算法进行改进，并构建改进后的MTCNN算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；MTCNN算法包括候选网络PNet、优化网络RNet和输出网络ONet三层网络结构；/n构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；/n基于改进后的MTCNN算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；/n利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。/n

【技术特征摘要】
1.一种基于级联卷积神经网络的销钉缺陷识别方法，其特征在于，包括：
改进算法模型：基于原始MTCNN算法进行改进，并构建改进后的MTCNN算法模型；其中进行的改进包括：改进卷积层结构、对多尺度特征图进行融合、改进损失函数以及改进训练策略；MTCNN算法包括候选网络PNet、优化网络RNet和输出网络ONet三层网络结构；
构建训练数据集：在不同环境下利用无人机拍摄得到输电线路中连接处的电力金具图像样本，并对所述电力金具图像样本进行预处理，构建样本训练集；
基于改进后的MTCNN算法模型，利用所述样本训练集对级联卷积神经网络进行训练，得到训练模型；
利用所述训练模型对待识别图像进行销钉缺陷识别：将无人机巡检获取的电力金具图像输入所述训练模型中，获得销钉状态识别结果。


2.根据权要求1所述的方法，其特征在于，所述改进卷积层结构包括：
在部分卷积层之后加入非线性多层感知器，并在原始卷积中对卷积核进行分解，同时去除全连接层；其中，非线性多层感知器中每张特征图的计算公式为：



式中，n表示第n层，代表偏置量，(i,j)代表图像像素点的位置索引，xi,j代表以位置(i,j)为中心的输入图片块，k表示待提取特征图的索引。


3.根据权要求1所述的方法，其特征在于，所述对多尺度特征图进行融合，包括：
将PNet中的12×12像素的检测窗口经过三层卷积后进行损失的计算，并将PNet的第一层与第三层进行特征图融合；
基于相同的原理，对RNet和ONet的第二层和第三层进行特征图融合。


4.根据权要求1所述的方法，其特征在于，所述改进损失函数包括：
借助角度变量将损失函数化为关于角度的公式，并引入一个整数N来加大角度问题，得到改进后的损失函数为：



式中，L表示损失函数，θ为分类面与W的夹角角度，W为神经元的权重向量。


5.根据权要求1所述的方法，其特征在于，所述改进训练策略包括：
将训练过程分为预训练和离线困难样本训练两个步骤；
其中，在训练前，借助交并比IOU的大小将图像样本划分为正样本、负样本及部分正样本；
在预训练阶段，采取在线困难样本挖掘的策略，即在训练过程中，将每个批量数据计算生成的传播损失进行排序，在传播损失最大的样本中按一定比例将样本划分为困难样本；在进行反向传播时，仅借助困难样本的损失来更新神经网络模型中的权重；
在离线困难样本训练阶段，针对输入不同尺度图像的网络模型，对获得的正样...

【专利技术属性】
技术研发人员：肖业伟，李志强，郭雪峰，陈志豪，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：湖南;43