一种无人机巡检图像缺陷检测方法、系统及设备技术方案

本发明专利技术公开了一种无人机巡检图像缺陷检测方法、系统及设备，本发明专利技术通过对无人机巡检缺陷图像的缺陷特征进行提取，基于RPN网络获取目标区域，从而筛选出质量高、数量少的目标区域，提高了缺陷检测的效率，基于非极大值抑制方法对从目标候选框中提取出感兴趣区域，改善Faster RCNN网络在边缘处理上的不足，提高缺陷检测的精度；之后分别对Faster RCNN网络和RPN网络进行训练，并在共享初始Faster RCNN网络和初始RPN网络的卷积层的基础上构建统一网络，基于统一网络对无人机巡检图像的缺陷进行检测，通过共享卷积层大幅度提升了缺陷检测的速度，提升缺陷检测的效率，解决了现有技术对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。

【技术实现步骤摘要】
一种无人机巡检图像缺陷检测方法、系统及设备
本专利技术涉及图像检测领域，尤其涉及一种无人机巡检图像缺陷检测方法、系统及设备。
技术介绍
近年来，随着无人机技术的发展，无人机的应用越来越普及。将无人机用于巡检，具有成本低、作业灵活的特点，改善了传统的人工巡检效率低、劳动强度大的缺点。无人机在巡检过程中所获得的图像的清晰度和可识别度影响着人们对巡检目标的判断。在对机巡图像的处理中，图像缺陷识别是其中的关键所在。为了提高图像缺陷识别精度，研究者们提出了多种图像缺陷识别算法。然而，目前的机巡图像缺陷识别算法存在图像识别精度不够高的缺点。近年来，区域卷积神经网络FasterRCNN因其可以实现端到端的目标检测，且可以避免特征重复计算，且使区域+分类/回归检测实时性的特点，逐渐被应用于图像缺陷识别中，但该算法因需要对每个目标区域分类计算，导致计算效率低等问题。综上所述，现有技术中对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。
技术实现思路
本专利技术提供了一种无人机巡检图像缺陷检测方法、系统及设备，用于解决现有技术中对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。本专利技术提供的一种无人机巡检图像缺陷检测方法，包括以下步骤：获取无人机巡检缺陷图像；对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；采用非极大值抑制法从目标区域中筛选出感兴趣区域；将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；将实时的无人机巡检图像输入到统一网络中，得到无人机巡检图像的缺陷检测结果。优选的，对无人机巡检缺陷图像中的图像缺陷进行标注的具体过程为：标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域。优选的，将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域的具体过程为：使用RPN网络的卷积核与特征图进行卷积，得到候选区域；使用RPN网络的卷积核与候选区域进行卷积，得到N个目标区域。优选的，对于一个长宽比为W*H的特征图，RNP网络输出W*H*3*3个目标区域优选的，采用非极大值抑制法从目标区域中筛选出感兴趣区域的具体过程为：计算无人机巡检缺陷图像边缘像素点的梯度；计算无人机巡检缺陷图像的梯度幅值；根据无人机巡检缺陷图像边缘像素点的梯度以及无人机巡检缺陷图像的梯度幅值计算边缘像素点的最大梯度差；根据边缘像素点的最大梯度差寻找出局部梯度差最大的边缘像素点；在梯度方向上，将局部梯度差最大的边缘像素点之外的其他像素点的梯度值抑制为0，从而缩小目标区域的范围，得到感兴趣区域。优选的，FasterRCNN网络中包括有ROI池化层。优选的，将感兴趣区域输入到FasterRCNN网络进行训练的具体过程为：将感兴趣区域输入到FasterRCNN网络的ROI池化层中；通过ROI池化层筛选出感兴趣区域中的正样本以及负样本；将正样本以及负样本传输到全连接层中进行类别分类和位置边框回归；计算进行类别分类的分类损失以及进行位置边框回归的回归损失；根据分类损失以及回归损失计算的无人机巡检缺陷图像损失率；根据损失率判断FasterRCNN网络的训练效果。优选的，筛选出候选区域中的正样本以及负样本的具体过程为：若感兴趣区域与标注的实际目标区域的重叠比例大于0.7，则该感兴趣区域为正样本，若感兴趣区域与标注的实际目标区域的重叠比例小于0.3，则该感兴趣区域为负样本。一种无人机巡检图像缺陷检测系统，包括图像获取模块、图像标注模块、特征提取模块、RPN网络训练模块、非极大值抑制模块、FasterRCNN网络模块、统一网络模块以及缺陷检测模块；图像获取模块用于获取无人机巡检缺陷图像；图像标注模块用于对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；特征提取模块用于将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；RPN网络训练模块用于将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；非极大值抑制模块用于采用非极大值抑制法从目标区域中筛选出感兴趣区域；FasterRCNN网络模块用于将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；统一网络模块用于共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；缺陷检测模块用于将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果。一种无人机巡检图像缺陷检测设备，包括处理器以及存储器；所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述的一种无人机巡检图像缺陷检测方法。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例通过对无人机巡检缺陷图像的缺陷特征进行提取，再基于RPN网络获取目标区域，从而筛选出质量高、数量少的目标区域，提高了缺陷检测的效率，基于非极大值抑制方法对从目标候选框中提取出感兴趣区域，改善FasterRCNN网络在边缘处理上的不足，提高缺陷检测的精度；之后分别对FasterRCNN网络和RPN网络进行训练，并在共享初始FasterRCNN网络和初始RPN网络的卷积层的基础上构建统一网络，基于统一网络对无人机巡检图像的缺陷进行检测，通过共享卷积层大幅度提升了缺陷检测的速度，提升了缺陷检测的效率，解决了现有技术对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的本文档来自技高网...

【技术保护点】
1.一种无人机巡检图像缺陷检测方法，其特征在于，包括以下步骤：/n获取无人机巡检缺陷图像；/n对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；/n将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；/n将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；/n采用非极大值抑制法从目标区域中筛选出感兴趣区域；/n将感兴趣区域输入到Faster RCNN网络中进行训练，得到初始Faster RCNN网络；/n共享初始Faster RCNN网络和初始RPN网络的卷积层，基于初始Faster RCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始Faster RCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的Faster RCNN网络构成的统一网络；/n将实时的无人机巡检图像输入到统一网络中，得到无人机巡检图像的缺陷检测结果。/n

【技术特征摘要】
1.一种无人机巡检图像缺陷检测方法，其特征在于，包括以下步骤：
获取无人机巡检缺陷图像；
对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
采用非极大值抑制法从目标区域中筛选出感兴趣区域；
将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；
共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；
将实时的无人机巡检图像输入到统一网络中，得到无人机巡检图像的缺陷检测结果。


2.根据权利要求1所述的一种无人机巡检图像缺陷检测方法，其特征在于，对无人机巡检缺陷图像中的图像缺陷进行标注的具体过程为：
标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域。


3.根据权利要求2所述的一种无人机巡检图像缺陷检测方法，其特征在于，将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域的具体过程为：
使用RPN网络的卷积核与特征图进行卷积，得到候选区域；
使用RPN网络的卷积核与候选区域进行卷积，得到N个目标区域。


4.根据权利要求3所述的一种无人机巡检图像缺陷检测方法，其特征在于，对于一个长宽比为W*H的特征图，RNP网络输出W*H*3*3个目标区域。


5.根据权利要求4所述的一种无人机巡检图像缺陷检测方法，其特征在于，采用非极大值抑制法从目标区域中筛选出感兴趣区域的具体过程为：
计算无人机巡检缺陷图像边缘像素点的梯度；
计算无人机巡检缺陷图像的梯度幅值；
根据无人机巡检缺陷图像边缘像素点的梯度以及无人机巡检缺陷图像的梯度幅值计算边缘像素点的最大梯度差；
根据边缘像素点的最大梯度差寻找出局部梯度差最大的边缘像素点；
在梯度方向上，将局部梯度差最大的边缘像素点之外的其他像素点的梯度值抑制为0，从而缩小目标区域的范围，得到感兴趣区域。


6.根据权利要求1所述的一种无人机巡检图像缺陷检测方法，其特征在于，FasterRCNN网络中包括有ROI池化层。


7.根据权利要...

【专利技术属性】
技术研发人员：翟瑞聪，彭炽刚，陈浩，李雄刚，刘高，饶成成，郭锦超，王年孝，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：广东;44