基于样式生成对抗网络的无人机巡检缺陷图像识别方法技术

本发明专利技术提供了基于样式生成对抗网络的无人机巡检缺陷图像识方法，属于无人机图像识别技术领域，包括以下步骤：S1、建立无人机缺陷图像样本集；S2、构建基于样式的生成对抗网络模型，并利用步骤S1建立的无人机缺陷图像样本集对其进行训练；完成训练后利用该生成对抗网络模型生成模拟缺陷图像，并建立模拟缺陷图像样本集；S3、构建分类模型，并利用步骤S1建立的无人机缺陷图像样本集，和步骤S2建立的模拟缺陷图像样本集，对分类模型进行训练，直至其能精准识别缺陷类型；本发明专利技术能高效生成更多更高质量的模拟缺陷图像样本，从而训练提高分类模型，提高对无人机巡检图像中缺陷的识别率。提高对无人机巡检图像中缺陷的识别率。提高对无人机巡检图像中缺陷的识别率。

【技术实现步骤摘要】
基于样式生成对抗网络的无人机巡检缺陷图像识别方法


[0001]本专利技术属于无人机图像识别
，具体涉及基于样式生成对抗网络的无人机巡检缺陷图像识别方法。

技术介绍

[0002]当前，应用多旋翼无人机对杆塔进行精细化巡检和故障巡检之后，巡检产生的海量图像数据需要经过人工判读筛选出故障缺陷，一方面要求作业人员对输电线路情况熟悉，另一方面也大大增加了作业人员的工作量。因此，采用深度学习的方法对巡检图像数据进行部件检测识别对提高无人机巡检效率具有十分重要的意义。
[0003]实际巡检过程中，各类缺陷出现的频率不一致，导致所收集的缺陷图像样本出现不均衡的问题。小类样本参与训练的机会就会远远小于大类样本，使得最终训练所得的模型偏向于检测大类，造成不同类别的检测效果差异明显。因此，解决巡检图像样本类别不均衡问题十分重要。
[0004]公开号为CN111126446A的中国专利技术专利申请，公开了一种机器人视觉工业产品缺陷图像数据增广方法，采用生成对抗网络生成与真实图像近似的模拟图像，用以解决小样本数据增广问题，但是其采用的生成对抗网络为Mask
‑
CDGAN，该方法将图像及其类别一起作为输入量，用以训练生成对抗网络模型，最终生成模拟图像，该方法生成的模拟图像特征因子未解耦，无法生成与原始图像特征相差较大又符合要求的模拟图像，而且生成对抗网络模型训练效率低。

技术实现思路

[0005]本专利技术的目的是为了解决
技术介绍
中提及的问题，提供基于样式生成对抗网络的无人机巡检缺陷图像识别方法，能高效生成更多更高质量的模拟缺陷图像样本，从而训练提高分类模型，提高对无人机巡检图像中缺陷的识别率。
[0006]为实现上述技术目的，本专利技术采取的技术方案为：
[0007]基于样式生成对抗网络的无人机巡检缺陷图像识别方法，包括以下步骤：
[0008]S1、建立无人机缺陷图像样本集；
[0009]S2、构建基于样式的生成对抗网络模型，并利用步骤S1建立的无人机缺陷图像样本集对其进行训练；完成训练后利用该生成对抗网络模型生成模拟缺陷图像，并建立模拟缺陷图像样本集；
[0010]S3、构建分类模型，并利用步骤S1建立的无人机缺陷图像样本集，和步骤S2建立的模拟缺陷图像样本集，对分类模型进行训练，直至其能精准识别缺陷类型。
[0011]作为优选，步骤S1包括以下分步骤：
[0012]S11、对无人机巡检图像中的缺陷目标进行标注；标注遵循Pascal VOC标注规则，该规则包括采用矩形标注框、根据缺陷类型赋予标注框相应的标签、标注框贴近缺陷目标边缘且包含目标所有可见像素和标注框与目标图像边缘不大于10像素；
[0013]S12、将标注框调整为同比例大小；将标注框的短边扩充到与长边大小一致，再对该标注框内的目标图像进行抠图；
[0014]S13、保存目标图像，并分类；将抠图结果保存为统一尺寸，并按标准框的缺陷类型进行分类，形成初始的无人机缺陷图像样本集；无人机缺陷图像样本集中的图像即为真实图像样本。
[0015]作为优选，步骤S2中构建基于样式的生成对抗网络模型，具体包括生成网络和判别网络；
[0016]所述生成网络包括输入噪声、映射网络、仿射层、傅里叶特征操作层、卷积层、若干网络层和ToRGB层；
[0017]所述输入噪声为随机从符合高斯分布的噪声中获取的随机噪声，用于生成与真实图像样本相似的模拟图像样本；
[0018]所述映射网络包括1个归一化层和8个全连接层，用于将输入的随机噪声进行特征解耦，得到中间向量w；
[0019]所述仿射层用于将中间向量w转换为全局平移和旋转参数，并将其输入傅里叶特征操作层；
[0020]所述傅里叶特征操作层用于在全局平移和旋转参数的傅里叶特征上施加旋转和平移操作；
[0021]所述卷积层对傅里叶特征操作层的输出量进行卷积，然后将此输出量作为第一网络层的输入量；
[0022]所述网络层包括上采样层、第一激活函数层、下采样层和裁切层；每个网络层以上一层的输出量和中间向量w作为输入量，输入量先由上采样层进行2倍上采样，增加输出量的分辨率；再经过第一激活函数层，第一激活函数层均采用Leaky Relu函数用于增加输出量的非线性表达；之后由下采样层对图像进行2倍下采样，恢复上采样前的分辨率；最后通过裁切层，裁切掉在该网络层过程中扩展的边界部分；
[0023]所述ToRGB层用于生成模拟图像，包括全连接层、自定义卷积层、第二激活函数层和可学习参数bias；ToRGB层将最后一个网络层的输出量和中间向量w作为输入量，生成模拟图像；
[0024]所述判别网络包括依次设置的卷积层、第三激活函数层、6个串联模块、第一密集全连接层、第五激活函数层、第二密集全连接层、第六激活函数层；所述串联模块包括卷积层、批归一层、第四激活函数层；所述第六激活函数层采用Sigmoid函数，所述第三、第四和第五激活函数层都采用Leaky Relu函数；所述判别网络用于判别输入量为真实数据的概率；卷积层利用卷积核提取图片数据的二维特征；批归一层用于对上一层输出的数据进行规范化；非线性激活函数Leaky ReLU用于给判断网络添加非线性表达；全连接层用于汇集整理所有卷积结果，并将结果作为下一层的输入量；Sigmoid激活函数用于输出[0,1]区间内的单值作为判断结果的概率值。
[0025]作为优选，所述生成网络和判别网络有各自的损失函数；
[0026]生成网络的损失函数为:
[0027][0028]其中，N
f
表示模型中生成图像的数量；logD_a
L(i)
表示输入图片i时，判别网络将真实样本判定为真的概率；y
i
表示输入图片i时，判别网络输出的概率值，即
[0029][0030]判别网络的损失函数为：
[0031][0032]其中：
[0033][0034][0035]为将真实图像即无人机缺陷图像样本集中的图像判断为模拟图像的损失，为将模拟图像判断为真实图像的损失，N
r
表示模型中真实图像的数量。
[0036]作为优选，所述生成对抗网络模型的训练采用对生成网络和判别网络的交替训练，具体步骤如下：
[0037]S21、随机设定生成网络和判别网络的初始化参数；
[0038]S22、从输入噪声中采样m个样本作为生成网络的输入量，得到m个模拟图像样本；从无人机缺陷图像样本集中采样m个样本，与m个模拟图像样本一起作为判别网络的输入；判断网路判断输入样本的真实性，得到总误差，并进行反向传播，更新判别网络的各参数；
[0039]S23、重复步骤S22若干次后，先固定判别网络参数，训练生成网络；从输入噪声中随机选取一个噪声作为生成网络的输入，由生成网络生成一张模拟图像，将该模拟图像输入判别网络中，得到该模拟图像为真实图像的概率，并将误差反向传播到生成网络中，更新生成网络的各参数；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于样式生成对抗网络的无人机巡检缺陷图像识别方法，其特征在于，包括以下步骤：S1、建立无人机缺陷图像样本集；S2、构建基于样式的生成对抗网络模型，并利用步骤S1建立的无人机缺陷图像样本集对其进行训练；完成训练后利用该生成对抗网络模型生成模拟缺陷图像，并建立模拟缺陷图像样本集；S3、构建分类模型，并利用步骤S1建立的无人机缺陷图像样本集，和步骤S2建立的模拟缺陷图像样本集，对分类模型进行训练，直至其能精准识别缺陷类型。2.根据权利要求1所述的基于样式生成对抗网络的无人机巡检缺陷图像识别方法，其特征在于：步骤S1包括以下分步骤：S11、对无人机巡检图像中的缺陷目标进行标注；标注遵循Pascal VOC标注规则，该规则包括采用矩形标注框、根据缺陷类型赋予标注框相应的标签、标注框贴近缺陷目标边缘且包含目标所有可见像素和标注框与目标图像边缘不大于10像素；S12、将标注框调整为同比例大小；将标注框的短边扩充到与长边大小一致，再对该标注框内的目标图像进行抠图；S13、保存目标图像，并分类；将抠图结果保存为统一尺寸，并按标准框的缺陷类型进行分类，形成初始的无人机缺陷图像样本集；无人机缺陷图像样本集中的图像即为真实图像样本。3.根据权利要求2所述的基于样式生成对抗网络的无人机巡检缺陷图像识别方法，其特征在于：步骤S2中构建基于样式的生成对抗网络模型，具体包括生成网络和判别网络；所述生成网络包括输入噪声、映射网络、仿射层、傅里叶特征操作层、卷积层、若干网络层和ToRGB层；所述输入噪声为随机从符合高斯分布的噪声中获取的随机噪声，用于生成与真实图像样本相似的模拟图像样本；所述映射网络包括1个归一化层和8个全连接层，用于将输入的随机噪声进行特征解耦，得到中间向量w；所述仿射层用于将中间向量w转换为全局平移和旋转参数，并将其输入傅里叶特征操作层；所述傅里叶特征操作层用于在全局平移和旋转参数的傅里叶特征上施加旋转和平移操作；所述卷积层对傅里叶特征操作层的输出量进行卷积，然后将此输出量作为第一网络层的输入量；所述网络层包括上采样层、第一激活函数层、下采样层和裁切层；每个网络层以上一层的输出量和中间向量w作为输入量，输入量先由上采样层进行2倍上采样，增加输出量的分辨率；再经过第一激活函数层，第一激活函数层均采用Leaky Relu函数用于增加输出量的非线性表达；之后由下采样层对图像进行2倍下采样，恢复上采样前的分辨率；最后通过裁切层，裁切掉在该网络层过程中扩展的边界部分；所述ToRGB层用于生成模拟图像，包括全连接层、自定义卷积层、第二激活函数层和可学习参数bias；ToRGB层将最后一个网络层的输出量和中间向量w作为输入量，生成模拟图
像；所述判别网络包括依次设置的卷积层、第三激活函数层、6个串联模块、第一密集全连接层、第五激活函数层、第二密集全连接层、第六激活函数层；所述串联模块包括卷积层、批归一层、第四激活函数层；所述第六激活函数层采用Sigmoid函数，所述第三、第四和第五激活函数层都采用Leaky Relu函数；所述判别网络用于判别输入量为真实数据的概率；卷积层利用卷积核提取图片数据的二维特征；批归一层用于对上一层输出的数据进行规范化；非线性激活函数Leaky ReLU用于给判断网络添加非线性表达；全连接层用于汇集整理所有卷积结果，并将结果作为下一层的输入量；Sigmoid激活函数用于输出[0,1]区间内的单值作为判断结果的概率值。4.根据权利要求3所述的基于样式生成对抗网络的无人机巡检缺陷图像识别方法，其特征在于：所述生成网络和判别网络有各自的损失函数；生成网络的损失函数为:其中，N
f
表示模型中生成图像的数量；logD_a
L(i)
表示输入图片i时，判别网络将真实样本判定为真的概率；y
i
表...

【专利技术属性】
技术研发人员：吴媚，王红星，王海楠，孟悦，陈玉权，张星炜，
申请(专利权)人：江苏方天电力技术有限公司，
类型：发明
国别省市：