【技术实现步骤摘要】
本专利技术涉及无人机遥感信息提取，尤其涉及一种小样本无人机图像的风机叶片表面故障检测方法。
技术介绍
1、作为一种清洁、可再生的能源，风能凭借其环保和无污染的优点，在全球范围内得到了广泛的应用。但是却存在一个难以忽视的问题，即若未能及时发现并处理风力发电机叶片的故障，风电场将会遭受巨大的经济损失，严重影响风力发电机组的正常运转。
2、在现有技术中，深度学习目标检测技术通过迭代训练的方式，使得深度学习模型能够自我学习并提取出图像中的深层特征。从深度学习的角度来看，其在样本量充足的情况下已经能够实现优质的故障识别，甚至可以达到或超过人为手动检测的效果。然而，面对风机叶片表面故障检测这一特殊应用场景，问题就变得复杂很多。主要存在以下几点不足之处：
3、第一，叶片故障的样本稀少，常规数据集往往不足以训练出优秀的模型；
4、第二，叶片表面故障往往规模较小，很难通过常规的摄像头或者无人机捕捉到详细信息；
5、第三，叶片表面故障的形状、颜色极其多变，与叶片本身的纹理和颜色十分接近，极难区分。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种小样本无人机图像的风机叶片表面故障检测方法，解决了现有技术由于故障样本稀少及故障特征微小而导致对于风机叶片表面故障难以进行精准识别的技术问题。
2、为解决上述技术问题，本专利技术提供了如下技术方案：一种小样本无人机图像的风机叶片表面故障检测方法，该方法包括以下步骤：
3、s1、基
4、s2、构建用于对风机叶片表面所存在的微小或模糊不清的故障进行精准检测的目标检测模型，所述目标检测模型包括：用于生成建议区域的建议区域生成模块；用以增强查询图像和目标图像间关联性的实例级层次化关系模块；以及用于消除few shot learning中正负样本比例不平衡的检测平衡模块；
5、s3、将目标检测模型在coco数据集上进行预训练，得到具有泛化到不可见类别能力的小样本学习模型并进行优化；在预训练阶段，利用coco数据集进行预训练，以使模型能够在未见过的类别上有较好的泛化能力。具体而言，我们将coco数据集中的80个类别划分为4个部分，其中3个部分(60个类别)作为可见类别，另外1个部分(20个类别)则作为不可见类别。在预训练阶段，我们会针对包含可见类别对象的目标图像，随机选择具有相同可见类别的查询图像，构建目标-查询对，以为后续的微调训练做好准备。
6、s4、将样本库划分为微调数据集和测试集对目标检测模型进行微调和测试、评估，得到最终的目标检测模型。微调训练阶段，是基于预训练模型展开，该阶段的目标是在少量风电叶片表面故障样本的基础上，进一步训练目标检测模型。该阶段将样本库中风电叶片表面故障样本库包含六类样本，每类样本分别有30张训练图像和6张测试图像。在微调训练过程中，对于每一类测试集，本专利技术选择其中的一张图像作为查询对，并从相应类别的训练集中随机选择5张图像作为支持对。这样的选择过程会循环执行6次，从而完成了微调数据集的构建。随后，本专利技术加载预训练模型的参数，并在此基础上进行反向传播，以修正模型的精度，最终完成了基于少量风电叶片表面故障样本的目标检测模型微调训练。
7、进一步地，在步骤s1中，构建样本库的具体过程包括以下步骤：
8、s11、操控无人机抵近风机叶片小于或等于0.3m拍摄多角度的风机叶片表面图像作为原图像；
9、s12、按照与同一部分或同一风机相对应的原图像进行文件分组并去除无关内容，将原图像调整到合适的大小和方向；
10、s13、采用pascal voc格式对原图像进行数据标注，标记出风机叶片表面的故障区域并以xml文件存储为标注文件；
11、s14、将标注文件存放在样本库的annotations文件夹中；
12、s15、将原图像与annotations文件夹设置为平行关系存放在images文件夹中，完成样本库的构建。
13、进一步地，在步骤s2中，建议区域生成模块生成建议区域包括以下过程：
14、使用具有共享权重的siamese resnet-50网络结合特征金字塔网络fpn提取查询图像和目标图像的视觉特征，视觉特征包含查询图像的查询特征以及目标图像的目标特征；
15、通过siam mask中的匹配模块计算查询向量和目标特征间的相似性，生成与查询图像高度相似的潜在建议区域；
16、基于潜在建议区域，采用roi池化算子从整个目标特征中检索建议特征生成建议区域。
17、进一步地，在步骤s2中，所述实例级层次化关系模块采用分层的方式描述语义关系，同时对对比关系、显著关系和注意力层关系进行编码，对于每个关系分支，生成与输入特征大小相同的关系特征，保持全局上下文连贯性和空间一致性关系。
18、进一步地，所述对比关系用于分析查询特征fq与目标特征ft之间的差别，通过比较查询图像与目标图像之间的全局特征，来识别目标对象的独特性和区别性特征；
19、所述对比关系的表达式为：
20、
21、上式中，rc表示计算出的对比关系；表示卷积操作，指的是输出通道数是输入特征通道数c的一半；r代表重定向操作，用于调整特征维度或排列；p表示池化操作，用于减少特征的空间维度；fq表示查询特征；ft表示目标特征；|·|表示取绝对值，用于计算查询特征和目标特征间的差异性。
22、进一步地，所述显著关系将查询向量作为卷积核，与目标特征相结合实现特征深度卷积，所述显著关系用于提高目标检测模型对查询图像与目标图像间的复杂关系理解，进而提升目标检测的准确性和鲁棒性；
23、所述显著关系rs的表达式为：
24、
25、上式中，表示卷积操作，指的是输出通道数是输入特征通道数c的一半；表示深度卷积操作，通过将查询特征作为卷积核应用于目标特征，用来提取目标特征中的显著部分；p表示池化操作，用于减少特征的空间维度；fq表示查询特征；ft表示目标特征。
26、进一步地，所述注意力层关系通过卷积层产生的查询特征与目标特征进行嵌入，并利用这两个特征嵌入的矩阵乘积来计算它们在空间层面的相似性；
27、所述注意力层关系ra的表达式为：
28、
29、上式中，表示卷积操作，指的是输出通道数是输入特征通道数c的一半；wsfq表示通过空间注意力矩阵ws加权的查询特征；ft表示目标特征。
30、进一步地，在步骤s2中，所述检测平衡模块由比例保持损失rpl构成，且用于保护稀有阳性样本的学习，抑制阴性样本的影响，确保正负样本比的一致性；
31、所述检测平衡模块使用r-cnn head网络对建议区域进行分类和定位得到与查询相关的实例，并通过动态地增加正样本的权重和减少负样本的权重，保持合适且特定的数本文档来自技高网...
【技术保护点】
1.一种小样本无人机图像的风机叶片表面故障检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤S1中，构建样本库的具体过程包括以下步骤：
3.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤S2中，建议区域生成模块生成建议区域包括以下过程：
4.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤S2中，所述实例级层次化关系模块采用分层的方式描述语义关系，同时对对比关系、显著关系和注意力层关系进行编码，对于每个关系分支，生成与输入特征大小相同的关系特征，保持全局上下文连贯性和空间一致性关系。
5.根据权利要求4所述的风机叶片表面故障检测方法，其特征在于，所述对比关系用于分析查询特征Fq与目标特征Ft之间的差别，通过比较查询图像与目标图像之间的全局特征，来识别目标对象的独特性和区别性特征；
6.根据权利要求4所述的风机叶片表面故障检测方法，其特征在于，所述显著关系将查询向量作为卷积核，与目标特征相结合实现特征深度卷积，所述显著关系用于提
7.根据权利要求4所述的风机叶片表面故障检测方法，其特征在于，所述注意力层关系通过卷积层产生的查询特征与目标特征进行嵌入，并利用这两个特征嵌入的矩阵乘积来计算它们在空间层面的相似性；
8.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤S2中，所述检测平衡模块由比例保持损失RPL构成，且用于保护稀有阳性样本的学习，抑制阴性样本的影响，确保正负样本比的一致性；
9.根据权利要求8所述的风机叶片表面故障检测方法，其特征在于，所述动态增加正样本的权重和减少负样本的权重的表达式为：
10.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤S3中，使用随机梯度下降优化算法对小样本学习模型进行优化，其中初始学习率为0.02，批大小为16。
...【技术特征摘要】
1.一种小样本无人机图像的风机叶片表面故障检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤s1中，构建样本库的具体过程包括以下步骤：
3.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤s2中，建议区域生成模块生成建议区域包括以下过程：
4.根据权利要求1所述的风机叶片表面故障检测方法，其特征在于，在步骤s2中，所述实例级层次化关系模块采用分层的方式描述语义关系，同时对对比关系、显著关系和注意力层关系进行编码，对于每个关系分支，生成与输入特征大小相同的关系特征，保持全局上下文连贯性和空间一致性关系。
5.根据权利要求4所述的风机叶片表面故障检测方法，其特征在于，所述对比关系用于分析查询特征fq与目标特征ft之间的差别，通过比较查询图像与目标图像之间的全局特征，来识别目标对象的独特性和区别性特征；
6.根据权利要求4所述的风机叶片表面故障检测方法，其...
【专利技术属性】
技术研发人员：刘平，许邦鑫，许文文，葛奎，徐博，张旭志，张亮，刘会武，
申请(专利权)人：中国能源建设集团安徽省电力设计院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。