基于多属性感知注意力的风电叶片表面损伤检测方法技术

本发明专利技术公开了一种基于多属性感知注意力的风电叶片表面损伤检测方法，包括以下步骤：建立多类风电叶片损伤图像数据库；建立通道

【技术实现步骤摘要】
基于多属性感知注意力的风电叶片表面损伤检测方法


[0001]本专利技术涉及风电叶片表面损伤检测领域，特别涉及一种基于多属性感知注意力的风电叶片表面损伤检测方法。

技术介绍

[0002]风电叶片是风电机组中一个重要的部件，占据机组总成本20％左右，直接影响到风电机组捕获风能的能力。风电场通常安装在偏远地区，如山区、沙漠和近海地区，这使得叶片将直接暴露在沙砾、盐雾、雷电的环境中，因此叶片是机组最容易受损的部件之一。
[0003]随着计算平台算力的发展，基于深度学习的机器视觉方法已在众多领域的损伤检测中发挥着重要作用。目前，风电叶片的损伤检测的主要方式仍是以人工为主，具体为风电运维人员通过高空吊篮或者地面高倍望远镜对叶片健康状况进行检测，但这种方法效率较低，且准确率易受工人经验影响。据相关研究表明，基于机器视觉的检测方法只需要配备图像传感器的无人机，可将涡轮停机时间从1.5小时(使用攀登者和望远镜)大幅减少到平均20分钟，因此，基于机器视觉的方法已成为风电叶片损伤检测的一个重要发展方向。
[0004]基于机器视觉的方法在许多领域已有部分成果，但其在风电叶片损伤检测中仍有许多制约因素。由于风电场通常建于背景复杂的野外，且风电叶片体积巨大，这使得损伤部位在整个视觉感受面中相对不易察觉，这严重影响了风电叶片的损伤检测准确率。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种算法简单、准确高效的基于多属性感知注意力的风电叶片表面损伤检测方法。
[0006]本专利技术解决上述问题的技术方案是：一种基于多属性感知注意力的风电叶片表面损伤检测方法，包括以下步骤：
[0007]1)建立多类风电叶片损伤图像数据库：收集不同种类的风电叶片损伤图像数据，使用图像处理手段对风电叶片图像进行数量扩充和质量增强；
[0008]2)建立通道
‑
空间注意力增强的特征提取主干网络：通过在特征提取网络中顺序地嵌入通道注意力和空间注意力模块，建立损伤特征增强型特征提取网络；
[0009]3)建立损伤边界框的多属性感知损失函数：针对边界框的复杂信息，建立一种边界框多属性损失函数，通过对边界框的多个属性进行感知，描述出预测框与真实框之间的差异，从而引导模型生成准确的预测框；
[0010]4)构建风电叶片损伤检测模型：构建风电叶片损伤检测模型，利用多类风电叶片损伤图像数据库对风电叶片损伤检测模型进行训练，通过损伤特征增强型特征提取网络将风电叶片损伤检测模型注意力引导至损伤特征，再通过多属性感知损失函数生成损伤边界框，最后得到叶片的损伤种类和损伤位置。
[0011]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤1)中，建立的风电叶片损伤图像数据库包含砂眼、蒙皮脱落、裂纹三类损伤图像和无损伤叶片图像，其
中损伤图像通过形态学变换和图像调整扩充损伤图像数量和模拟不同环境下损伤的变化，形态学变换和图像调整的过程包括：反转、旋转、亮度调整、颜色调整、对比度调整和锐度调整；反转和旋转图像的目的是模拟不同角度下损伤图像信息的获取；通过调整图像的亮度和色度的操作，获得不同光照条件下受损图像的特征；对比度和锐度的调整用于增强图像的损伤特征，突出前景信息。
[0012]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤2)具体包括：
[0013]步骤2
‑
1)：建立卷积神经网络特征提取网络主干；
[0014]步骤2
‑
2)：建立通道注意力模块；
[0015]步骤2
‑
3)：建立空间注意力模块；
[0016]步骤2
‑
4)：将通道注意力模块和空间注意力模块依次插入特征提取网络主干的特征提取块之后。
[0017]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤2
‑
2)中，通道注意力模块将特征提取块提取的特征图通道权重进行调整，对包含损伤特征较多的通道赋予较高的权重，从而实现增强损伤特征的目的；具体为将特征图的二维空间进行压缩，将特征图尺寸由(C,H,W)被压缩为(C,1,1)，其中C表示Channel，为通道的含义，H表示Height，为高度的含义，W表示Width，为宽度的含义，从而实现对通道包含特征的概括；使用的具体压缩方式为平均池化和最大池化，平均池化将每个通道中的特征取平均操作，保留其总体特征；最大池化将每个通道中的特征值最大的特征进行保留，其他的丢弃，保留其显著特征，这两种特征压缩方式并行处理，分别都将原特征的尺寸(C,H,W)被压缩为(C,1,1)；随后，两个压缩后的特征分别送入共享多层感知器中，建立通道之间的联系，从而得出新的通道权重；最后，两个新的通道权重相加后通过sigmoid函数映射到(0，1)之间，再将映射后的权重对原特征图进行加权，实现对损伤特征的通道增强；其整个过程用下式表示：
[0018]M
c
(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
[0019]式中：F表示特征图，AvgPool和MaxPool分别表示平均池化和最大池化，MLP表示多层感知器，σ表示Sigmoid函数。
[0020]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤2
‑
3)中，空间注意力模块通过对特征图中的空间信息进行感知，将可能包含损伤特征的空间位置的权重进行提高，进而实现对损伤特征的空间增强；具体为将特征图的通道信息进行压缩，将特征图尺寸由(C,H,W)被压缩为(1,H,W)，从而实现对通道包含特征的概括；使用的具体压缩方式为平均操作和最大操作，将相同位置的通道特征的平均值和最大值进行保留；随后，将两个空间权重进行堆叠为(2,H,W)，再使用卷积操作压缩和建立空间联系，形成(1,H,W)的空间权重；最后将获取的空间权重通过Sigmoid函数映射到(0，1)，对原特征图进行加权，从而实现损伤特征的空间增强；其整个过程用下式表示：
[0021]M
c
(F)＝σ(Conv(Avg(F))+Conv(Max(F)))
[0022]式中：F表示特征图，Avg和Max分别表示平均操作和最大操作，Conv表示卷积操作，σ表示Sigmoid函数。
[0023]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤2
‑
4)中，将特征提取主干按照输出尺寸分成几个特征提取块，在每个特征提取块后依次将步骤2
‑
2)、
2
‑
3)中注意力模块进行嵌入，最后组成增强型特征提取网络。
[0024]上述基于多属性感知注意力的风电叶片表面损伤检测方法，所述步骤3)中，通过建立损伤边界框的多属性感知损失函数，将预测框和真实框进行连接，通过衡量预测框和真实框交并比、中心点距离、长宽纵横比和边长之差，多属性协同感知两框差异，从而引导预测框向真实框逼近；其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多属性感知注意力的风电叶片表面损伤检测方法，其特征在于，包括以下步骤：1)建立多类风电叶片损伤图像数据库：收集不同种类的风电叶片损伤图像数据，使用图像处理手段对风电叶片图像进行数量扩充和质量增强；2)建立通道
‑
空间注意力增强的特征提取主干网络：通过在特征提取网络中顺序地嵌入通道注意力和空间注意力模块，建立损伤特征增强型特征提取网络；3)建立损伤边界框的多属性感知损失函数：针对边界框的复杂信息，建立一种边界框多属性损失函数，通过对边界框的多个属性进行感知，描述出预测框与真实框之间的差异，从而引导模型生成准确的预测框；4)构建风电叶片损伤检测模型：构建风电叶片损伤检测模型，利用多类风电叶片损伤图像数据库对风电叶片损伤检测模型进行训练，通过损伤特征增强型特征提取网络将风电叶片损伤检测模型注意力引导至损伤特征，再通过多属性感知损失函数生成损伤边界框，最后得到叶片的损伤种类和损伤位置。2.根据权利要求1所述的基于多属性感知注意力的风电叶片表面损伤检测方法，其特征在于：所述步骤1)中，建立的风电叶片损伤图像数据库包含砂眼、蒙皮脱落、裂纹三类损伤图像和无损伤叶片图像，其中损伤图像通过形态学变换和图像调整扩充损伤图像数量和模拟不同环境下损伤的变化，形态学变换和图像调整的过程包括：反转、旋转、亮度调整、颜色调整、对比度调整和锐度调整；反转和旋转图像的目的是模拟不同角度下损伤图像信息的获取；通过调整图像的亮度和色度的操作，获得不同光照条件下受损图像的特征；对比度和锐度的调整用于增强图像的损伤特征，突出前景信息。3.根据权利要求1所述的多属性感知注意力的风电叶片表面损伤检测方法，其特征在于：所述步骤2)具体包括：步骤2
‑
1)：建立卷积神经网络特征提取网络主干；步骤2
‑
2)：建立通道注意力模块；步骤2
‑
3)：建立空间注意力模块；步骤2
‑
4)：将通道注意力模块和空间注意力模块依次插入特征提取网络主干的特征提取块之后。4.根据权利要求3所述的多属性感知注意力的风电叶片表面损伤检测方法，其特征在于：所述步骤2
‑
2)中，通道注意力模块将特征提取块提取的特征图通道权重进行调整，对包含损伤特征较多的通道赋予较高的权重，从而实现增强损伤特征的目的；具体为将特征图的二维空间进行压缩，将特征图尺寸由(C,H,W)被压缩为(C,1,1)，其中C表示Channel，为通道的含义，H表示Height，为高度的含义，W表示Width，为宽度的含义，从而实现对通道包含特征的概括；使用的具体压缩方式为平均池化和最大池化，平均池化将每个通道中的特征取平均操作，保留其总体特征；最大池化将每个通道中的特征值最大的特征进行保留，其他的丢弃，保留其显著特征，这两种特征压缩方式并行处理，分别都将原特征的尺寸(C,H,W)被压缩为(C,1,1)；随后，两个压缩后的特征分别送入共享多层感知器中，建立通道之间的联系，从而得出新的通道权重；最后，两个新的通道权重相加后通过sigmoid函数映射到(0，1)之间，再将映射后的权重对原特征图进行加权，实现对损伤特征的通道增强；其整个过程用下式表示：
M
c

【专利技术属性】
技术研发人员：刘朝华，陈琪，张英杰，吕明阳，王靛，巫发明，陈亚楠，
申请(专利权)人：湖南科技大学，
类型：发明
国别省市：