一种基于计算机视觉的风机叶片缺陷检测方法及设备技术

本发明专利技术提出一种基于计算机视觉的风机叶片缺陷检测方法及设备，该方法通过构建包括基于HnNet网络的基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块的风机叶片缺陷检测模型，进行风机叶片缺陷检测；使用单CCD摄像头纵向移位扫描周期拍摄或使用CCD阵列周期拍摄形式，获取风机叶片局部图像，相邻局部图像有重叠区域，保障不丢失图像数据；通过设置特征层解耦方式，为不同预测项提供充足特征量，提高预测准确率；通过本发明专利技术，能够识别裂纹、砂眼、分层、脱粘等各种各样、形式各异的风机叶片缺陷。形式各异的风机叶片缺陷。形式各异的风机叶片缺陷。

【技术实现步骤摘要】
一种基于计算机视觉的风机叶片缺陷检测方法及设备


[0001]本专利技术涉及深度学习
，尤其涉及一种基于计算机视觉的风机叶片缺陷检测方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着风电产量和容量都在逐年递增，国内外已经建成了许多大中型风力发电厂。风机叶片是风电机组获取风能的最关键的部件之一，随着制造技术的发展，风电叶片的尺寸不断增加，长度超过50米，重量达到十几吨。国内外就发生过多起因风电叶片掉落造成的事故。一旦因为损伤严重造成叶片在运行中掉落，容易引发非常严重的事故，可能对其他机组造成撞击，甚至对周围的居民造成人身、财产损失。因此通过一定的无损检测技术对运行中的风电叶片状态进行定期的检测和评估，在其遭受严重损害之前及时进行维护，具有十分重大的意义。
[0003]造成风电叶片损伤的原因主要是恶劣气候对风电叶片表面的侵蚀及空气中的媒介对叶片造成的腐蚀伤害。风电叶片大多采用玻璃钢复合材料，结构复杂。风电叶片在运行过程中，受到台风、雷电、冰雪、盐雾等恶劣天气的影响，加上长期使用过程中受到的交变载荷的作用，容易出现裂纹、砂眼、分层、脱粘等损伤。
[0004]常用的风电叶片无损检测方案有目视法、声发射监测、光纤传感器监测、应变片监测、红外热成像等。
[0005]目视法用高倍望远镜或者高倍摄像机直接拍摄运行中的风电叶片，观察其表面的缺陷。对检测人员的相关经验要求较高，工作量大。裂纹，砂眼等细小缺陷难以检测。
[0006]声发射监测利用物体内部状态发生改变时会自动发出瞬态弹性声波的原理实时监测物体缺陷。由于声波在传输过程中会发生衰减，尤其是在缺陷区域，声波频率更高，衰减也更大，且不同类型缺陷产生的声波差异很小，信号分析难度极大。
[0007]光纤传感器监测法是利用光纤形状随应力的变化而发生形变，从而引起其内部光传播特性的变换而实现对风电叶片内部应变的实时测量。光纤传感器需要预先安装在风电叶片内部，造价较高，叶片成型后无法进行修复和更换。
[0008]应变片监测法是采用在风电叶片表面粘贴应变片的方法实现对风电叶片运行过程中应力变化实时检测，然后分析采集到的应变值对叶片运行状态进行判断的。但应变片粘贴在风电叶片表面，因此容易受到破坏而脱落，且应变片之间通常需要用铜导线相连接，因此也容易受到电磁干扰。
[0009]红外热成像法是利用物体缺陷部分与其他部分的温度差异实现对风电叶片缺陷检测。该方法能反映风电叶片内部缺陷的模糊区域，无法识别外部缺陷极其类型。

技术实现思路

[0010]本专利技术提供一种基于计算机视觉的风机叶片缺陷检测方法、装置、计算机设备及存储介质，旨在识别裂纹、砂眼、分层、脱粘等各种各样、形式各异的风机叶片缺陷。
[0011]为此，本专利技术的第一个目的在于提出一种基于计算机视觉的风机叶片缺陷检测方法，包括：
[0012]构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；
[0013]获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；
[0014]将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
[0015]其中，风机叶片缺陷检测模型中，
[0016]基础特征提取模块为特征提取器，采用深度卷积网络对风机叶片表面图像进行基础特征提取，得到不同尺寸和深度的特征层；
[0017]多尺度池化融合模块用于对不同尺寸和深度的有效特征层进行池化融合，以提高小缺陷目标的检测率；
[0018]多尺度特征层融合模块用于对不同尺寸和深度的有效特征层进行特征层融合；
[0019]特征解耦模块用于对多尺度池化融合后得到的不同尺寸的有效特征层进行解耦，以为不同的预测项提供充分的特征数据；
[0020]预测模块用于输出预测结果。
[0021]其中，特征提取器的深度卷积网络为HnNet网络、ResNet
‑
101网络或ResNet
‑
152网络。
[0022]其中，HnNet网络结构的最小组件包括卷积层、BN、Mish激活函数；其中，
[0023]BN层用于实现正则化效果，能提升模型收敛速度，防止模型过拟合；Mish激活函数用于提高训练稳定性和平均准确率。
[0024]其中，多尺度池化融合模块由多层池化层并联形成，基础特征提取模块提取得到的特征层输入后，经过每一池化层进行多尺度池化处理。
[0025]其中，多尺度特征层融合模块使用FPN和PAN网络结构对不同尺寸特征层进行融合，提高小目标、多目标检测率。
[0026]其中，特征解耦模块通过设置多层基础卷积单元，用于对风机叶片表面图像进行缺陷类别、缺陷位置及缺陷置信度的预测；其中，所述特征解耦模块包括输入端，输入端连接第一多层基础卷积单元和第二多层基础卷积单元的一端，第二多层基础卷积单元的另一端连接第三多层基础卷积单元和第四多层基础卷积单元。
[0027]本专利技术的第二个目的在于提出一种基于计算机视觉的风机叶片缺陷检测装置，包括：
[0028]模型构建模块，用于构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；
[0029]模型训练模块，用于获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；
[0030]缺陷检测模块，用于将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。
[0031]本专利技术的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
[0032]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。
[0033]区别于现有技术，本专利技术提供的基于计算机视觉的风机叶片缺陷检测方法，通过构建包括基于HnNet网络的基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块的风机叶片缺陷检测模型，进行风机叶片缺陷检测；使用单CCD摄像头纵向移位扫描周期拍摄或使用CCD阵列周期拍摄形式，获取风机叶片局部图像，相邻局部图像有重叠区域，保障不丢失图像数据；通过设置特征层解耦方式，为不同预测项提供充足特征量，提高预测准确率；通过本专利技术，能够识别裂纹、砂眼、分层、脱粘等各种各样、形式各异的风机叶片缺陷。
附图说明
[0034]本专利技术的和/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的风机叶片缺陷检测方法，其特征在于，包括：构建风机叶片缺陷检测模型，所述风机叶片缺陷检测模型包括基础特征提取模块、多尺度池化融合模块、多尺度特征层融合模块、特征解耦模块和预测模块；获取具有缺陷的风机叶片表面图像并进行预处理，形成风机叶片表面缺陷图像数据集，并将预处理后的风机叶片表面缺陷图像数据集输入所述风机叶片缺陷检测模型，进行模型训练；将实时采集的风机叶片表面图像输入训练完成的风机叶片缺陷检测模型，通过模型输出结果，对风机叶片表面缺陷进行检测。2.根据权利要求1所述的基于计算机视觉的风机叶片缺陷检测方法，其特征在于，所述风机叶片缺陷检测模型中，基础特征提取模块为特征提取器，采用深度卷积网络对风机叶片表面图像进行基础特征提取，得到不同尺寸和深度的特征层；多尺度池化融合模块用于对不同尺寸和深度的有效特征层进行池化融合，以提高小缺陷目标的检测率；多尺度特征层融合模块用于对不同尺寸和深度的有效特征层进行特征层融合；特征解耦模块用于对多尺度池化融合后得到的不同尺寸的有效特征层进行解耦，以为不同的预测项提供充分的特征数据；预测模块用于输出预测结果。3.根据权利要求2所述的基于计算机视觉的风机叶片缺陷检测方法，其特征在于，所述特征提取器的深度卷积网络为HnNet网络、ResNet
‑
101网络或ResNet
‑
152网络。4.根据权利要求3所述的基于计算机视觉的风机叶片缺陷检测方法，其特征在于，所述HnNet网络结构的最小组件包括卷积层、BN、Mish激活函数；其中，BN层用于实现正则化效果，能提升模型收敛速度，防止模型过拟合；Mish激活函数用于提高训练稳定性和平均准确率。5.根据权利要求2所述的基于计算机视觉的风机叶片缺陷检测方法，其特征在于，所述多尺度池化融...

【专利技术属性】
技术研发人员：邸智，万芳，曹朔，曾谁飞，黄思皖，韦玮，白新奎，满锋利，李恭斌，薛录宏，李小翔，
申请(专利权)人：中国华能集团清洁能源技术研究院有限公司，
类型：发明
国别省市：