大型风力机叶片缺陷集扩充及缺陷量化系统和方法技术方案

大型风力机叶片缺陷集扩充及缺陷量化系统和方法，包括一个无人机，该系统由叶片表面缺陷检测方法由叶片缺陷扩充系统（1）

【技术实现步骤摘要】
大型风力机叶片缺陷集扩充及缺陷量化系统和方法


[0001]本专利技术涉及视觉图像处理
，尤其涉及大型风力机叶片缺陷集扩充及缺陷量化系统和方法
。

技术介绍

[0002]风力机通常建造于山区
、
沙漠
、
沿海等环境较为恶劣的区域，风力机叶片则处于更高的位置，在这些环境下运行的风力机叶片更易出现因环境引起的损伤
。
叶片作为风力机结构的重要组件在风电效率中起着至关重要的作用，但随着环境的影响，表面的缺陷会日积月累地作用于正在运行的风力机结构上，使得风力机发电效率受到严重影响
。
叶片故障作为风力机结构非正常停机的主要因素一直以来都影响正常输电效率，而每个叶片因故障检修需要十多天的时间，在此期间会产生严重的经济损失
。
风力机叶片的正常使用寿命为
20
年左右，若因叶片表面缺陷发生结构破坏和倒塌进而产生安全事故则得不偿失
。
在风力机结构服役期间定时检测风力机叶片损伤是一项极其重要的任务
。
[0003]为了尽早发现风力机叶片的损伤并采取及时维护措施，科学有效的叶片损伤检测技术至关重要
。
现有的损伤检测技术，主要是基于应变测量
、
声发射
、
超声
、
热成像
、
振动等，已被用于风力机的检测
。
基于应变测量的叶片损伤检测通过温度或应变变化引起的叶片膨胀或收缩来间接检测叶片损伤/>。
但是这种方法需要应变传感器安装在叶片表面或嵌入叶片层中，因此会将叶片造成不必要的损伤进而影响叶片气动性能
。
声发射
、
超声和热成像检测可以通过非接触式方法进行检测，但声发射和超声检测设备通常较为昂贵并且操作人员需要一定的专业基础，因此这类方法也没有广泛地应用于叶片表面缺陷检测领域中
。
基于振动的检测方法主要关注由不规则的振动
、
变形引起的异常振动
。
基于振动的检测方法需要通过传感器获取振动数据，如位移传感器和加速度传感器，但是位移传感器往往需要固定板，加速度传感器需要固定于叶片，叶片的特殊结构不利于传感器的安装
。
特别地，传感器需要大量的线缆铺设，这样会造成大量的人力成本，并且在风场环境往往没有所需用电，无法通过传感器检测大量风力机叶片
。
尽管随着技术的成熟无线传感器逐渐应用于结构健康监测中，但是由于数据传输
、
时间同步和功耗的复杂性均未得到很好地解决，因此无法广泛应用于叶片检测中
。
[0004]近年来，随着计算机技术的高速发展，基于视觉的检测方法被大量开发，视觉技术的无损和高效的优势逐渐成为了风力机叶片表面损伤检测方面最具有潜力的方法之一
。
除了早期学者采用传统算法对风力机叶片进行裂纹检测外，近年来的众多学者更多采用基于深度学习模型的方法进行叶片表面损伤检测
。
基于深度学习模型的方法具有快速和高效性，但其检测精度取决于数据集的容量，拥有丰富缺陷和大量场景的数据集是采用深度学习模型精确检测的必要前提
。
但由于目前没有公开的风力机叶片的缺陷数据集，因此现有的数据集都是研究人员自行收集而来，主要问题还是集中在数据集过少导致检测不全面
。
[0005]计算机视觉可以通过视觉传感器进行数据获取，实现非接触
、
无损伤
、
高精度
、
远距离的结构健康监测，因此在工程领域内基于视觉的检测方法深受工程师的青睐
。
尽管现
有的深度神经网络进行
mask
遮盖叶片表面缺陷，但是仍存在检测精度不高，
mask
覆盖不精确的问题
。
基于视觉对叶片表面缺陷的检测已有大量的研究成果，但还是存在叶片表面缺陷分类不明确
、
检测方式单一和监测精度不高的问题，因此亟需一种可以自动快速且高精度的叶片表面缺陷检测方法
。
[0006]目前采用无人机和机器视觉的大型风力机叶片表面缺陷检测和量化仍存在一些技术难题：第一，现有的基于视觉的叶片表面缺陷检测大多采用基于深度学习的方法，但是由于叶片数据集难以采集且各区域的叶片数据集不公开，没有大量且丰富的数据集无法对叶片表面缺陷进行精确的检测
。
第二，现有的叶片缺陷检测大多检测一类缺陷，或者是框选检测，但是叶片缺陷大多同时存在多类缺陷，因此针对多目标检测的
mask
精确覆盖仍是技术难题
。
第三，采用无人机进行视觉检测需要近距离拍摄，所需图像为大型风力机叶片的局部图像，无法对大型风力机叶片进行整体量化
。
第四，针对大型风力机叶片表面缺陷检测仅针对有无缺陷进行了研究，但在大型叶片整体缺陷没有进行量化，也没有对其进行风险等级评定
。

技术实现思路

[0007]本专利技术的目的在于提供大型风力机叶片缺陷集扩充及缺陷量化系统和方法，以解决上述问题并精准高效的对大型风力机叶片表面缺陷进行全面检测
。
[0008]本专利技术是大型风力机叶片缺陷集扩充及缺陷量化系统和方法，大型风力机叶片缺陷集扩充及缺陷量化系统，包括一个无人机3，该系统由叶片表面缺陷检测方法由叶片缺陷扩充系统
1、
叶片缺陷数据库
2、
无人机
3、
风力机叶片
4、
缺陷检测系统
5、
缺陷量化系统6组成；叶片缺陷扩充系统1是一种用于少数缺陷图像扩充为大量且丰富缺陷图像的系统，由图像生成模块
11、
前景提取模块
12、PBGMs
模块
13
和图像融合模块
14
组成；叶片缺陷数据库2是由真实拍摄的缺陷图像
、
扩充的缺陷图像和后续检测的缺陷图像三部分图像通过
EISeg
标注模块
21
进行缺陷数据标注，由所有的缺陷图像和标注数据组成叶片缺陷数据库2；缺陷检测系统5由路径规划模块
51
和缺陷检测模块
52
组成；缺陷量化系统6由图像拼接模块
61
和缺陷量化模块
62
组成；首先采用图像拼接模块
62
对多张缺陷照片实现全局拼接，其次通过整体叶片缺陷分割图像由缺陷量化模块
61
进行多种缺陷全面量化，之后由不同缺陷互相关函数对整体叶片表面缺陷量化，最终实现整体叶片的表面缺陷损伤等级的评定并将结果传输至移动通讯设备7供检测人员判断
。
图像生成模块
11
用于叶片缺陷图像生成，该模块通过判别器和生成器共同对抗训练提取叶片缺陷特征，生成器输入随机噪音
、...

【技术保护点】

【技术特征摘要】
1.
大型风力机叶片缺陷集扩充及缺陷量化系统，包括一个无人机（3），其特征在于：该系统由叶片表面缺陷检测方法由叶片缺陷扩充系统（1）
、
叶片缺陷数据库（2）
、
无人机（3）
、
风力机叶片（4）
、
缺陷检测系统（5）
、
缺陷量化系统（6）组成；叶片缺陷扩充系统（1）是一种用于少数缺陷图像扩充为大量且丰富缺陷图像的系统，由图像生成模块（
11
）
、
前景提取模块（
12
）
、PBGMs
模块（
13
）和图像融合模块（
14
）组成；叶片缺陷数据库（2）是由真实拍摄的缺陷图像
、
扩充的缺陷图像和后续检测的缺陷图像三部分图像通过
EISeg
标注模块（
21
）进行缺陷数据标注，由所有的缺陷图像和标注数据组成叶片缺陷数据库（2）；缺陷检测系统（5）由路径规划模块（
51
）和缺陷检测模块（
52
）组成；缺陷量化系统（6）由图像拼接模块（
61
）和缺陷量化模块（
62
）组成；首先采用图像拼接模块（
62
）对多张缺陷照片实现全局拼接，其次通过整体叶片缺陷分割图像由缺陷量化模块（
61
）进行多种缺陷全面量化，之后由不同缺陷互相关函数对整体叶片表面缺陷量化，最终实现整体叶片的表面缺陷损伤等级的评定并将结果传输至移动通讯设备（7）供检测人员判断；图像生成模块（
11
）用于叶片缺陷图像生成，该模块通过判别器和生成器共同对抗训练提取叶片缺陷特征，生成器输入随机噪音
、
判别器输入真实图像生成真图与假图对抗识别，判别器通过参数更新输入生成器更新生成参数，最终生成大量缺陷图像；前景提取模块（
12
）用于生成的缺陷图像的缺陷提取，具体是由预处理的缺陷图像和预分割图像在编码器与解码器中训练，之后进行
Alpha
和卷积操作提取缺陷作为前景图像；
PBGMs
模块（
13
）通过叶片固有信息制作多样环境下的叶片背景图像；图像融合模块（
14
）是将缺陷前景图像和叶片背景图像通过
Alpha
操作和位置加权融合进行图像归一化，最终融合为大量叶片缺陷图像；路径规划模块（
51
）是用于无人机扫描叶片的路径选择，该模块可控制无人机选择性地对大型风力机叶片扫描拍照，并保证拍摄照片对叶片全覆盖；缺陷检测模块（
52
）通过基于深度学习的方法对拍摄图像进行缺陷的分类与识别，具体是待检测图像输入至编码器的深度卷积网络进行深层特征提取，同时进入解码器进行浅层特征提取，最后深层特征与浅层特征堆叠并上采样后得到预测图像，最终通过深度学习训练得到缺陷权重进而进行具体的缺陷检测；图像拼接模块（
61
）是通过检测的分割图像进行图像拼接达到完整叶片分割图像，具体是由多张待拼接图像重置大小后进行单应性矩阵计算和特征匹配再进行图像融合最终拼接为整体叶片图像；缺陷量化模...

【专利技术属性】
技术研发人员：李万润，赵文海，王彤彤，范博源，闫拴宝，夏浩，杜永峰，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：