一种基于生成对抗网络的风机叶片故障检测方法技术

一种基于生成对抗网络的风机叶片故障检测方法，首先，利用无人机等设备采集风机叶片图像；其次，利用生成对抗网络对已标注的风机叶片图像构建生成遮挡和形变的生成器和风机叶片故障检测辨别器，扩充已标注风机叶片图像数据集，并且通过生成器和辨别器之间的对抗，提高风机叶片故障检测辨别器的辨别性能；最后，将待检测风机叶片图像输入风机叶片故障检测辨别器，获取检测类别结果。本发明专利技术可以较好地检测风机叶片是否故障，方便管理人员做出相应的处理，有效提高工作人员的效率。

A fault detection method for wind turbine blade based on generated countermeasure network

【技术实现步骤摘要】
一种基于生成对抗网络的风机叶片故障检测方法
本专利技术属于图像处理
，具体涉及一种基于生成对抗网络的风机叶片故障检测方法。
技术介绍
风能是一种无公害的可再生能源，能量近乎无尽，分布广泛。风电缓解了能源的供应，对环境的保护意义重大。风电设备一般安装在风力资源丰富但交通不便的地区，比如山区、高原地区、草原牧场等。这些地区环境恶劣，雷电、暴雨或者台风等都可能损坏风机叶片，需要定期对风机进行巡检，以保证风电设备的稳定运行。但是风电设备地处偏远地区，巡检工作量大，且不能全面及时发现已损坏的设备。风机叶片是风力发电设备的核心部件之一，它直接关系到风机的性能以及效益。而风机叶片高速运转时，不可避免会形变，甚至断裂，影响发电量。所以需要对叶片进行检查以保证风机的正常运行。随着风力发电技术的成熟，风机规模不断扩大，对于大规模的风力发电站，人工巡检效率太低，巡检成本过高。迫切需要提供一种高效准确的方法来判断风机叶片是否故障。无人机的运用极大地提高了工作人员的观察角度。无人机搭载高分辨率的摄像机拍摄风机叶片表面，向工作人员传回高清图像，但是需要工作人员进行查看分析，工作效率仍然较低，所以需要自动对风机叶片图像进行分析，高效准确的判断风机叶片是否故障。随着深度学习的发展，深度学习在图像处理方面的运用逐渐成熟，因此可以利用深度学习技术去判断风机叶片是否故障。基于深度学习构建风机叶片故障检测模型需要大量标注良好的样本,获取标注信息需要耗费大量人力物力。为了减少标注耗费的人力物力，本专利技术利用生成对抗网络对已标注故障的风机叶片图像构建生成遮挡和形变的生成器和风机叶片检测辨别器，扩充已标注风机叶片图像数据集。其次，在实际测试过程中只需要运用风机叶片故障检测辨别器，结构简单，易于部署。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术提供一种基于生成对抗网络的风机叶片故障检测方法，通过生成对抗网络扩充风机叶片图像数据集，并通过风机叶片的图像判断风机叶片是否故障。为实现上述专利技术目的，本专利技术具体采用以下技术方案。一种基于生成对抗网络的风机叶片故障检测方法，所述风机叶片故障检测方法包括以下步骤：步骤1：采集风机叶片图像，并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障；步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型，其中干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自所述干扰生成器的拟真样本，并对其真伪进行判别；步骤3：对所述故障检测辨别器预训练模型和所述干扰生成器预训练模型进行对抗训练，即，所述故障检测辨别器接收来自原图像的真实样本和所述拟真样本，并对其真伪性进行判断；步骤4：计算故障检测辨别器损失和干扰生成器损失，其中，所述故障检测辨别器损失为所述故障检测辨别器判断错误时的损失，所述干扰生成器损失为所述故障检测辨别器判断正确时的损失；步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6；步骤6：判断迭代次数达到设定的最大迭代次数上限，或者所述故障检测辨别器和所述干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回所述步骤3；步骤7：在所述步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型；步骤8：将待检测的风机叶片的图像输入所述步骤7中所述故障检测辨别器模型中，对风机叶片的故障状态进行检测。本专利技术还进一步采用以下优选技术方案：在所述步骤1中，采集到风机叶片的图像样本之后，将风机叶片的原图像输入示例分割算法，输出对应图像的示例分割掩膜数据。在所述步骤2中，通过在已开源的目标检测数据集上对所述干扰生成器模型和故障检测辨别器模型进行训练，并赋予初始参数，构建所述干扰生成器预训练模型和所述故障检测辨别器预训练模型。在所述步骤2中，所述生成器生成拟真样本包括以下步骤：S201：接收所述步骤1中已标注的风机叶片图像的对应的掩膜数据，提取风机特征，所述风机特征值包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接/邻接关系、交叠/重叠关系以及包含/包容关系；S202：根据所述示例分割算法生成的掩膜数据和在所述S201中提取的特征值构建空间遮蔽网络；S203：将空间遮蔽网络作为掩膜生成器，示例分割算法作为掩膜辨别器，利用生成对抗网络进行对抗学习，生成遮挡掩膜；S204：根据空间变换规则构建空间变换网络，所述空间变换网络根据形变规则对所述风机特征进行形变，其中，所述形变规则包括平移、缩放以及旋转；S205：基于图像特征值、所生成的遮挡掩膜和形变后的风机特征，在所述生成器中生成拟真样本。所述步骤3包括以下步骤：步骤301：故障检测辨别器接收所述干扰生成器生成的拟真样本和步骤1中所采集风机叶片图像的真实样本；步骤302：所述故障检测辨别器对拟真样本和真实样本的真伪性进行判断，当所述故障辨别器的输出为1时，判断结果为输入来自真实样本；所述故障辨别器输出为0时，判断结果为输入来自拟真样本。在所述步骤4中，通过以下损失函数计算所述辨别器损失和所述生成器损失：LSDN&STN-GAN(GSDN&STN,DMask)＝Ex[ln(DMask(x))]+ESDN&STN[ln(1-DMask(GSDN&STN(x,m)))]其中，E(*)表示分布函数的期望值；GSDN&STN表示干扰生成器；x表示接收的真实图像；和m表示由示例分割算法生成的掩膜数据，GSDN&STN(x,m)表示生成的拟真样本；辨别器DMask表示故障检测辨别器。在所述步骤5中，根据所计算得到的所述辨别器损失、所述生成器损失，利用优化器对所述生成器和所述辨别器进行优化，其中所述优化器的初始参数为：一阶矩阵衰减系数β1＝0.9、二阶矩衰减系数β2＝0.999、偏置ε＝10-8和学习率α＝0.001；包括以下步骤：步骤501：计算所述损失函数对参数θ的梯度gt；步骤502：计算梯度的一阶矩nt＝β1×nt-1+(1-β1)×gt；步骤503：计算梯度的二阶矩步骤504：更新参数其中，θ为生成对抗网络的网络参数，gt为t时刻损失函数对θ的梯度，β1为第一矩阵衰减系数，β2为第二矩阵衰减系数，nt为t时刻的梯度的一阶矩，nt-1为t-1时刻的梯度的一阶矩，mt为t时刻的梯度的二阶矩，mt-1为t-1时刻的梯度的二阶矩，α为学习率，ε为偏置，θt为t时刻的θ值，ε为偏置。在步骤6中，当更新参数θt收敛时，则认为所述博弈结果趋近于纳什本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的风机叶片故障检测方法，所述风机叶片故障检测方法包括以下步骤：/n步骤1：采集风机叶片图像，并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障；/n步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型，其中干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自所述干扰生成器的拟真样本，并对其真伪进行判别；/n步骤3：对所述故障检测辨别器预训练模型和所述干扰生成器预训练模型进行对抗训练，即，所述故障检测辨别器接收来自原图像的真实样本和所述拟真样本，并对其真伪性进行判断；/n步骤4：计算故障检测辨别器损失和干扰生成器损失，其中，所述故障检测辨别器损失为所述故障检测辨别器判断错误时的损失，所述干扰生成器损失为所述故障检测辨别器判断正确时的损失；/n步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6；/n步骤6：判断迭代次数达到设定的最大迭代次数上限，或者所述故障检测辨别器和所述干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回所述步骤3；/n步骤7：在所述步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型；/n步骤8：将待检测的风机叶片的图像输入所述步骤7中所述故障检测辨别器模型中，对风机叶片的故障状态进行检测。/n...

【技术特征摘要】
1.一种基于生成对抗网络的风机叶片故障检测方法，所述风机叶片故障检测方法包括以下步骤：
步骤1：采集风机叶片图像，并标注风机叶片图像，获取对应的掩膜数据，其中标注包括正常和故障；
步骤2：利用生成对抗网络对已标注的图像构建干扰生成器预训练模型和故障检测辨别器的预训练模型，其中干扰生成器用于生成拟真样本，故障检测辨别器用于接收来自原风机叶片图像的真实样本和来自所述干扰生成器的拟真样本，并对其真伪进行判别；
步骤3：对所述故障检测辨别器预训练模型和所述干扰生成器预训练模型进行对抗训练，即，所述故障检测辨别器接收来自原图像的真实样本和所述拟真样本，并对其真伪性进行判断；
步骤4：计算故障检测辨别器损失和干扰生成器损失，其中，所述故障检测辨别器损失为所述故障检测辨别器判断错误时的损失，所述干扰生成器损失为所述故障检测辨别器判断正确时的损失；
步骤5：根据所述步骤4中计算得出的所述故障检测辨别器损失和干扰生成器损失，更新生成对抗网络的网络参数θ，即对所述故障检测辨别器和所述干扰生成器进行优化，并执行步骤6；
步骤6：判断迭代次数达到设定的最大迭代次数上限，或者所述故障检测辨别器和所述干扰生成器的博弈结果趋近于纳什平衡，如果达到最大迭代次数或者博弈结果趋近于纳什平衡，则输出优化好的干扰生成器的模型文件和故障检测辨别器的模型文件，否则迭代次数加1后返回所述步骤3；
步骤7：在所述步骤6输出的优化好的模型文件中，移除干扰生成器模型的结构，得到风机叶片故障检测辨别器模型；
步骤8：将待检测的风机叶片的图像输入所述步骤7中所述故障检测辨别器模型中，对风机叶片的故障状态进行检测。


2.根据权利要求1所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤1中，采集到风机叶片的图像样本之后，将风机叶片的原图像输入示例分割算法，输出对应图像的示例分割掩膜数据。


3.根据权利要求1或2所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤2中，通过在已开源的目标检测数据集上对所述干扰生成器模型和故障检测辨别器模型进行训练，并赋予初始参数，构建所述干扰生成器预训练模型和所述故障检测辨别器预训练模型。


4.根据权利要求3所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
在所述步骤2中，所述生成器生成拟真样本包括以下步骤：
S201：接收所述步骤1中已标注的风机叶片图像的对应的掩膜数据，提取风机特征，所述风机特征值包括颜色特征、纹理特征、形状特征和空间关系特征，其中，所述空间关系特征包括连接/邻接关系、交叠/重叠关系以及包含/包容关系；
S202：根据所述示例分割算法生成的掩膜数据和在所述S201中提取的特征值构建空间遮蔽网络；
S203：将空间遮蔽网络作为掩膜生成器，示例分割算法作为掩膜辨别器，利用生成对抗网络进行对抗学习，生成遮挡掩膜；
S204：根据空间变换规则构建空间变换网络，所述空间变换网络根据形变规则对所述风机特征进行形变，其中，所述形变规则包括平移、缩放以及旋转；
S205：基于图像特征值、所生成的遮挡掩膜和形变后的风机特征，在所述生成器中生成拟真样本。


5.根据权利要求1或4所述的基于生成对抗网络的风机叶片故障检测方法，其特征在于：
所述步骤3包括以下步骤：
步骤301：故障检测辨别器接收所述干扰生成器生成的拟真样本和步骤1中所采集风机叶片图像的真实样本；
步骤302：所述故障检测辨别器对拟真样本和真实样本的真伪性进行判断，当所述故障辨别器的输出为1时，判断结果为输入来自真实样本；所述故障辨别器输出为0时，判断结果为输入来自拟真样本。


6.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：赵计生，米路中，强保华，陈锐东，谢元，范婧，郭强，张艳萍，
申请(专利权)人：北京华电天仁电力控制技术有限公司，
类型：发明
国别省市：北京;11