一种适用于电力设备机巡图像去雨滴的方法及系统技术方案

本发明专利技术涉及一种适用于电力设备机巡图像去雨滴的方法及系统，具体包括以下步骤：构建生成对抗网络，包括生成网络与判别网络；在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。

【技术实现步骤摘要】
一种适用于电力设备机巡图像去雨滴的方法及系统
本专利技术涉及电力工程
，特别是一种适用于电力设备机巡图像去雨滴的方法及系统。
技术介绍
无人机巡检图像是无人机巡检中最重要的信息载体，通过对机巡图像的目标检测和故障定位可以达到智能化巡检的目的。无人机在野外巡线的过程中有时摄像头上会有雨滴存在，雨滴会覆盖背景图像中目标物体信息，降低图像质量。雨滴使得电力设备成像时吸收了更广泛的环境光线，这些折射光线与目标物体反射光线叠加造成了图像的退化。另外无人机巡线拍照时相机应该聚焦在电力设备上，而雨滴的存在会影响相机的聚焦使得图像背景虚化，图像细节信息损失严重，对含雨滴机巡图像的后续操作会异常困难。因此雨滴的存在会导致拍摄的机巡图像质量参差不齐，从而会对图像信息提取和利用造成影响，使得目标检测的准确性和可靠性降低。单幅图像去雨滴是图像处理领域中一项极其复杂的技术，国内外开展相关技术研究的时间不太久现有方法不多，大致可以分为传统去雨滴方法和基于CNN网络的去雨滴方法，传统去雨滴方法又分为基于滤波的方法和基于字典学习加稀疏编码的方法，其中滤波法包括引导滤波法、改进引导滤波法、多次引导滤波法、LO平滑滤波法、非均值滤波法等。滤波法生成的去雨滴图像较为模糊，且存在部分雨滴无法去除的问题。2013年，卷积神经网络首次用于图像去雨滴，构建一个包含有雨滴/无雨滴图像对的样本库，利用步长为1的滑动窗口对相应图像进行分割，然后利用对应图像块之间的均方误差进行网络训练，最终获得能够去雨滴的卷积神经网络模型。通过对现有图像去雨滴方法进行研究发现，目前传统的去雨滴方法大多是基于模型去雨滴，利用传统的模型分别描述雨滴、雨线和背景图像，通过相应的优化算法一步步迭代优化去除雨滴。传统方法对于雨滴密集的图像处理效果很差，被雨滴覆盖区域的背景图像不能精细修复。而基于卷积神经网络的去雨滴方法能够充分提取图像的特征信息，利用此方法实现图像去雨滴的效果明显优于传统方法。但随着网络深度的增加，网络容易出现过拟合现象，去雨滴效果很难有进一步的提高。
技术实现思路
有鉴于此，本专利技术的目的是提出一种适用于电力设备机巡图像去雨滴的方法及系统，使得得到的去雨滴图像更加接近真实图像。本专利技术采用以下方案实现：一种适用于电力设备机巡图像去雨滴的方法，具体包括以下步骤：构建生成对抗网络，包括生成网络与判别网络；在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。进一步地，所述生成对抗网络的整体损失函数为：式中，G代表生成网络，D代表判别网络，I是含雨滴图像，R是不含雨滴的真实样本，G(I)是去雨滴后的图像，ERPclean表示在不含雨滴图像中的图像细节损失量，EIPraindrop表示在含雨滴图像中的图像细节损失量。进一步地，生成网络的输入是背景场景完全相同的图像对，包含一张含雨滴的图像和一张不含雨滴的图像，输出为去雨滴图像；所述生成网络包含注意力循环网络和上下文自动编码器；所述注意力循环网络包括一个以上的循环网络，通过循环迭代的方式生成注意力图，注意力图含雨滴图像中雨滴的位置信息，引导上下文自动编码器重点关注雨滴及其周围区域；每个循环模块均包括一个以上的残差块、一个LSTM单元以及一个卷积层，每个循环模块中的LSTM单元的输出一方面输入到本循环模块中的卷积层用于产生2维注意力图，另一方面输入给下一个循环模块的LSTM单元中实现时间维度上的特征保留；每个循环模块的损失函数LATT({A},M)为输出注意力图A与二进制掩码M之间的均方误差，如下：式中，At表示时间步长t时注意力循环网络产生的注意力图，ATTt函数表示在时间步长为t时的循环模块，Ft-1表示含雨滴图像和上一个循环模块输出注意力图的融合；N为循环模块的个数，θ表示一个0到1的随机数，LMSE表示均方误差函数。进一步地，θ的取值为0.8。进一步地，N的取值为4。进一步地，所述上下文自动编码器的输入为含雨滴图像和注意力循环网络输出的注意力图，在注意力图的引导下实现图像去雨滴和背景修复；所述上下文自动编码器包括16个conv-relu模块，编码器和解码器部分结构对称，对应模块之间添加了跳过连接，以防止去雨滴图像模糊。进一步地，所述上下文自动编码器采用两种损失函数，分别为多尺度损失和感知损失；所述多尺度损失函数从解码器不同层提取图像特征信息，充分利用图像多层次信息对模型进行优化获得清晰的去雨滴图像，多尺度损失函数LM({S},{A})如下：式中，Si表示从编码器中第i层提取出的图像特征，ANi表示具有与Si相同尺度的真实图像，λi表示第i层权重，M为编码器的总层数，LMSE表示均方误差函数；除了基于像素点的尺度损耗之外还增加了感知损耗，用于获得上下文自动编码器输出与相应清晰图片之间的全局差异。感知损耗从图像的全局角度衡量去雨滴图像和真实的图像之间的差异，这将使得去雨滴图像更加接近真实样本。图像全局信息可以利用vgg16网络进行提取，事先在数据集上完成vgg16的预训练。所述感知损失LP的计算如下：LP(O,T)＝LMSE(VGG(O),VGG(T))；其中VGG是经过预训练的CNN网络，能够完成对给定输入图像的特征提取。O是自动编码器的输出图像，T是不含雨滴的真实图像样本。LMSE表示均方误差函数。利用CNN网络从判别网络的内层进行特征提取，同时也对生成网络生成的去雨滴图像进行特征提取，然后将获得的特征图和注意力图结合构成局部判别器的损失函数；利用注意力图引导判别网络对图像中的雨滴区域进行重点关注，在判别网络的最后一层使用全连接层来判断输入图像的真假；判别网络的整个损失函数如下：LD(O,R,AN)＝-log(D(R))-log(1-D(O))+γLmap(O,R,AN)；式中，γ为0.05，前两项为全局判别器的损失函数，Lmap表示局部判别器的损失函数，O是自动编码器的输出图像，S表示从编码器中提取出的图像特征，AN表示具有与S相同尺度的真实图像，R是从真实清晰的图像库中提取的样本图像；局部判别器的损失函数Lmap(O,R,AN)如下：Lmap(O,R,AN)＝LMSE(Dmap(O),AN)+LMSE(Dmap(R),0)；式中，Dmap表示由判别网络生成二维注意力掩码图函数，0表示仅包含0值的注意力图，即真实的图像中没有雨滴因此也不需要注意力图引导网络进行特征提取。进一步地，所述判别网络包含9个卷积层以及一个全连接层，卷积层的内核为(3,3)，全连接层为1024，单个神经元采用Sigmoid激活函数。本专利技术还提供了一种适用于电力设备机巡图像去雨滴的系统，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机指令时本文档来自技高网...

【技术保护点】
1.一种适用于电力设备机巡图像去雨滴的方法，其特征在于，包括以下步骤：/n构建生成对抗网络，包括生成网络与判别网络；/n在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；/n在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。/n

【技术特征摘要】
1.一种适用于电力设备机巡图像去雨滴的方法，其特征在于，包括以下步骤：
构建生成对抗网络，包括生成网络与判别网络；
在训练阶段，利用生成网络和判别网络之间的相互博弈，在注意力图的引导下使生成网络生成符合条件的去雨滴图像；
在使用阶段，将包含雨滴的图像输入训练好的生成器中，得到去雨滴图像。


2.根据权利要求1所述的一种适用于电力设备机巡图像去雨滴的方法，其特征在于，所述生成对抗网络的整体损失函数为：



式中，G代表生成网络，D代表判别网络，I是含雨滴图像，R是不含雨滴的真实样本，G(I)是去雨滴后的图像，ERPclean表示在不含雨滴图像中的图像细节损失量，EIPraindrop表示在含雨滴图像中的图像细节损失量。


3.根据权利要求1所述的一种适用于电力设备机巡图像去雨滴的方法，其特征在于，生成网络的输入是背景场景完全相同的图像对，包含一张含雨滴的图像和一张不含雨滴的图像，输出为去雨滴图像；所述生成网络包含注意力循环网络和上下文自动编码器；
所述注意力循环网络包括一个以上的循环网络，通过循环迭代的方式生成注意力图，注意力图含雨滴图像中雨滴的位置信息，引导上下文自动编码器重点关注雨滴及其周围区域；
每个循环模块均包括一个以上的残差块、一个LSTM单元以及一个卷积层，每个循环模块中的LSTM单元的输出一方面输入到本循环模块中的卷积层用于产生2维注意力图，另一方面输入给下一个循环模块的LSTM单元中实现时间维度上的特征保留；
每个循环模块的损失函数LATT({A},M)为输出注意力图A与二进制掩码M之间的均方误差，如下：



式中，At表示时间步长t时注意力循环网络产生的注意力图，ATTt函数表示在时间步长为t时的循环模块，Ft-1表示含雨滴图像和上一个循环模块输出注意力图的融合；N为循环模块的个数，θ表示一个0到1的随机数，LMSE表示均方误差函数。


4.根据权利要求3所述的一种适用于电力设备机巡图像去雨滴的方法，其特征在于，θ的取值为0.8。


5.根据权利要求3所述的一种适用于电力设备机巡图像去雨滴的方法，其特征在于，N的取值为4。


6.根据权利要求3所述的一种适用于电力设备机巡图像去雨滴的方法，其特征在于，所述上下文自动编码器的输入为含雨滴图像和注意力循环网络输出的注意力图，在注意力图的引导下实现图像去雨滴和背景修复；
所述上下文自动编码器包括16个conv-relu模块，编码器和解码器部分结构对称，对应模块之间添加了跳过连接，以防止去雨滴图像模糊。


7.根据权利要求6所述的一种适...

【专利技术属性】
技术研发人员：吴毅翔，陈月卿，胡琳，张振兴，郑剑辉，王媛婷，林耀洲，陈荔芬，祁琦，林丽琴，
申请(专利权)人：国网福建省电力有限公司检修分公司，国网福建省电力有限公司，
类型：发明
国别省市：福建;35