基于改进SRGAN模型的超分辨率螺栓图像生成方法技术

本发明专利技术公开了基于改进SRGAN模型的超分辨率螺栓图像生成方法，涉及图像处理技术领域；其包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力；其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率高。

Super resolution bolt image generation method based on improved srgan model

【技术实现步骤摘要】
基于改进SRGAN模型的超分辨率螺栓图像生成方法
本专利技术涉及图像处理
，尤其涉及基于改进SRGAN模型的超分辨率螺栓图像生成方法，是一种基于生成式对抗网络(GenerativeAdversarialNetworks,GAN)的超分辨率方法。
技术介绍
百度中，超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。近年来超分辨率(SuperResolution,SR)图像生成技术作为工业界、学术界一直讨论研究的热门话题，在增加图像质量方面发挥着重要的作用。超分辨率图像生成是指低分辨率图像(LowResolution,LR)通过一定的转换之后生成高分辨率图像(HighResolution,HR)的过程。对于图像超分辨率技术，关键是建立从LR图像到HR图像的非线性映射，由于LR图像信息不充足，需要根据先验知识提供信息。传统方法一般是插值，这样的效果是不理想的，将对抗学习的思想引入超分辨率图像生成中，加入的判别器能够解决不同数据域存在分布不相同的问题，通过使判别器无法区分两个不同数据域的样本，使得它们属于同一个分布，从而作为一个规则化的方法去指导深度学习模型更新参数权重，取得更好的生成效果。其中，SRGAN(Super-ResolutionGenerativeAdversarialNetwork)模型在超分辨率生成方面取得了巨大的成功，实验也表明该模型能够获得较好的效果。然而仍然存在一些不足，生成的图像会出现噪声，细节不够真实，影响了生成样本的质量，而且GAN网络在训练过程中存在不稳定的情况。本申请主要针对的问题就是在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率低，针对这一问题，提出了一种基于改进SRGAN模型的超分辨率螺栓图像生成方法。现有技术问题及思考：如何解决在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像分辨率低的技术问题。
技术实现思路
本专利技术所要解决的技术问题是提供基于改进SRGAN模型的超分辨率螺栓图像生成方法，其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像的分辨率高。为解决上述技术问题，本专利技术所采取的技术方案是：基于改进SRGAN模型的超分辨率螺栓图像生成方法包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。进一步的技术方案在于：在所述步骤S2建立生成式对抗网络模型中去除生成器网络中的BN层以降低模型计算复杂度。进一步的技术方案在于：所述步骤S4判别器损失函数构建包括判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)])(4)其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出；加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。进一步的技术方案在于：所述步骤S2建立生成式对抗网络模型包括生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层。进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，螺栓图像超分辨率网络基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，生成器G使用15个卷积层，输入为低分辨率螺栓图像，经过一个卷积核大小为9×9的卷积层，PReLU激活层，经过5个去除了BN层的残差结构块，中间采用跳层连接，第一层的输出作为第三层的输入，第三层的输出作为第五层的输入，通过两个亚像素卷积层来增加输入图像的分辨率，最后输出高分辨率的螺栓图像。进一步的技术方案在于：在所述S2建立生成式对抗网络模型的步骤中，判别器D的网络使用了VGG网络，输入是真实的高分辨率螺栓图像和生成的螺栓图像，判别器D的网络包含8个卷积层，全部为3×3大小的卷积核，每两个卷积层的输出映射数是一样的，从64到512，成两倍的变化，每次输出映射数变化，卷积网络就降低图像的分辨率，512个特征映射后是两个密度层denselayer、一个LeakyRelu激活函数以及一个Sigmoid激活函数，增加了区分HR图像和SR图像可能性，两个密度层一个是1024层，另外一个只有1层。进一步的技术方案在于：所述步骤S1模型训练使用的数据集包括收集模型训练使用的数据集，将高分辨率图像和低分辨率图像一一对应。进一步的技术方案在于：所述步骤S3生成器损失函数构建包括以下步骤，生成器损失函数为：式1中，是生成器损失函数，是基于内容的损失函数，用于计算内容损失，是基于对抗学习的代价函数，用于计算代价损失；基于内容的损失函数通过重构图像的特征表示和对应的高清晰度图像之间的欧式距离表示，计算公式如下所示：式(2)中，Wi,j、Hi,j描述了VGG网络中对应特征图宽度和高度的维数，Φi,j表示第i个最大值池化层前第j个卷积层的特征图，IHR为高分辨率图像，ILR为低分辨率图像，为低分辨率图像经过生成器之后生成的高分辨率图像；基于对抗学习的代价函数的计算公式如下所示：式(3)中，是一个图像属于真实的高分辨率图像的概率，为生成器生成的高分辨率图像。进一步的技术方案在于：所述步骤S5高分辨率螺栓图像生成包括将低分辨率的螺栓图像输入训练好的生成器模型中，获得高分辨率的螺栓图像。采用上述技术方案所产生的有益效果在于：第一，包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。该技术方案，其通过在SRGAN模型的损失函数中加入相对均值鉴别器等，实现了在输电线路无人机自主巡检与深度学习的结合应用中，SRGAN模型生成的输电线路螺栓图像的分辨率高。本文档来自技高网...

【技术保护点】
1.基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。/n

【技术特征摘要】
1.基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：包括步骤S1模型训练使用的数据集、S2建立生成式对抗网络模型、S3生成器损失函数构建、S4判别器损失函数构建和S5高分辨率螺栓图像生成，在步骤S4判别器损失函数构建的SRGAN模型的损失函数中加入相对均值鉴别器以平衡生成器和判别器的能力。


2.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述步骤S2建立生成式对抗网络模型中去除生成器网络中的BN层以降低模型计算复杂度。


3.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S4判别器损失函数构建包括判别器损失函数为生成的高分辨率图像和真实的高分辨率图像通过判别网络得到的差异损失，在判别器损失函数中引入相对均值鉴别器，相对均值鉴别器的计算公式如下所示：
DRa(xr,xf)＝σ(C(xr)-Exf[C(xf)])(4)



其中，σ为激活函数，C(xr)是真实高分辨率图像未经判别器最后层激活函数的输出，E()代表期望函数，C(xf)是低分辨率图像未经判别器最后层激活函数的输出；
加入相对均值鉴别器之后，判别器损失函数计算公式如下所示：



式(6)中，xr代表高分辨率图像，P是高分辨率图像的概率分布，xf是经过生成器生成的高分辨率样本，Q是生成的高分辨率图像的概率分布，E()代表期望函数。


4.根据权利要求1所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：所述步骤S2建立生成式对抗网络模型包括生成器G采用残差网络结构，移除残差网络中的批量归一化层即BN层。


5.根据权利要求4所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述S2建立生成式对抗网络模型的步骤中，螺栓图像超分辨率网络基于生成式对抗网络GAN，由一个生成器G和一个判别器D构成，生成器G生成服从真实数据分布的假样本，判别器D是一个二分类器，用来评估所述假样本是真实图像的概率，产生的概率值反作用到生成器G来帮助其继续训练，直到最后生成判别器D无法辨真假的假样本。


6.根据权利要求4所述的基于改进SRGAN模型的超分辨率螺栓图像生成方法，其特征在于：在所述S2建立生成式对抗网络模型的步骤中，生成器G使用15个卷积层，输入...

【专利技术属性】
技术研发人员：尹子会，张玉亮，付炜平，孟荣，李兴文，郎静宜，戚银城，赵振兵，
申请(专利权)人：国家电网有限公司，国网河北省电力有限公司检修分公司，华北电力大学保定，
类型：发明
国别省市：北京;11