一种用于电力设备红外图像的超分辨率重建模型及方法技术

本发明专利技术公开了一种用于电力设备红外图像的超分辨率重建模型及方法，包括：采用生成式对抗网络结构，对超分辨率重建模型进行构建；针对生成器网络，在原始的WGAN网络生成器结构中，加入了残差密集块网络；针对对抗器网络，在原始的WGAN网络对抗器结构中，加入了谱归一化层，替代了原有的批归一化。本发明专利技术通过RDN网络的引入使得模型在训练过程中产生连续记忆机制，对电力设备红外图像的特征进行了有效的保留，最终得到了较好的超分辨率重建效果；谱归一化的引入加快了模型的训练速度，使模型训练过程的参数较原始网络有所减少，评价指标PSNR以及SSIM有一定的提升；多损失函数融合在原始MSE损失以及对抗损失的基础上，引入了感知损失以及纹理损失，使得模型训练过程对图像纹理细节有一定的关注，重建出更加接近原始图像的红外图像。红外图像。红外图像。

【技术实现步骤摘要】
一种用于电力设备红外图像的超分辨率重建模型及方法


[0001]本专利技术涉及一种用于电力设备红外图像的超分辨率重建模型，属于超分辨率重建


技术介绍

[0002]红外巡检图像是通过测量被测物向外发射的热辐射能量进行成像的，能够较好地反应电力设备的热故障特性，被广泛用于设备日常巡检、在线监测以及故障识别，对设备乃至电网的安全稳定运行具有重要意义。随着新型电力系统建设和电网数字化转型工作的推进，电力行业对巡检图像的成像质量要求也在日益提高。然而，受巡检条件、红外热成像设备的性能以及无线数据传输能力等因素的限制，所采集到的原始红外巡检图像大多具有低分辨率和像素模糊的特征，低质量的图像给电力设备的故障识别带来不利影响，亟待开展图像超分辨率重建工作。
[0003]超分辨率重建(Super
‑
Resolution,SR，简称超分)是一种将较低分辨率的图像通过某种方法重建为高分辨率图像的技术。经过多年发展，超分已从计算机视觉领域延伸于遥感图像、可见光图像、医学核磁共振图像以及视频等不同场景中。根据基本原理的不同，可将其分为传统方法和基于深度学习技术的方法。
[0004]传统方法具有简单高效的优点，适用于完成图像稀缺场景下的超分任务，但由于难以重建图像高频细节信息，构造的图像往往过于平滑且缺少边缘信息，难以满足复杂内容和纹理下的红外巡检图像超分需求。
[0005]在电力设备红外巡检图像数量爆发式增长的背景下，基于深度学习技术的超分方法得到了快速发展和广泛应用。由于目前通过改善硬件的方式来提升图像质量成本高昂，因此有必要提出了一种适用于电力设备红外巡检图像的超分辨率重建模型。
[0006]
技术实现思路

[0007]本专利技术提供了一种用于电力设备红外图像的超分辨率重建模型及方法，以用于构建用于电力设备红外图像的超分辨率重建模型，并进一步实现电力设备红外图像的超分辨率重建。
[0008]本专利技术的技术方案是：一种用于电力设备红外图像的超分辨率重建模型，包括：
[0009]采用生成式对抗网络结构，对超分辨率重建模型进行构建；其中，生成式对抗网络的生成器网络包括输入层、特征提取层以及上采样层；生成式对抗网络的对抗器络包括输入层、特征提取层、输出层；针对生成器网络，在原始的WGAN网络生成器结构中，加入了残差密集块网络，用于对电力设备红外特征进行提取融合；针对对抗器网络，在原始的WGAN网络对抗器结构中，加入了谱归一化层，替代了原有的批归一化。
[0010]所述生成器网络中，输入层采用两个卷积进行计算，实现对输入网络的图像进行浅层特征提取；特征提取层包括了残差密集块网络以及稠密特征块，通过残差密集块的内
部互联以及稠密特征块的外部互联，构成RDN的基本框架；上采样层通过卷积块对特征进行提取，之后通过像素重组对特征进行整合，最后通过卷积以及激活函数进行超分辨率图像的重建。
[0011]所述残差密集块网络包括m个残差密集块，所述稠密特征块包括全局特征融合和全局残差学习，全局特征融合表示对每一个残差密集块的特征进行融合利用，全局残差学习表示对输入特征提取层的信息以及全局特征融合的信息进行残差学习；最后通过卷积层对提取到的信息进行融合，输出到上采样层；其中，每个残差密集块包括n个稠密块，通过concat实现 n个稠密块的局部特征融合之后通过一个卷积进行输出，形成一种连续记忆的机制。
[0012]所述对抗器网络中，输入层通过卷积层和LeakyReLu层对输入图像的浅层特征进行提取；特征提取层通过p个卷积层、谱归一化层以及LeakyReLu堆叠而成的特征提取块进行串联；输出层包括池化、特征提取块和卷积，对提取到的特征进行融合，最终输出判别结果。
[0013]根据本专利技术的另一方面，还提供了一种用于电力设备红外图像的超分辨率重建方法，将待重建的电力设备红外图像输入至经训练收敛的上述中任一项所述的用于电力设备红外图像的超分辨率重建模型，获得超分辨率图像。
[0014]所述用于电力设备红外图像的超分辨率重建模型，训练时采用多损失函数，具体为：在原始WGAN损失函数的基础上，加入了像素损失、感知损失以及纹理损失。
[0015]所述多损失函数表达式如下：
[0016][0017]式中，表示对抗损失；l
MSE
表示像素损失；表示感知损失；l
Gram
表示纹理损失；λ1、λ2、λ3和λ4分别表示各个损失的系数。
[0018]所述λ1＝0.001，λ2＝1，λ3＝0.006，λ4＝0.001。
[0019]本专利技术的有益效果是：本专利技术通过RDN网络的引入使得模型在训练过程中产生连续记忆机制，对电力设备红外图像的特征进行了有效的保留，最终得到了较好的超分辨率重建效果；谱归一化的引入加快了模型的训练速度，使模型训练过程的参数较原始网络有所减少，评价指标PSNR以及SSIM有一定的提升；多损失函数融合在原始MSE损失以及对抗损失的基础上，引入了感知损失以及纹理损失，使得模型训练过程对图像纹理细节有一定的关注，重建出更加接近原始图像的红外图像；进一步地，通过实验可知，本专利技术构建的重建模型较比传统的网络模在参与红外图像的超分辨率重建上具有显著优势。
附图说明
[0020]图1为本专利技术的整体结构图；
[0021]图2为原始WGAN的生成器网络结构与本专利技术的生成器网络结构对比图；
[0022]图3为本专利技术残差密集块(RDB)内部结构图；
[0023]图4为原始WGAN的对抗器网络结构与本专利技术的对抗器网络结构对比图；
[0024]图5为BN归一化数据热力图与谱归一化数据热力图对比展示；
[0025]图6为本专利技术和其余方法PSNR对比结果；
[0026]图7为本专利技术和其余方法SSIM对比结果；
[0027]图8为本专利技术和其余方法视觉效果对比结果。
具体实施方式
[0028]下面结合附图和实施例，对专利技术做进一步的说明，但本专利技术的内容并不限于所述范围。
[0029]实施例1：如图1
‑
8所示，一种用于电力设备红外图像的超分辨率重建模型，包括：采用生成式对抗网络结构，对超分辨率重建模型进行构建；其中，生成式对抗网络的生成器网络包括输入层、特征提取层以及上采样层；生成式对抗网络的对抗器络包括输入层、特征提取层、输出层；针对生成器网络，在原始的WGAN网络生成器结构中，加入了残差密集块网络，用于对电力设备红外特征进行提取融合；针对对抗器网络，在原始的WGAN网络对抗器结构中，加入了谱归一化层，替代了原有的批归一化，在参数收敛的同时，加快模型训练速度。
[0030]可选地，所述生成器网络中，输入层采用两个卷积进行计算，实现对输入网络的图像进行浅层特征提取；特征提取层包括了残差密集块网络(RDB)以及稠密特征块(DFF)，通过残差密集块的内部互联以及稠密特征块的外部互联，构成RDN的基本框架；上采样层通过卷积块对特征进行提取，之后通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于电力设备红外图像的超分辨率重建模型，其特征在于：包括：采用生成式对抗网络结构，对超分辨率重建模型进行构建；其中，生成式对抗网络的生成器网络包括输入层、特征提取层以及上采样层；生成式对抗网络的对抗器络包括输入层、特征提取层、输出层；针对生成器网络，在原始的WGAN网络生成器结构中，加入了残差密集块网络，用于对电力设备红外特征进行提取融合；针对对抗器网络，在原始的WGAN网络对抗器结构中，加入了谱归一化层，替代了原有的批归一化。2.根据权利要求1所述的用于电力设备红外图像的超分辨率重建模型，其特征在于：所述生成器网络中，输入层采用两个卷积进行计算，实现对输入网络的图像进行浅层特征提取；特征提取层包括了残差密集块网络以及稠密特征块，通过残差密集块的内部互联以及稠密特征块的外部互联，构成RDN的基本框架；上采样层通过卷积块对特征进行提取，之后通过像素重组对特征进行整合，最后通过卷积以及激活函数进行超分辨率图像的重建。3.根据权利要求2所述的用于电力设备红外图像的超分辨率重建模型，其特征在于：所述残差密集块网络包括m个残差密集块，所述稠密特征块包括全局特征融合和全局残差学习，全局特征融合表示对每一个残差密集块的特征进行融合利用，全局残差学习表示对输入特征提取层的信息以及全局特征融合的信息进行残差学习；最后通过卷积层对提取到的信息进行融合，输出到上采样层；其中，每个残差密集块包括n个稠密块，通过concat实现n个稠密块的...

【专利技术属性】
技术研发人员：刘航，刘志坚，陶韵旭，罗灵琳，张德春，何蔚，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：