一种基于融合多种图像生成技术的加权平均图像生成方法技术

本发明专利技术公开了一种基于融合多种图像生成技术的加权平均图像生成方法，收集电力系统内部巡维人员传回的巡视图像，挑选其中目标明显且目标占图像四分之三的所述巡视图像作为样本图像，多个所述样本图像构建为输电线路的图像训练数据集，用于后期网络的训练和优化使用，其次结合集成学习的原理，进行个体学习器的训练以用来作为基生成器，同时将每一个基生成器的输出作为多元生成模型的输入，然后运用主成分分析算法，对每一路的输入图像进行特征提取，最后进行图像的融合得到最终的高分辨率图像。本发明专利技术本着“1+1＞2”的原则，结合几种优异的图像生成方法，吸收各种方法的优点，集几种方法的优点于一身，使得最终的图像进一步逼真。真。真。

【技术实现步骤摘要】
一种基于融合多种图像生成技术的加权平均图像生成方法


[0001]本专利技术涉及计算机视觉与图像处理
，特别涉及一种基于融合多种图像生成技术的加权平均图像生成方法。

技术介绍

[0002]以南方电网公司电力系统的背景为例，研究电力系统的输电线路图像。纵观整个南方电网甚至国家电网，当下的输电线路的巡维方式主要以人工巡维和无人机巡维或者人工与无人机相结合的方式为主，巡维工作人员传回的巡维图片数据量是很庞大，如果这些照片仅仅靠人工去逐张的检查是否存在缺陷，这工作量无疑是巨大的，而且由于存在工作人员的个体差异性就难以保证效率和质量。此外，经过总结归类传回的巡维照片发现，输电线路照片中大多数为正常的没有缺陷的图像样本图像，存在缺陷的图片极少，这就导致研究人员在基于深度学习等人工智能算法对输电线路进行进一步研究的时候，存在一个正常样本图像和缺陷样本图像不均衡的问题，从而没法将AI等智能技术运用到电力行业，难以实现彻底的“互联网AI+电力行业”和“AI+电力系统”的完美结合。
[0003]近些年来，随着计算机技术软硬件方面和通信与自动化等学科领域的不断发展，在人工智能深度学习领域取得巨大突破，深度学习等技术已经和很多传统行业实现深度完美的融合并且成效显著，于是得到启发，考虑结合深度学习技术和图像处理技术，采用现在的输电线路为研究对象，利用现在研究火热的图像处理网络模型来生成输电线路中的巡维样本图像，其中主要是生成带有缺陷的样本图像，这样一来我们可以构建出属于电力系统领域的专业的正常样本图像库与缺陷样本图像库作为标准数据集，这样一来就为“AI+电力系统”提供了大数据支撑，也为后续的研究提供了数据支撑。目前，用以图像生成的人工智能算法已经很普遍，诸如传统的基于灰度插值的方法，主成分分析的方法，变分自编码器的方法，基于信息融合技术的方法，基于特征提取重建的方法，乃至近几年出现的生成对抗网络系列的方法等等，基于以上方法再进行改进的研究方法也层出不穷，但是实际需要的是让生成图像和原始真实图像无限接近，普遍存在的问题就是生成图像的质量和效果均没有达到预期。这是无监督学习领域一个待解决的研究问题。因此，如何既能高效准确地生成缺陷样本图像图像，同时保证图像的质量如分辨率等，是目前基于深度学习的应用领域中亟待解决的问题。
[0004]输电线路缺陷图像如果仅靠人员逐张收集，这样不仅效率低下，而且短时间内难以达到一定规格的数目，提出一种综合高效的图像生成方法是一个研究难点。

技术实现思路

[0005]本专利技术的目的是提供一种基于融合多种图像生成技术的加权平均图像生成方法，目的在于解决生成图像的质量问题，改善图像的生成效果。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0007]所述加权平均图像生成方法的具体步骤如下：
[0008]Step1、收集电力系统内部巡维人员传回的巡视图像，挑选其中目标明显且目标占图像四分之三的所述巡视图像作为样本图像，多个所述样本图像构建为输电线路的图像训练数据集，用于后期网络的训练和优化使用；
[0009]Step2、搭建生成式对抗网络(GAN)的模型，定义卷积层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将所述图像训练数据集内的其中一个所述样本图像输入，输出picture1；
[0010]Step3、选择基于深度特征提取的图像超分辨率重建的网络模型，定义卷积层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将步骤Step2中的所述样本图像输入，输出picture2；
[0011]Step4、将步骤Step2中的所述样本图像进行灰度插值的图像重建，输出picture3；
[0012]Step5、采用变分自编码器来生成图像，定义编码器模型和解码器模型，定义重构误差函数和KL散度误差函数，依次作为最终的损失函数，定义各层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将步骤Step2中的所述样本图像输入所述变分自编码器，输出picture4；
[0013]Step6、基于以上步骤的完成，生成的重叠的高分辨率图像块可以通过加权平均来产生最终的生成的完整图，定义一个卷积层作为滤波器，输入picture1、picture2、picture3和picture4，输出最终的高分辨率图像。
[0014]本专利技术的进一步设置为：步骤Step1中所述图像训练数据集中的所述样本图像选用清晰且具有明显特征的图像，对所述样本图像进行预处理并用标注软件对样本图像进行标注。
[0015]本专利技术的进一步设置为：步骤Step2、Step3、Step4和Step5可同时输入同一个所述样本图像。
[0016]本专利技术的进一步设置为：步骤Step3中所述灰度插值的图像重建选用双三次插值方法。
[0017]本专利技术的进一步设置为：步骤Step2、Step3、Step4和Step5四种方法生成图像质量的优先级：
[0018]picture1>picture2>picture4>picture3于是，四种方法的权重分配公式如下：
[0019]λ1(GAN)+λ2(VAE)+λ3(SRCNN)+λ4(Gray)＝1
[0020]其中四个方法的具体权重比λ，根据具体图像的特征来调整。
[0021]本专利技术的进一步设置为：步骤Step6所述滤波器的尺寸采用5
×
5，卷积核数目为1，从图像质量的常用评价指标PSNR(峰值信噪比)和SSIM(结构相似度)，以及深度学习网络的运行效率等方面综合考虑，采用三层的网络结构来实现以上的GAN、VAE、SRCNN等算法,平均操作层的具体形式如下：
[0022]F(X)＝W3*F2(X)+B3
[0023]式中F2为前一层的输出，W3为一个大小为5
×5×
1的线性滤波器，B3为对应的偏置量，kernel_num＝1表示最终输出所述高分辨率图像的数量为一张。
[0024]综上所述，本专利技术具有以下有益效果：
[0025]其一、本专利技术本着“1+1＞2”的原则，结合几种优异的图像生成方法，吸收各种方法的优点，集几种方法的优点于一身，使得最终的图像进一步逼真。
[0026]其二、本专利技术基于加权平均的原则，以上所述四种方法按优点来划分优先级，依次分配权重值，这样就充分考虑各种方法的优点。
[0027]其三、本专利技术基于信息融合的原则，充分发挥有益的信息，规避冗余信息，减少参数规模。
附图说明
[0028]图1是本专利技术的流程示意图；
[0029]图2是本专利技术的卷积层结构示意图；
[0030]图3是GAN网络结构示意图；
[0031]图4是VAE网络流程图；
[0032]图5是基于GAN方法和VAE方法的加权平均流程图。
具体实施方式
[0033]以下结合附图对本专利技术作进一步详细说明。
[0034]在本专利技术的描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合多种图像生成技术的加权平均图像生成方法，其特征在于：所述加权平均图像生成方法的具体步骤如下：Step1、收集电力系统内部巡维人员传回的巡视图像，挑选其中目标明显且目标占图像四分之三的所述巡视图像作为样本图像，多个所述样本图像构建为输电线路的图像训练数据集，用于后期网络的训练和优化使用；Step2、搭建生成式对抗网络(GAN)的模型，定义卷积层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将所述图像训练数据集内的其中一个所述样本图像输入，输出picture1；Step3、选择基于深度特征提取的图像超分辨率重建(SRCNN)的网络模型，定义卷积层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将步骤Step2中的所述样本图像输入，输出picture2；Step4、将步骤Step2中的所述样本图像进行灰度插值(Gray)的图像重建，输出picture3；Step5、采用变分自编码器(VAE)来生成图像，定义编码器模型和解码器模型，定义重构误差函数和KL散度误差函数，依次作为最终的损失函数，定义各层的层数，卷积核的尺寸和数目，采用的损失函数和优化器，将步骤Step2中的所述样本图像输入所述变分自编码器，输出picture4；Step6、基于以上步骤的完成，生成的重叠的高分辨率图像块可以通过加权平均来产生最终的生成的完整图，定义一个卷积层作为滤波器，输入picture1、picture2、picture3和picture4，输出最终的高分辨率图像。2.根据权利要求1所述的一种基于融合多种图像生成技术的加权平均图像生成方法，其特征在于：步骤Step1中所述图像训练数据集中的所述样本图像选用清晰且具有明...

【专利技术属性】
技术研发人员：张福正，李琨，李仕林，赵李强，董厚奇，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：