一种图像优化方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种图像优化方法、装置、电子设备和存储介质，具体包括：构建VAE

【技术实现步骤摘要】
一种图像优化方法、装置、电子设备和存储介质


[0001]本申请涉及图像优化领域，尤其涉及一种图像优化方法、装置、电子设备和存储介质。

技术介绍

[0002]为了得到表现更好的模型，大多研究思路是构建非常复杂的模型，投入大量计算资源与时间，试图得到表现优异的、不可解释的模型。通过将模型算法拆分重组，尝试优化生成模型架构，提出的VAE-GAN架构组合优化可以避免陷入增加网络深度与堆砌计算资源的消耗之中，利用有限的计算资源提供新的生成模型思路。
[0003]GAN的提出是为了通过生成模型和判别模型对抗来达到对生成图片最大相似度的伪装，比起VAE生成的图片会比较清晰。但是原始GAN模型本身也存在一些问题，主要的问题有两个：1)判别器越好，生成器的梯度消失越严重，这样会导致在网络训练上很多时候生成器的参数基本上不会发生改变；2)由于网络是对抗式的，常常会造成训练时模型的崩溃，在训练时往往需要权衡训练的生成器与鉴别器的参数来防止崩溃的发生。这样在实际的应用上也带了很多不便。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种图像优化方法。
[0005]第一方面，本申请实施例提供了一种图像优化方法，所述方法包括：
[0006]构建VAE-GAN模型，包括编码器、解码生成器和判别器；
[0007]将原始图片输入编码器，输出标准正态分布的随机编码/隐向量；
[0008]生成给所述解码器提供标准正态分布的隐向量生成图片；
[0009]将所述原始图片和所述生成图片输入到所述判别器，所述编码器、所述解码生成器和所述判别器的生成三个loss值；
[0010]根据三个loss值，调整各模块的规则，迭代优化。
[0011]第二方面，本申请实施例提供了一种图像优化装置，所述装置包括下列模块：
[0012]构建模块，构建VAE-GAN模型，包括编码器、解码生成器和判别器；
[0013]输出模块，将原始图片输入编码器，输出标准正态分布的随机编码/隐向量；
[0014]生成模块生成给所述解码器提供标准正态分布的隐向量生成图片；
[0015]计算模块，将所述原始图片和所述生成图片输入到所述判别器，所述编码器、所述解码生成器和所述判别器的生成三个loss值；
[0016]迭代模块，根据三个loss值，调整各模块的规则，迭代优化。
[0017]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。
[0018]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存
储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
[0019]本专利技术实施例上述第一方面至第四方面提供的方案中，VAE-GAN模型的主体包含三个部分，编码器encoder，解码生成decoder/generator，和判别器discriminator。其中，编码器由四层卷积层和一层全连接层组成。解码生成部分虽然是新出现的结构但本质没有太大的变化，经过一层全连接扩充隐向量之后，再由五层反卷积层来生成图片。最后判别器由四层卷积层和一层全连接层组成。与之前不同的是，VAE或者DCGAN训练时是各自的两个模块在训练中计算各自的损失函数，而VAE-GAN有三个模块，因此训练时需要三个模块各自训练自己的损失函数，这样也有助于在训练出现问题后查找是哪个模块不符合预期，从而便于调整参数，可以发现新的模型能够更为准确地生成具有与原始图片相似特征的人物头像，并且在整体的构图上更加合理与清晰。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1示出了本专利技术实施例1提供的一种图像优化方法的流程示意图；
[0022]图2示出了本专利技术实施例2所提供的一种图像优化装置的结构示意图；
[0023]图3示出了本专利技术实施例3所提供的一种电子设备的结构示意图；
[0024]图4示出了VAE模型架构图。
具体实施方式
[0025]在本专利技术实施例的描述中，所属
的技术人员应当知道，本专利技术实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本专利技术实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本专利技术实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。
[0026]上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(Flash Memory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本专利技术实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。
[0027]上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(Radio Frequency，RF)或者以上任意合适的组合。
[0028]可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用
于执行本专利技术实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：Java、Smalltalk、C++，还包括常规的过程式程序设计语言，例如：C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(LAN)或广域网(WAN)，可以连接到用户计算机，也可以连接到外部计算机。
[0029]本专利技术实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
[0030]应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像优化方法，其特征在于，所述方法包括下列步骤：构建VAE-GAN模型，包括编码器、解码生成器和判别器；将原始图片输入编码器，输出标准正态分布的随机编码/隐向量；生成给所述解码器提供标准正态分布的隐向量生成图片；将所述原始图片和所述生成图片输入到所述判别器，所述编码器、所述解码生成器和所述判别器的生成三个loss值；根据三个loss值，调整各模块的规则，迭代优化。2.根据权利要求1所述的方法，其特征在于，所述编码器由四层卷积层和一层全连接层组成。3.根据权利要求1所述的方法，其特征在于，所述解码生成器，经过一层全连接扩充隐向量之后，再由五层反卷积层来生成图片，通过一个均值向量和一个标准差向量相加来得到隐向量。4.根据权利要求1所述的方法，其特征在于，所述判别器由四层卷积层和一层全连接层组成。5.一种图像优化装置，其特征在于，所述装置包括下列模块：构建模块，构建VAE-GAN模型，包括编码器、解码生成器和判别器；输出模块，将原始图片输入编码器，输出标准正态分布的随机编码/隐向量；生成模块生成给所述解...

【专利技术属性】
技术研发人员：汪临风，蔡恒进，
申请(专利权)人：武汉大学，
类型：发明
国别省市：