一种语义上多模态图像生成的方法技术

本发明专利技术公开了一种语义上多模态图像生成的方法。本发明专利技术在分割标签生成图像的任务上提出了一个新任务，新任务是能够通过分割标签的类别对生成图像的类别进行单独控制。在这个任务上，本发明专利技术提出了一种解决方案，对编码器采用分组卷积，将自然图像里面不同类的编码进行分离，从而使得更改该编码能够改变生成图像中该类的样式。生成器部分，本发明专利技术采用的是组数逐渐递减的分组卷积，这能提高单独控制的能力，也能够减少显存的占用，因此可以将这个方法应用到类别较多的数据集上。同时本发明专利技术能够应用于许多图像生成的应用里面，如图像编辑等。本发明专利技术相较于之前的分割标签生成自然图像的相关工作，能对生成图像里面的类别尽可能的进行单独控制。

A method of semantic multimodal image generation

【技术实现步骤摘要】
一种语义上多模态图像生成的方法
本专利技术属于计算机视觉
，更具体地，涉及一种语义上多模态图像生成的方法。
技术介绍
近些年，使用生成对抗网络生成的图像质量越来越高，同时产生了很多有趣的应用，比如图像编辑，图像补全等，还有一个应用是通过图像的语义分割标签来生成自然图像，这可以看成是图像分割的逆过程。通过分割标签来生成自然图像，可以方便各类图像的创作，只需要描绘出需要产生图像的分割图，就能够通过网络产生接近真实的图像，简化了操作流程，并且增强了对图像的控制力。通过分割标签生成自然图像是一个一对多问题，即一张分割图对应多张自然图像，而且对于分割标签里面的每一类，应该可以进行单独控制，生成不同的样式。目前方法大部分是基于生成对抗网络来实现，有少部分方法是通过图像片段检索来实现。这些方法要么就是生成的自然图像是固定的，要么是只能对图像进行全局变化，不能单独控制每一类的生成效果。
技术实现思路
本专利技术提供了一种根据图像的语义分割标签生成多模态图像的方法，能够尽可能的单独控制每个语义的生成效果。本专利技术在分割标签生成本文档来自技高网...

【技术保护点】
1.一种语义上多模态图像生成的方法，其特征在于，所述方法包括以下步骤：/n(1)获取自然图像的分割标签，对自然图像和分割标签进行放大或缩小到指定大小，然后两者以概率进行水平翻转，根据分割标签得到自然图像的每一类作为一张单独的图像，并将其中有内容的部分放大到原图大小；/n(2)构建深度神经网络，包含编码器、生成器和鉴别器，其中编码器作用是将自然图像编码为高斯分布的采样，生成器的作用是将编码生成为图像，鉴别器的作用是鉴别图像是生成图像还是自然图像；/n(3)将(1)中不同类别的图像堆叠起来输入到编码器中，对每个类别输出一个预设大小的编码，将编码输入到生成器中得到生成图像，将生成图像和自然图像以及分...

【技术特征摘要】
1.一种语义上多模态图像生成的方法，其特征在于，所述方法包括以下步骤：
(1)获取自然图像的分割标签，对自然图像和分割标签进行放大或缩小到指定大小，然后两者以概率进行水平翻转，根据分割标签得到自然图像的每一类作为一张单独的图像，并将其中有内容的部分放大到原图大小；
(2)构建深度神经网络，包含编码器、生成器和鉴别器，其中编码器作用是将自然图像编码为高斯分布的采样，生成器的作用是将编码生成为图像，鉴别器的作用是鉴别图像是生成图像还是自然图像；
(3)将(1)中不同类别的图像堆叠起来输入到编码器中，对每个类别输出一个预设大小的编码，将编码输入到生成器中得到生成图像，将生成图像和自然图像以及分割标签一起输入到鉴别器中，得到两者的分类概率，训练过程分为两步交替进行，第一步是训练编码器和生成器，第二步单独训练鉴别器，对于编码器和生成器的训练，计算编码器的输出值的KL损失，鉴别器的分类损失，以及生成图像和自然图像在鉴别器和VGG19网络中的特征图的L1距离分别作为特征匹配损失和感知损失，将这以上几个损失值计算其加权平均数得到最终的编码器和生成器的损失值，对于鉴别器的训练，损失值只包括鉴别器的分类损失，将损失值通过反向传播来更新对应的网络参数；
(4)在高斯分布中随机采样得到编码，将编码和分割标签输入到生成器中即可得到生成图像。


2.如权利要求1所述的语义上多模态图像生成的方法，其特征在于，所述步骤(1)中得到每个类的单独图像的方式为：
分割标签不同数字代表不同的类，这样通过每个类的掩码乘以自然图像得到每个类的图像，然后找到每个类的图像的边界，将这部分截取下来放大到原图大小。


3.如权利要求1或2所述的语义上多模态图像生成的方法，其特征在于，所述编码器由6层分组卷积层(Conv1，Conv2，Conv3，Conv4，Conv5，Conv6)和激活函数构成，激活函数采用的是LeakyRelu，对激活函数之前的特征图进行实例规范化。


4.如权利要求3所述的语义上多模态图像生成的方法，其特征在于，所述编码器的具体结构为(Conv1，Instancenorm，LeakyRelu，Conv2，Instancenorm，LeakyRelu，Conv3，Instancenorm，LeakyRelu，Conv4，Instancenorm，LeakyRelu，Conv5，Instancenorm，LeakyRelu，Conv6，Instancenorm，LeakyRelu)，最后通过Conv_mu和Conv_var分别预测高斯分布的均值和方差，所有的Conv使用的是分组卷积，设置的组数为类别数，即根据每个类别来进行编码。


5.如权利要求1或2所述的语义上多模态图像生成的方法，其特征在于，所述生成器将编码通过几层卷积得到特征图，利用分割标签预测两个参数矩阵，将这两个参数矩阵分别乘上和加上特征图，然后对特征图放大2倍，重复整个过...

【专利技术属性】
技术研发人员：白翔，朱臻，徐志良，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42