The invention discloses an image generation method based on conditional capsule generation antagonistic network, which includes the following steps: image data acquisition and image preprocessing; extraction of conditional vector; acquisition of random noise; design a neural network as a generator to map random noise and conditional vector into generated images; design another neural network as a discriminator to receive and generate images. Pictures, real pictures and conditional vectors get the loss value; in training the countermeasure network, the generator network weight is adjusted according to the objective function of minimizing the loss value; after training, the generator network weight is adjusted to the best, then discards the discriminator, and retains the generator model as the best neural network to generate the image. By using the capsule neural network to design the discriminator structure, combining the advantages of the existing WGAN and CGAN, the network can effectively avoid the problem of gradient disappearance, while generating high quality samples, which has certain advantages compared with the existing technical algorithms.
【技术实现步骤摘要】
一种基于条件胶囊生成对抗网络的图像生成方法
本专利技术涉及图像处理
，具体涉及一种基于条件胶囊生成对抗网络的图像生成方法。
技术介绍
基于可微生成器网络的生成式建模方法，是目前最热门的研究领域，但由于真实样本分布的复杂性，导致GAN生成模型在稳定性、生成效率等方面均存在不少问题。因此，业界亟需能够提供稳定、高质量样本的生成算法。生成式对抗网络理论基于博弈论场景，其中生成器网络通过与对手竞争来学习变换由某些简单的输入分布(通常是标准多变量正太分布或者均匀分布)到图像空间的分布——即越来越真实的样本；作为对手，判别器网络则试图区分从训练数据抽取的样本和从生成器中生成的样本；整体来说，双方都试图最小化各自的损失。DCGAN将生成器中的全连接层用反卷积层代替，在图像合成的任务中取得了非常好的表现，并表明其潜在的表示空间能捕获到变化的重要因素。CGAN通过条件向量来引导GAN学习从分布p(x|y)中采样，而不是简单的从边缘分布p(x)中采样，使得GAN能着重关注那些能够阐述样本相关的统计特征，并忽略不太相关的局部特征。传统的GAN通常使用卷积神经网络来构建对抗结构，该...
【技术保护点】
1.一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的图像生成方法包括：S1、图像采集步骤，根据生成目标在互联网上获取真实图像或者使用公开数据集；S2、图像预处理步骤，裁剪采集图像中的关键区域；S3、条件向量生成步骤，对预处理后的图像进行分类标记并将标记设计为条件向量；S4、随机噪声生成步骤，生成随机噪声用作生成器的输入；S5、模型构建步骤，基于条件胶囊生成对抗网络结构来构建图像生成网络，所述的图像生成网络结构分为生成器和判别器，其中，所述的生成器接收随机噪声和条件向量作为输入数据，输出生成图像；然后所述的判别器接收生成图像、真实图像和条件向量作为输入数据，输出...
【技术特征摘要】
1.一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的图像生成方法包括：S1、图像采集步骤，根据生成目标在互联网上获取真实图像或者使用公开数据集；S2、图像预处理步骤，裁剪采集图像中的关键区域；S3、条件向量生成步骤，对预处理后的图像进行分类标记并将标记设计为条件向量；S4、随机噪声生成步骤，生成随机噪声用作生成器的输入；S5、模型构建步骤，基于条件胶囊生成对抗网络结构来构建图像生成网络，所述的图像生成网络结构分为生成器和判别器，其中，所述的生成器接收随机噪声和条件向量作为输入数据，输出生成图像；然后所述的判别器接收生成图像、真实图像和条件向量作为输入数据，输出生成图像和真实图像之间的相似度；所述的生成器包括两个全连接层和至少两个反卷积层，从输入端开始各层的连接顺序依次为第一全连接层、第二全连接层、第一反卷积层和第N反卷积层，其中第一全连接层、第二全连接层、第一反卷积层之后均连接一个BN层和ReLU层，第N反卷积层之后连接激活层；所述的判别器包括卷积层、PrimaryCaps层、DiscriCaps层和全连接层，从输入端开始各层的连接顺序依次为卷积层、PrimaryCaps层、DiscriCaps层和全连接层，其中卷积层、PrimaryCaps层、DiscriCaps层之后均连接LReLU层，全连接层的后面连接激活层；S6、模型训练步骤，将步骤S4中生成的随机噪声和步骤S3中生成的条件向量输入到生成器中输出为一张生成图像，将该生成图像和条件向量输入到判别器中得出生成图像在判别器中被判定为真样本的概率；再将步骤S2中截取的真实图像和条件向量一起输入到判别器中得出真实图像在判别器中被判定为真样本的概率；根据上述得出的两个概率分别训练判别器和生成器，同时在判别器内部根据动态路由算法负责更新判别器的DiscriCaps层的参数；最终完成指定训练轮数之后结束训练，舍弃判别器，保留生成器作为图像的生成网络。2.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S1、图像采集步骤中收集的图像是二维矩阵或者三维矩阵；所述的S2、图像预处理步骤中对原始图片进行关键区域裁剪，所有图像的裁剪尺寸保持相同，关键区域根据所述的生成目标而确定。3.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S3、条件向量生成步骤中条件向量设置过程如下：将收集到的并且经过图像预处理步骤之后的图像分为n类标记，同时根据类别数将条件向量设置为n维，其中条件向量采用One-Hot编码，同一类的图像有相同的条件向量，该条件向量是一个维数为n的向量。4.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S4、随机噪声生成步骤中随机噪声向量生成方式为：在一个区间为-1到1之间的均匀分布中随机采样100次，随机噪声设置为一个100维数的向量，该随机噪声向量是一个(1,1,100)的向量。5.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器从输入层到输出层依次连接为：第一全连接层、BN层、ReLU层、第二全连接层、BN层、ReLU层、第一反卷积层、BN层、ReLU层、第N反卷积层、激活层，在第一反卷积层和第N反卷积层之间根据生成图像的尺寸选择适当添加新的反卷积层，新添加的反卷积层后边也紧跟一个BN层和ReLU层。6.根据权利要求5所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器中的反卷积层中核的大小为5×5，步长为2；所述的生成器中的ReLU层采用ReLU激活函数，实现数据的非线性变换；所述的生成器中的BN层使用BatchNormalization实现训练优化；所述的生成器中的激活层使用Sigmoid或者tanh激活函数；所述的生成器最终生成的图像尺寸等于步骤S2中裁剪图像的尺寸。7.根据权利要求5所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器中条件向量将拼接到生成器的每一个全连接层的输入矩阵后边，此时将条件向量看作二维矩阵(1,n)，拼接方式为：首先将条件向...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。