图像生成方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种图像生成方法、装置、设备及可读存储介质，将第一噪声变量输入训练后的生成器中，生成第一模拟数据，将第一模拟数据输入训练后的自编码器的解码器中，生成仿真图像。其中，该训练后的生成器以对潜在特征分布和模拟数据分布的核密度估计结果的L1范数作为损失函数，所述潜在特征是利用训练后的自编码器的编码器对原始训练图像降维后生成的，所述训练后的自编码器是采用所述原始训练图像进行训练得到的。本方案中，将核密度估计这一非参数估计方法与生成器相结合，使生成器的训练过程较稳定，对于训练数据的分布也可以通过核密度估计较为准确地获知，从而保证生成的图像具有良好的多样性和仿真性。

Image Generation Method, Device, Equipment and Readable Storage Media

The invention discloses an image generation method, device, device and readable storage medium. The first noise variable is input into the trained generator to generate the first analog data, and the first analog data is input into the trained decoder to generate the simulation image. The trained generator uses L1 norm of the estimated results of the nuclear density of the potential feature distribution and the analog data distribution as the loss function. The potential feature is generated by dimensionality reduction of the original training image using the trained self-encoder encoder, which is trained using the original training image. In this scheme, the non-parametric estimation method of nuclear density estimation is combined with the generator to make the training process of the generator more stable, and the distribution of training data can also be accurately known through the nuclear density estimation, so as to ensure that the generated image has good diversity and simulation.

【技术实现步骤摘要】
图像生成方法、装置、设备及可读存储介质
本专利技术涉及图像生成领域，尤其涉及一种图像生成方法、装置、设备及可读存储介质。
技术介绍
生成式模型是深度学习领域一大研究热点，不同于判别式模型的直接对后验概率P(y|x)进行建模，生成式模型先对联合分布P(x,y)进行建模，之后通过贝叶斯公式得到P(y|x)的分布，因此，生成式模型具有研究单类模型更灵活，以及能够反映训练数据本身特征，但学习过程较复杂等特点，早期的生成式模型有朴素贝叶斯、玻尔兹曼机、置信网络等。生成式模型在图像领域的主要应用为，通过模拟图像数据的分布，生成以假乱真的图像。上述生成式模型主要有两个类型：变分自编码器和生成式对抗网络，二者分别代表了生成式模型模拟图像数据的两种方式：直接和间接。下面分别介绍基于这两个类型的图像生成方案：生成式对抗网络，主要由两个部分构成：生成器G和判别器D。如图1所示，生成器G的输入是一组多维随机噪声变量，输出的是与训练数据同分布的数据G(z)。判别器D的输入是训练数据x，即真实的图像数据，或生成器输出的生成图像G(z)，输出为1或0，分别代表输入为真或假。判别器的目标是能够区分真实的训练图像和生成器输出的生成图像，即将训练图像判断为1而生成图像判断为0。生成器的目标是生成近乎真实的图像使判别器无法区分。生成式对抗网络的训练过程为二者分别向着各自的目标不断优化的过程，最终得到的生成式对抗网络可以生成与训练图像相似的图像，从而实现对训练图像分布的模拟。生成式对抗网络有以下缺点，一是训练结束得到的生成器可以生成与训练图像相似的图像，生成器模拟训练图像分布是一种间接的方式，即可以实现从同分布的训练图像中采样，图像分布的概率密度仍然未知。二是生成式对抗网络受限于自身的对抗式结构，其训练过程并不稳定。理想情况下，训练结束时，判别器和生成器应达到纳什均衡的状态，但实际中，生成器总是由于判别器过于优秀而产生模式崩塌现象，即生成器生成的图像总为固定几张，重复性较高。另外，训练过程不稳定还会造成生成器无法生成与训练图像同分布的数据，即无法生成有意义的图像。变分自编码器，如图2所示，其基本结构与传统自编码器相同，包括一个编码器和一个解码器。编码器的输入是训练图像，输出的是低维潜在特征，解码器以编码器的输出作为输入，输出与训练图像相同的图像，二者共同的目标是能将输入编码器的图像重构出来，但传统自编码器的问题在于编码器输出的低维潜在特征的概率分布未知，无法直接采样得到。为解决这一问题，变分自编码器假设潜在特征服从正态分布，在传统自编码器的基础上引入训练图像和解码器输出图像之间的相对熵，从而限制潜在特征的分布，使其符合假设。这种情况下，编码器的输出为正态分布的均值和方差，解码器生成图像所采用的潜在变量z可从具有特定均值和方差的正态分布中采样得到。变分自编码器虽然获知了潜在特征的分布，但其实际上是对潜在特征的分布做了参数化估计，即以先验知识假设潜在特征符合正态分布，通过训练编码器学习该分布的参数，如均值和方差。估计得到的分布并不一定完全反映真实的分布，尤其当真实分布与先验假设分布有较大偏差时，估计的分布无法以高准确度模拟真实分布。
技术实现思路
有鉴于此，本专利技术实施例提供了一种图像生成方法、装置、设备及可读存储介质，用以保证生成的图像具有良好的多样性和仿真性。第一方面，本专利技术实施例提供了一种图像生成方法，包括：将第一噪声变量输入训练后的生成器中，生成第一模拟数据；将所述第一模拟数据输入训练后的自编码器的解码器中，生成仿真图像；其中，所述训练后的生成器以对潜在特征分布和模拟数据分布的核密度估计结果的L1范数作为损失函数；所述潜在特征是利用所述训练后的自编码器的编码器对原始训练图像降维后生成的；所述训练后的自编码器是采用所述原始训练图像进行训练得到的。在一种可能的实现方式中，在本专利技术实施例提供的上述方法中，所述将第一噪声变量输入训练后的生成器中，生成第一模拟数据之前，还包括：将原始训练图像输入训练后的自编码器的编码器中，获得所述原始训练图像的潜在特征；将噪声变量输入生成器模型中，得到模拟数据；对所述潜在特征进行核密度估计，得到第一估计结果；对所述模拟数据进行核密度估计，得到第二估计结果；将所述第一估计结果和第二估计结果的L1范数作为损失函数；对所述生成器模型进行训练，并在训练中采用所述损失函数对所述生成器模型的参数进行约束；调整所述生成器模型的参数，若所述损失函数达到最小，则确定所述生成器模型为训练后的生成器。在一种可能的实现方式中，在本专利技术实施例提供的上述方法中，所述核密度估计表示为：其中，代表带宽为H的核函数，带宽H是d维的对称正定矩阵。在一种可能的实现方式中，在本专利技术实施例提供的上述方法中，所述核函数为高斯核函数；所述高斯核函数表示为：其中，带宽H为对角矩阵，对角元素σi是被估计样本第i维的标准差；将计算概率分布的位置s设定为每一个样本所在的位置。在一种可能的实现方式中，在本专利技术实施例提供的上述方法中，所述损失函数表示为：其中，为对潜在特征分布的核密度估计，为对模拟数据分布的核密度估计。第二方面，本专利技术实施例提供了一种图像生成装置，包括：生成器模块，用于将第一噪声变量输入训练后的生成器中，生成第一模拟数据；解码器模块，用于将所述第一模拟数据输入训练后的自编码器的解码器中，生成仿真图像；其中，所述训练后的生成器以对潜在特征分布和所述模拟数据分布的核密度估计结果的L1范数作为损失函数；所述潜在特征是利用所述训练后的自编码器的编码器对原始训练图像降维后生成的；所述训练后的自编码器是采用所述原始训练图像进行训练得到的。在一种可能的实现方式中，在本专利技术实施例提供的上述装置中，还包括：训练模块，用于在所述生成器模块将第一噪声变量输入训练后的生成器中，生成第一模拟数据之前，将原始训练图像输入训练后的自编码器的编码器中，获得所述原始训练图像的潜在特征；将噪声变量输入生成器模型中，得到模拟数据；对所述潜在特征进行核密度估计，得到第一估计结果；对所述模拟数据进行核密度估计，得到第二估计结果；将所述第一估计结果和第二估计结果的L1范数作为损失函数；对所述生成器模型进行训练，并在训练中采用所述损失函数对所述生成器模型的参数进行约束；调整所述生成器模型的参数，若所述损失函数达到最小，则确定所述生成器模型为训练后的生成器。在一种可能的实现方式中，在本专利技术实施例提供的上述装置中，所述核密度估计表示为：其中，代表带宽为H的核函数，带宽H是d维的对称正定矩阵。在一种可能的实现方式中，在本专利技术实施例提供的上述装置中，所述核函数为高斯核函数；所述高斯核函数表示为：其中，带宽H为对角矩阵，对角元素σi是被估计样本第i维的标准差；将计算概率分布的位置s设定为每一个样本所在的位置。在一种可能的实现方式中，在本专利技术实施例提供的上述装置中，所述损失函数表示为：其中，为对潜在特征分布的核密度估计，为对模拟数据分布的核密度估计。第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；其中，所述处理器执行所述存储器中的计算机程序，以实现第一方面任一项所述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序本文档来自技高网...

【技术保护点】
1.一种图像生成方法，其特征在于，包括：将第一噪声变量输入训练后的生成器中，生成第一模拟数据；将所述第一模拟数据输入训练后的自编码器的解码器中，生成仿真图像；其中，所述训练后的生成器以对潜在特征分布和模拟数据分布的核密度估计结果的L1范数作为损失函数；所述潜在特征是利用所述训练后的自编码器的编码器对原始训练图像降维后生成的；所述训练后的自编码器是采用所述原始训练图像进行训练得到的。

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：将第一噪声变量输入训练后的生成器中，生成第一模拟数据；将所述第一模拟数据输入训练后的自编码器的解码器中，生成仿真图像；其中，所述训练后的生成器以对潜在特征分布和模拟数据分布的核密度估计结果的L1范数作为损失函数；所述潜在特征是利用所述训练后的自编码器的编码器对原始训练图像降维后生成的；所述训练后的自编码器是采用所述原始训练图像进行训练得到的。2.根据权利要求1所述的方法，其特征在于，所述将第一噪声变量输入训练后的生成器中，生成第一模拟数据之前，还包括：将原始训练图像输入训练后的自编码器的编码器中，获得所述原始训练图像的潜在特征；将噪声变量输入生成器模型中，得到模拟数据；对所述潜在特征进行核密度估计，得到第一估计结果；对所述模拟数据进行核密度估计，得到第二估计结果；将所述第一估计结果和第二估计结果的L1范数作为损失函数；对所述生成器模型进行训练，并在训练中采用所述损失函数对所述生成器模型的参数进行约束；调整所述生成器模型的参数，若所述损失函数达到最小，则确定所述生成器模型为训练后的生成器。3.根据权利要求1所述的方法，其特征在于，所述核密度估计表示为：其中，代表带宽为H的核函数，带宽H是d维的对称正定矩阵。4.根据权利要求3所述的方法，其特征在于，所述核函数为高斯核函数；所述高斯核函数表示为：其中，带宽H为对角矩阵，对角元素σi是被估计样本第i维的标准差；将计算概率分布的位置s设定为每一个样本所在的位置。5.根据权利要求4所述的方法，其特征在于，所述损失函数表示为：其中，为对潜在特征分布的核密度估计，为对模拟数据分布的核密度估计。6.一种图像生成装置，其特征在于，包括：生成器模块，用于将第一噪声变量输入训练后的生成器中，生成第一模拟数据；解码器模块，用于将所述第一模拟数据输入训练后的自编码器的解码器中，生成仿真图...

【专利技术属性】
技术研发人员：尹斯星，檀婧，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11