图像生成模型训练方法和装置、图像生成方法和装置制造方法及图纸

本申请公开了一种图像生成模型训练方法和装置，涉及图像处理、增强现实、深度学习等技术领域。该方法的一具体实施方式包括：获取预置的样本集，样本集的样本包括第一域图像和第二域图像；获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；从样本集中选取样本；将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；若生成式对抗网络训练完成，则将生成式对抗网络作为图像生成模型。该实施方式提升了图像模型生成的图片的精细度。

【技术实现步骤摘要】
图像生成模型训练方法和装置、图像生成方法和装置
本申请涉及计算机
，具体涉及图像处理、增强现实、深度学习
，尤其涉及一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。
技术介绍
基于传统的生成式对抗网络实现的图像转换、翻译算法网络一般都是一个编码器和解码器结构，网络把解码器部分生成的图片直接送入判别网络进行判别，生成的图片效果不是太好，经常会出现生成的图片不完整，局部往往出现较多的瑕疵现象，而且生成图片清晰度也不太高，细节的纹理也不甚清晰。特别是对一些背景复杂和一些不太常见的人脸输入，生成的图片效果往往很差，甚至完全转换失败。
技术实现思路
提供了一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备、计算机可读存储介质以及计算机程序产品。根据第一方面，提供了一种图像生成模型训练方法，上述方法包括：获取预置的样本集，其中，样本集至少包括一个样本，样本包括第一域图像和第二域图像；获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；执行以下训练步骤：从样本集中选取样本；将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。根据第二方面，提供了一种图像生成模型训练装置，该装置包括：样本获取单元，被配置成获取预置的样本集，其中，样本集至少包括一个样本，样本包括第一域图像和第二域图像；网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的生成网络包括生成模块和网络模块，网络模块用于提升生成模块输出的图像的精细度；选取单元，被配置成从样本集中选取样本；得到单元，被配置成将该样本的第一域图像输入生成模块，得到生成模块输出的伪图像以及网络模块输出的参考图像；输入单元，被配置成将该样本的第二域图像、伪图像以及参考图像一起输入生成式对抗网络的判别网络；模型生成单元，被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。根据第三方面，提供了一种图像生成方法，该方法包括：获取待处理图像；将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。根据第四方面，提供了一种图像生成装置，该装置包括：图像获取单元，被配置成获取待处理图像；图像生成单元，被配置成将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。根据第七方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面任一实现方式描述的方法。本申请的实施例提供的技术，在生成式对抗网络的生成网络部分增加网络模块，提升了图片精细度，不仅增加了图片的完整度，图片的清晰度和细节丰富度也都大大提升，使得生成的图像更加清晰，真实、自然、丰富，质量和效果也更佳。该技术可以广泛应用到图像翻译、风格转换等多个任务中，具有很强的应用价值。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请图像生成模型训练方法的实施例的流程图；图2是本申请中图像生成模型的一种结构示意图；图3是根据本申请图像生成方法的实施例的流程图；图4是根据本申请图像生成模型训练装置的实施例的结构示意图；图5是根据本申请图像生成装置的实施例的结构示意图；图6是用来实现本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了根据本申请图像生成模型训练方法的一个实施例的流程100。上述图像生成模型训练方法包括以下步骤：步骤101，获取预置的样本集。在本实施例中，图像生成模型训练方法的执行主体可以通过多种方式来获取样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如与数据库服务器连接的终端)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。在这里，样本集中可以包括至少一个样本。其中，样本可包括第一域图像和第二域图像。域指的是图像的类别，例如，男性、女性、油画、照片、漫画等。样本可包括第一域照片图像和转换成第二域漫画图像。第一域和第二域图像类型在此不做限定，可以是任意的组合。具体实现过程可参考步骤203的样本选取步骤。步骤102，获取预先建立的生成式对抗网络。在本实施例中，生成式对抗网络的网络结构如图2所示。生成式对抗网络(GenerativeAdversarialNets，GAN)包括生成网络G、判别网络D，生成式对抗网络的生成网络G包括生成模块g1和网络模块w。生成模块由编码器、转换器和解码器构成。编码器采用卷积神经网络从输入的图象中提取特征。例如，将图像压缩成256个64*64的特征向量。转换器通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。例如，可以使用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，从而达到在转换时同时保留原始图像特征的目标。解码器利用反卷积层(decovolution)完成从特征向量中还原出低级特征的工作，最后得到生成图像。本实施例中，生成网络用于将第一域图像转换成第二域的图像，网络模块用于提升生成模块输出的图像的精细度，即网络模块可以提升第二域图像的精细度。本实施例中，精细度不仅包括完整度还包括图像的细节清晰度。判别网络将一张图像作为输入，并尝试预测其为原始图像或是生成网络的输出图像。判别网络本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特本文档来自技高网...

【技术保护点】
1.一种图像生成模型训练方法，所述方法包括：/n获取预置的样本集，其中，所述样本集至少包括一个样本，样本包括第一域图像和第二域图像；/n获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的生成网络包括生成模块和网络模块，所述网络模块用于提升所述生成模块输出的图像的精细度；/n执行以下训练步骤：从所述样本集中选取样本；将该样本的第一域图像输入所述生成模块，得到所述生成模块输出的伪图像以及所述网络模块输出的参考图像；将该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。/n

【技术特征摘要】
1.一种图像生成模型训练方法，所述方法包括：
获取预置的样本集，其中，所述样本集至少包括一个样本，样本包括第一域图像和第二域图像；
获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的生成网络包括生成模块和网络模块，所述网络模块用于提升所述生成模块输出的图像的精细度；
执行以下训练步骤：从所述样本集中选取样本；将该样本的第一域图像输入所述生成模块，得到所述生成模块输出的伪图像以及所述网络模块输出的参考图像；将该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。


2.根据权利要求1所述的方法，所述方法还包括：
提取所述生成模块的中间层特征，并将提取的中间层特征输入所述网络模块，以使所述网络模块输出新的参考图像；
采用新的参考图像替换所述参考图像。


3.根据权利要求1所述的方法，其中，所述网络模块包括多个级联连接的卷积模块，每个卷积模块包括依次连接的设定个卷积层。


4.根据权利要求3所述的方法，所述将所述参考图像输入所述生成式对抗网络的判别网络包括：
将每个卷积模块输出的图像输入所述生成式对抗网络的判别网络，以使所述判别网络对各个卷积模块输出的图像进行分类。


5.根据权利要求1-4之一所述的方法，其中，所述训练完成条件包括以下至少一项：
训练迭代次数达到预定迭代阈值，所述判别网络的判别准确率在预定范围内，该样本的第二域图像、所述伪图像以及所述参考图像一起输入所述生成式对抗网络的判别网络之后，计算的损失值小于预定损失值阈值。


6.一种图像生成方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。


7.一种图像生成模型训练装置，所述装置包括：
样本获取单元，被配置成获取预置的样本集，其中，所述样本集至少包括一个样本，样本包括第一域图像和第二域图像；
网络获取单元，被配置成获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的生成网络包括生成模块和网络模块，所述网络模块用于提升所述生成模块输出的图像的精细度；
选取单元，被配置成从所述样本集中选取样本；
...

【专利技术属性】
技术研发人员：杨少雄，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11