图像生成模型训练方法和装置、图像生成方法和装置制造方法及图纸

本申请公开了一种图像生成模型训练方法和装置，涉及图像处理、增强现实、深度学习等技术领域。该方法的一具体实施方式包括：获取预先建立的生成式对抗网络，生成式对抗网络的解码器包括多个串联连接的生成模块，判别器包括多个分别独立的判别模块；从样本集中选取样本；将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；将每个伪图像以及对应尺度的第二域图像输入对应尺度的判别模块，并计算生成式对抗网络的损失值；若训练完成，则得到图像生成模型。该实施方式提升了图像生成模型的图片的分辨率。

【技术实现步骤摘要】
图像生成模型训练方法和装置、图像生成方法和装置
本申请涉及计算机
，具体涉及图像处理、增强现实、深度学习等
，尤其涉及一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备以及计算机可读介质。
技术介绍
传统的生成式对抗网络实现的图像转换、翻译算法网络一般包括：编码器、解码器和判别器，在生成式对抗网络中，编码器从输入的图像中提取特征，解码器从特征向量还原特征生成的图片，并将图片送入判别器进行判别，然而传统的对抗式生成网络结构职责比较混乱，一方面要学习转换的信息，另一方面还要关注生成图片质量，身兼数职，往往导致最后生成的图片无论完整度还是质量都表现不佳。进一步地，对于传统的生成式对抗网络，由于得到高分辨率图片较难训练和收敛，而生成低分辨率图片相对比较容易一些，但是低分辨率清晰度又不是太高，无法满足生成高质量图片的要求。
技术实现思路
提供了一种图像生成模型训练方法和装置、图像生成方法和装置、电子设备以及计算机可读介质。根据第一方面，提供了一种图像生成模型训练方法，上述方法包括：获取预先建立的生成式对抗网络，其中，生成式对抗网络的解码器包括多个串联连接的生成模块，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；执行以下训练步骤：从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值；响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。根据第二方面，提供了一种图像生成模型训练装置，该装置包括：网络建立单元，被配置成获取预先建立的生成式对抗网络，其中，生成式对抗网络的解码器包括多个串联连接的生成模块，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；样本选取单元，被配置成从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；样本输入单元，被配置成将该样本的第一域图像输入生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；图像输入单元，被配置成针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算生成式对抗网络的损失值；模型输出单元，被配置成响应于确定生成式对抗网络满足训练完成条件，则将生成式对抗网络作为图像生成模型。根据第三方面，提供了一种图像生成方法，该方法包括：获取待处理图像；将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。根据第四方面，提供了一种图像生成装置，该装置包括：图像获取单元，被配置成获取待处理图像；图像输出单元，被配置成将待处理图像输入采用如第一方面任一实现方式描述的方法生成的图像生成模型中，输出生成后的图像。根据第五方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面任一实现方式描述的方法。根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面任一实现方式描述的方法。本申请的实施例提供的技术，将生成式对抗网络的解码器分解为多个串联连接的生成模块，多个生成模块对输入的图像进行不同倍率的分辨率提升处理，完成了对低分辨率的图像超分重建过程；判别器包括多个不同尺度的判别模块，将各个生成模块生成的图像输入对应尺度的判别模块进行判别加以监督，不仅得到了更高分辨率且比较完整的图片，还提升了图像的清晰度和局部纹理丰富度。该技术可以广泛应用到图像翻译、风格转换等多个任务中，具有很强的应用价值。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请图像生成模型训练方法的实施例的流程图；图2是本申请中图像生成模型的一种结构示意图；图3是本申请中图像生成模型的另一种结构示意图；图4是根据本申请图像生成方法的实施例的流程图；图5是根据本申请图像生成模型训练装置的实施例的结构示意图；图6是根据本申请图像生成装置的实施例的结构示意图；图7是用来实现本申请实施例的图像生成模型训练方法或图像生成方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1示出了根据本申请图像生成模型训练方法的一个实施例的流程100。上述图像生成模型训练方法包括以下步骤：步骤101，获取预先建立的生成式对抗网络。在本实施例中，生成式对抗网络(GenerativeAdversarialNets，GAN)包括生成器、判别器。生成器由编码器(如图2中的G)和解码器构成。编码器采用卷积神经网络从输入的图象中提取特征。例如，将图像压缩成256个64*64的特征向量。解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最后得到生成图像。可选地，生成器还可以包括：位于编码器和解码器之间的转换器，转换器通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。例如，可以使用6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，从而达到在转换时同时保留原始图像特征的目标。本实施例中，解码器包括多个串联连接的生成模块(如图2所示的GS1、GS2、GS3、GS4、GS5)，多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像。对抗式生成网络的解码器可以被划分为多个的生成模块，多个生成模块是串联的关系如图2中GS1、GS2、GS3、GS4、GS5之间的串联关系，多个串联连接的生成模块中前一个生成模块的输出端与后一个生成模块的输入端连接。各个生成模块除了生成图像的图像尺度不同之外，其得到生成图像功能与现有生成式对抗网络的解码器得到生成图像的功能相同。本实施例中，如图2所示，解码器被划分为具有五个串联的生成模块的五级金字塔结构，五级金字塔结构中每个生成模块的输出的分本文档来自技高网...

【技术保护点】
1.一种图像生成模型训练方法，所述方法包括：/n获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的解码器包括多个串联连接的生成模块，所述多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；所述生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；/n执行以下训练步骤：从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；将该样本的第一域图像输入所述生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算所述生成式对抗网络的损失值；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。/n

【技术特征摘要】
1.一种图像生成模型训练方法，所述方法包括：
获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的解码器包括多个串联连接的生成模块，所述多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；所述生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；
执行以下训练步骤：从预置的样本集中选取样本，每个样本包括第一域图像和多个不同尺度的第二域图像；将该样本的第一域图像输入所述生成式对抗网络，得到各个生成模块输出的不同尺度的第二域的伪图像；针对各个伪图像，将该伪图像以及该伪图像对应尺度的第二域图像一起输入对应尺度的判别模块，计算所述生成式对抗网络的损失值；响应于确定所述生成式对抗网络满足训练完成条件，则将所述生成式对抗网络作为图像生成模型。


2.根据权利要求1所述的方法，其中，各个生成模块的输出图像的尺度是输入图像的2倍。


3.根据权利要求1所述的方法，其中，所述生成式对抗网络还包括：多个不同尺度的上采样模块；
各个上采样模块与其对应尺度的生成模块并联连接，且与各个上采样模块并联的生成模块不包括所述多个生成模块中的首部和尾部的生成模块。


4.根据权利要求1所述的方法，其中，所述计算所述生成式对抗网络的损失值包括：
计算各个判别模块的损失值；
对所有判别模块的损失值求均值，得到平均损失值，将所述平均损失值作为所述生成式对抗网络的损失值。


5.根据权利要求1所述的方法，其中，所述计算所述生成式对抗网络的损失值包括：
计算各个判别模块的损失值；
获取各个判别模块的尺度权重值；
将各个判别模块的损失值与其对应的尺度权重值相乘，得到各个判别模块的权重损失值；
对所有判别模块的权重损失值求均值，得到所述生成式对抗网络的损失值。


6.一种图像生成方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入采用如权利要求1-5中任一项所述的方法生成的图像生成模型中，输出生成后的图像。


7.一种图像生成模型训练装置，所述装置包括：
网络建立单元，被配置成获取预先建立的生成式对抗网络，其中，所述生成式对抗网络的解码器包括多个串联连接的生成模块，所述多个生成模块用于对输入的图像进行不同倍率的分辨率提升处理，以得到多个不同尺度图像；所述生成式对抗网络的判别器包括多个不同尺度的判别模块，各个判别模块分别独立；
...

【专利技术属性】
技术研发人员：杨少雄，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11