网络训练方法及装置、图像生成方法及装置制造方法及图纸

本公开涉及一种网络训练方法及装置、图像生成方法及装置，所述网络训练方法包括：将隐向量输入预训练的生成网络，得到第一生成图像，所述生成网络是与判别网络通过多个自然图像对抗训练得到的；对所述第一生成图像进行退化处理，得到所述第一生成图像的第一退化图像；根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，其中，训练后的生成网络和训练后的隐向量用于生成所述目标图像的重建图像。本公开实施例可提高生成网络的训练效果。

Network training method and device, image generation method and device

【技术实现步骤摘要】
网络训练方法及装置、图像生成方法及装置
本公开涉及计算机
，尤其涉及一种网络训练方法及装置、图像生成方法及装置。
技术介绍
在深度学习的各种图像处理任务中，设计或学习图像先验是图像复原、图像操纵等任务中的重要问题。例如，深度图像先验(DeepImagePrior)提出，一个随机初始化的卷积神经网络有低级的图像先验，可以用来实现超分辨率和图像补全等。然而在相关技术中，无法恢复图像中不包含的信息，也无法对图像中的语义信息进行编辑。
技术实现思路
本公开提出了一种网络训练及图像生成技术方案。根据本公开的一方面，提供了一种网络训练方法，包括：将隐向量输入预训练的生成网络，得到第一生成图像，所述生成网络是与判别网络通过多个自然图像对抗训练得到的；对所述第一生成图像进行退化处理，得到所述第一生成图像的第一退化图像；根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，其中，训练后的生成网络和训练后的隐向量用于生成所述目标图像的重建图像。在一种可能的实现方式中，根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，包括：将所述第一退化图像及目标图像的第二退化图像分别输入预训练的判别网络中处理，得到所述第一退化图像的第一判别特征及所述第二退化图像的第二判别特征；根据所述第一判别特征及所述第二判别特征，训练所述隐向量及所述生成网络。在一种可能的实现方式中，所述判别网络包括多级判别网络块，将所述第一退化图像及目标图像的第二退化图像分别输入预训练的判别网络中处理，得到所述第一退化图像的第一判别特征及所述第二退化图像的第二判别特征，包括：将所述第一退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第一判别特征；将所述第二退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第二判别特征。在一种可能的实现方式中，根据所述第一判别特征及所述第二判别特征，训练所述隐向量及所述生成网络，包括：根据所述第一判别特征及所述第二判别特征之间的距离，确定所述生成网络的网络损失；根据所述生成网络的网络损失，训练所述隐向量及所述生成网络。在一种可能的实现方式中，所述生成网络包括N级生成网络块，根据所述生成网络的网络损失，训练所述隐向量及所述生成网络，包括：根据第n-1轮训练后的生成网络的网络损失，训练所述生成网络的前n级生成网络块，得到第n轮训练后的生成网络，1≤n≤N，n、N为整数。在一种可能的实现方式中，所述方法还包括：将多个初始隐向量输入预训练的生成网络，得到多个第二生成图像；根据所述目标图像与所述多个第二生成图像之间的差异信息，从所述多个初始隐向量中确定出所述隐向量。在一种可能的实现方式中，所述方法还包括：将所述目标图像输入预训练的编码网络，输出所述隐向量。在一种可能的实现方式中，所述方法还包括：将训练后的隐向量输入训练后的生成网络，得到所述目标图像的重建图像，其中，所述重建图像包括彩色图像，所述目标图像的第二退化图像包括灰度图像；或所述重建图像包括完整图像，所述第二退化图像包括缺失图像；或所述重建图像的分辨率大于所述第二退化图像的分辨率。根据本公开的一方面，提供了一种图像生成方法，包括：通过随机抖动信息对第一隐向量进行扰动处理，得到扰动后的第一隐向量；将所述扰动后的第一隐向量输入第一生成网络中处理，得到目标图像的重建图像，所述重建图像中对象的位置与所述目标图像中对象的位置不同，其中，所述第一隐向量及所述第一生成网络是根据上述的网络训练方法训练得到的。根据本公开的一方面，提供了一种图像生成方法，包括：将第二隐向量及预设类别的类别特征输入第二生成网络中处理，得到目标图像的重建图像，所述第二生成网络包括条件生成网络，所述重建图像中对象的类别包括所述预设类别，所述目标图像中对象的类别与所述预设类别不同，其中，所述第二隐向量及所述第二生成网络是根据上述的网络训练方法训练得到的。根据本公开的一方面，提供了一种图像生成方法，包括：对第三隐向量与第四隐向量、第三生成网络的参数与第四生成网络的参数分别进行插值处理，得到至少一个插值隐向量以及至少一个插值生成网络的参数，第三生成网络用于根据第三隐向量生成第一目标图像的重建图像，第四生成网络用于根据第四隐向量生成第二目标图像的重建图像；将各个插值隐向量分别输入相应的插值生成网络，得到至少一个变形图像，所述至少一个变形图像中对象的姿态处于所述第一目标图像中对象的姿态与所述第二目标图像中对象的姿态之间，其中，所述第三隐向量及所述第三生成网络、所述第四隐向量及所述第四生成网络是根据上述的网络训练方法训练得到的。根据本公开的一方面，提供了一种网络训练装置，包括：第一生成模块，用于将隐向量输入预训练的生成网络，得到第一生成图像，所述生成网络是与判别网络通过多个自然图像对抗训练得到的；退化模块，用于对所述第一生成图像进行退化处理，得到所述第一生成图像的第一退化图像；训练模块，用于根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，其中，训练后的生成网络和训练后的隐向量用于生成所述目标图像的重建图像。在一种可能的实现方式中，所述训练模块包括：特征获取子模块，用于将所述第一退化图像及目标图像的第二退化图像分别输入预训练的判别网络中处理，得到所述第一退化图像的第一判别特征及所述第二退化图像的第二判别特征；第一训练子模块，用于根据所述第一判别特征及所述第二判别特征，训练所述隐向量及所述生成网络。在一种可能的实现方式中，所述判别网络包括多级判别网络块，所述特征获取子模块包括：第一获取子模块，用于将所述第一退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第一判别特征；第二获取子模块，用于将所述第二退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第二判别特征。在一种可能的实现方式中，所述第一训练子模块包括：损失确定子模块，用于根据所述第一判别特征及所述第二判别特征之间的距离，确定所述生成网络的网络损失；第二训练子模块，用于根据所述生成网络的网络损失，训练所述隐向量及所述生成网络。在一种可能的实现方式中，所述生成网络包括N级生成网络块，所述第二训练子模块用于：根据第n-1轮训练后的生成网络的网络损失，训练所述生成网络的前n级生成网络块，得到第n轮训练后的生成网络，1≤n≤N，n、N为整数。在一种可能的实现方式中，所述装置还包括：第二生成模块，用于将多个初始隐向量输入预训练的生成网络，得到多个第二生成图像；第一向量确定模块，用于根据所述目标图像与所述多个第二生成图像之间的差异信息，从所述多个初始隐向量中确定出所述隐向量。在一种可能的实现方式中，所述装置还包括：第二向量确定模块，用于将所述目标图像输入预训练的编码网络，输出所述隐向量。在一种可能的实现方式中，所述装置还包括：第一重建模块，用于将训练后的隐向量输入训练后的生成网络，得到所述目标图像的重建本文档来自技高网...

【技术保护点】
1.一种网络训练方法，其特征在于，包括：/n将隐向量输入预训练的生成网络，得到第一生成图像，所述生成网络是与判别网络通过多个自然图像对抗训练得到的；/n对所述第一生成图像进行退化处理，得到所述第一生成图像的第一退化图像；/n根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，其中，训练后的生成网络和训练后的隐向量用于生成所述目标图像的重建图像。/n

【技术特征摘要】
1.一种网络训练方法，其特征在于，包括：
将隐向量输入预训练的生成网络，得到第一生成图像，所述生成网络是与判别网络通过多个自然图像对抗训练得到的；
对所述第一生成图像进行退化处理，得到所述第一生成图像的第一退化图像；
根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，其中，训练后的生成网络和训练后的隐向量用于生成所述目标图像的重建图像。


2.根据权利要求1所述的方法，其特征在于，根据所述第一退化图像及目标图像的第二退化图像，训练所述隐向量及所述生成网络，包括：
将所述第一退化图像及目标图像的第二退化图像分别输入预训练的判别网络中处理，得到所述第一退化图像的第一判别特征及所述第二退化图像的第二判别特征；
根据所述第一判别特征及所述第二判别特征，训练所述隐向量及所述生成网络。


3.根据权利要求2所述的方法，其特征在于，所述判别网络包括多级判别网络块，
将所述第一退化图像及目标图像的第二退化图像分别输入预训练的判别网络中处理，得到所述第一退化图像的第一判别特征及所述第二退化图像的第二判别特征，包括：
将所述第一退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第一判别特征；
将所述第二退化图像输入所述判别网络中处理，得到所述判别网络的多级判别网络块输出的多个第二判别特征。


4.根据权利要求2或3所述的方法，其特征在于，根据所述第一判别特征及所述第二判别特征，训练所述隐向量及所述生成网络，包括：
根据所述第一判别特征及所述第二判别特征之间的距离，确定所述生成网络的网络损失；
根据所述生成网络的网络损失，训练所述隐向量及所述生成网络。


5.根据权利要求4所述的方法，其特征在于，所述生成网络包括N级生成网络块，
根据所述生成网络的网络损失，训练所述隐向量及所述生成网络，包括：
根据第n-1轮训练后的生成网络的网络损失，训练所述生成网络的前n级生成网络块，得到第n轮训练后的生成网络，1≤n≤N，n、N为整数。


6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：
将多个初始隐向量输入预训练的生成网络，得到多个第二生成图像；
根据所述目标图像与所述多个第二生成图像之间的差异信息，从所述多个初始隐向量中确定出所述隐向量。


7.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：
将所述目标图像输入预训练的编码网络，输出所述隐向量。


8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述方法还包括：
将训练后的隐向量输入训练后的生成网络，得到所述目标图像的重建图像，
其中，所述重建图...

【专利技术属性】
技术研发人员：潘新钢，詹晓航，戴勃，林达华，罗平，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11