图像生成方法、装置、设备及介质制造方法及图纸

本申请涉及一种图像生成方法、装置、设备及介质，涉及计算机技术领域，该图像生成方法包括：依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息；将所述目标合成图信息输入到预先训练的第一生成器中，得到所述第一生成器输出的初始生成图信息；依据所述初始生成图信息中的嘴区域信息，通过预先训练的第二生成器，生成所述初始生成图信息对应的嘴残差图信息，其中，所述第二生成器是与所述第一生成器联合训练而成的生成器；依据所述嘴残差图信息和所述初始生成图信息，生成所述待处理图像信息对应的目标图像信息。本申请在保证推理速度的前提下提升嘴型的生成效果，进而提升图像整体的生成效果。效果。效果。

【技术实现步骤摘要】
图像生成方法、装置、设备及介质


[0001]本申请涉及计算机
，尤其涉及一种图像生成方法、装置、设备及介质。

技术介绍

[0002]数字人，是一种利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。随着计算机技术的快速发展，数字人的生成技术越来越成熟。
[0003]在实际处理中，如果数字人生成技术想要应用在商业，实现实时交互，则数字人生成方案至少需要满足两点：生成效果好和推理速度快；其中，数字人的生成效果好是必要的前提，推理速度快是商业的需要。目前出现的大量生成技术，主要是基于诸如于pix2pix，pix2pixHD,Vid2Vid，few shot video2video，NERF，StyleGAN等图像翻译模型，实现数字人视频的生成。具体的，现有这些图像翻译模型主要是将真实图片或真实图片的素描图输入到生成器中，以通过生成器生成视频、音频对应的数字人图片，以便后续可以基于该生成器生成的数字人图片生成数字人视频并输出。
[0004]但是，嘴周围区域是变换最大的区域，现有图像翻译模型利用一个数字人生成器生成数字人图片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息；将所述目标合成图信息输入到预先训练的第一生成器中，得到所述第一生成器输出的初始生成图信息；依据所述初始生成图信息中的嘴区域信息，通过预先训练的第二生成器，生成所述初始生成图信息对应的嘴残差图信息，其中，所述第二生成器是与所述第一生成器联合训练而成的生成器；依据所述嘴残差图信息和所述初始生成图信息，生成所述待处理图像信息对应的目标图像信息。2.根据权利要求1所述的图像生成方法，其特征在于，所述依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息，包括：从待处理视频中提取待处理帧图像信息，并将提取到的待处理帧图像信息确定为所述待处理图像信息；确定所述待处理图像信息的素描图信息和所述待处理图信息对应的参考图像信息；依据所述素描图信息和所述参考图像信息进行图像合成，得到所述目标合成图信息。3.根据权利要求2所述的图像生成方法，其特征在于，所述确定所述待处理图像信息的素描图信息和所述待处理图信息对应的参考图像信息，包括：从所述待处理图像信息中提取人脸关键点信息和轮廓线信息，以依据提取到的人脸关键点信息和轮廓线信息，生成所述待处理图像信息的素描图信息若所述待处理图像信息为视频首帧图像信息，则基于所述待处理图像创建全零图像信息，并将所述全零图像信息确定为所述待处理图像信息对应的参考图像信息；若所述待处理图像信息不是视频首帧图像信息，则将参考帧目标图像信息确定为所述待处理图像信息对应的参考图像信息，所述参考帧目标图像信息为所述待处理图像信息的前一帧图像对应的目标图像信息。4.根据权利要求1所述的图像生成方法，其特征在于，所述依据初始生成图信息中的嘴区域信息，通过预先训练的第二生成器，生成所述初始生成图信息对应的嘴残差图信息，包括：提取所述初始生成图信息中的嘴区域信息，以作为初始生成图嘴信息；基于所述初始生成图嘴信息和待处理图嘴信息进行合成，得到所述初始生成图信息对应的目标嘴合成图信息，其中，所述待处理图嘴信息为所述待处理图像信息中的嘴区域信息。将所述目标嘴合成图信息输入到预先训练的第二生成器中，得到所述第二生成器输出的所述嘴残差图信息。5.根据权利要求1至4任一所述的图像生成方法，其特征在于，依据所述嘴残差图信息和所述初始生成图信息，生成所述待处理图像信息对应的目标图像信息，包括：基于所述嘴残差图信息，对所述初始生成图信息中的嘴区域信息进行补充处理，得到补充处理后的图像信息；将所述补充处理后的图像信息确定为所述目标图像信息。
6.根据权利要求1所述的图像生成方法，其特征在于，所述将所述目标合成图信息输入到预先训练的第一生成器中之前，还包括：从预设的训练数据集中获取待训练视频图像信息；依据所述待训练视频图像信息进行模型训练，得到包含所述第一生成器和所述第二生成器的图像处理模型。7.根据权利要求6所述的图像生成方法，其特征在于，所述依据所述待训练视频图像信息进行模型训练，包括：基于所述待训练视频图像信息确定待训练素描图信息，所述待训练视频图像信息包含第一视频图像信息和第二视频图像信息，所述待训练素描图信息包含所述第一视频图像信息对应的第一待训练素描图信息和所述第二视频图像信息对应的第二待训练素描图信息；通过预先构建的第一生成器，生成所述第一待训练素描图信息对应的第一生成图信息；依据所述第一生成图信息中的嘴区域信息，通过所述第二生成器，生成第一生成图信息对应的第一嘴残差图信息；依据所述第一嘴残差图信息和所述第一生成图信息，生成所述第一视频图像信息对应的第一合成图像信息；依据所述第一合成图像信息和所述第二待训练素描图信息进行合并，得到所述第二待训练素描图信息对应的第二合并图信息；将所述第二合并图信息输入到所述第一生成器中，得到所述第一生成器输出的第二生成图信息；依据第二生成图信息中的嘴区域信息，通过所述第二生成器，生成第二生成图信息对应的第二嘴残差图信息；依据所述第二嘴残差图信息和所述第二生成图信息，生成所述第二视频图像信息对应的第二合成图像信息；依据所述第一视频图像信息、第二视频图像信息、所述第一待训练素描图信息、第二待训练素描图信息、所述第...

【专利技术属性】
技术研发人员：王鑫宇，刘炫鹏，杨国基，刘致远，常向月，刘云峰，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：