提出了一种基于姿态引导的图像生成方法和装置。该基于姿态引导的图像生成方法包括：获取源图像、噪声图像和目标姿态图像，其中噪声图像不同于源图像；从源图像中提取源姿态图像；至少基于源图像、噪声图像、目标姿态图像和源姿态图像通过融合得到待处理图像；将源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，源图像综合特征包括纹理特征；将待处理图像和源图像综合特征输入图像生成模型的图像去噪器，以得到目标图像，目标图像表示源图像中的对象在目标姿态下的图像。
【技术实现步骤摘要】
本公开涉及计算机，更具体地涉及一种基于姿态引导的图像生成方法和装置、计算设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、在互联网技术快速发展的时代，随着深度学习的发展，图像生成技术已经在许多领域（例如电商广告、艺术创作、游戏设计、虚拟现实等领域）中得到了广泛应用并且受到广泛关注。
2、然而，在相关技术的图像生成系统或模型的方法中，目前基于生成对抗网络的生成方案的主要缺点是：采用对抗训练，训练过程比较不稳定；在图像生成一致性上比较差；不一定保持真实的纹理或者需要密集的对应关系，难以处理复杂的变形和严重的遮挡。这些问题和缺点限制了图像生成技术的进一步发展。
技术实现思路
1、有鉴于此，本公开提供了一种基于姿态引导的图像生成方法和装置、计算设备、计算机可读存储介质及计算机程序产品，从而缓解、减轻或甚至消除上述问题中的一些或全部以及其它可能的问题。
2、根据本公开的一个方面，提出了一种基于姿态引导的图像生成方法，其包括：获取源图像、噪声图像和目标姿态图像，其中所述噪声图像不同于所述源图像；从所述源图像中提取源姿态图像；至少基于所述源图像、所述噪声图像、所述目标姿态图像和所述源姿态图像通过融合得到待处理图像；将所述源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，所述源图像综合特征包括纹理特征；将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到目标图像，所述目标图像表示所述源图像中的对象在目标姿态下的图像。
>3、根据本公开一些实施例，所述至少基于所述源图像、所述噪声图像、所述目标姿态图像和所述源姿态图像通过融合得到待处理图像，包括：将所述源姿态图像和所述目标姿态图像沿着水平方向拼接以得到第一拼接图像；将所述源图像和所述噪声图像沿着水平方向拼接以得到第二拼接图像；至少基于所述第一拼接图像和所述第二拼接图像沿着通道方向拼接以得到所述待处理图像，其中所述第一拼接图像中的源姿态图像和目标姿态图像的空间位置分别与所述第二拼接图像中的源图像和噪声图像的空间位置对应。4、根据本公开一些实施例，所述至少基于所述第一拼接图像和所述第二拼接图像沿着通道方向拼接以得到所述待处理图像，包括：获取掩码图像，所述掩码图像包括第一掩码部分和与所述第一掩码部分不同的第二掩码部分；基于所述掩码图像、所述第一拼接图像和所述第二拼接图像沿着通道方向拼接以得到所述待处理图像，其中所述掩码图像中的第一掩码部分和第二掩码部分的空间位置分别与所述第二拼接图像中的源图像和噪声图像的空间位置对应。
5、根据本公开一些实施例，所述将所述源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，包括：将所述源图像输入所述图像特征提取器的第一特征提取器以从中提取纹理特征；将所述纹理特征输入所述图像特征提取器的第二特征提取器以从中提取语义特征；根据所述纹理特征和所述语义特征，确定所述源图像综合特征。
6、根据本公开一些实施例，所述将所述源图像输入所述图像特征提取器的第一特征提取器以从中提取纹理特征，包括：将所述源图像输入所述第一特征提取器中的图像压缩器，以得到经压缩的源图像；将经压缩的源图像输入所述图像特征提取器的第一特征提取器的纹理特征提取器以从中提取纹理特征。
7、根据本公开一些实施例，所述将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到目标图像，包括：将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到交叉注意力权重；使用所述交叉注意力权重对所述源图像综合特征进行加权求和，以得到关联信息；根据所述关联信息和所述待处理图像，得到所述目标图像。
8、根据本公开的另一方面，提出了一种训练图像生成模型的方法，其包括：获取源图像样本、目标图像样本、目标姿态图像样本、噪声图像样本、源姿态图像样本，其中所述噪声图像样本不同于所述源图像样本；至少基于所述源图像样本、所述目标图像样本、所述目标姿态图像样本、所述噪声图像样本和所述源姿态图像样本通过融合得到待处理图像样本；将所述源图像样本和所述目标图像样本通过融合得到目标图像标签；将所述源图像样本输入所述图像生成模型的图像特征提取器以从中提取源图像样本的综合特征，所述源图像样本的综合特征包括纹理特征；将所述待处理图像样本和所述源图像样本的综合特征输入所述图像生成模型的图像去噪器以预测去噪图像；根据所述目标图像标签和所述去噪图像计算目标损失；基于所述目标损失，对所述图像生成模型的参数进行迭代更新直至所述目标损失满足预设条件。
9、根据本公开一些实施例，所述至少基于所述源图像样本、所述目标图像样本、所述目标姿态图像样本、所述噪声图像样本和所述源姿态图像样本通过融合得到待处理图像样本，包括：将所述源图像样本和所述目标图像样本沿水平方向拼接并进行加噪处理以得到第一拼接图像样本，将所述源姿态图像样本和所述目标姿态图像样本沿水平方向拼接以得到第二拼接图像样本，将所述源图像样本和所述噪声图像样本沿水平方向拼接以得到第三拼接图像样本，至少基于所述第一拼接图像样本、所述第二拼接图像样本和所述第三拼接图像样本通过沿通道方向的拼接处理得到待处理图像样本；并且，所述将所述源图像样本和所述目标图像样本通过融合得到目标图像标签，包括：将所述源图像样本和所述目标图像样本沿水平方向拼接以得到目标图像标签。
10、根据本公开一些实施例，所述至少基于所述第一拼接图像样本、所述第二拼接图像样本和所述第三拼接图像样本通过沿通道方向的拼接处理得到待处理图像样本，包括：获取掩码图像样本，所述掩码图像样本包括第一掩码部分和与所述第一掩码部分不同的第二掩码部分；基于所述掩码图像样本、所述第一拼接图像样本、所述第二拼接图像样本和所述第三拼接图像样本沿着通道方向拼接以得到所述待处理图像，其中所述第一掩码部分和所述第二掩码部分的空间位置分别与所述源图像样本和所述噪声图像样本的空间位置对应。
11、根据本公开的另一方面，提出了一种基于姿态引导的图像生成装置，其包括：获取模块，其被配置成获取源图像、噪声图像和目标姿态图像，其中所述噪声图像不同于所述源图像；提取模块，其被配置成从所述源图像中提取源姿态图像；融合模块，其被配置成至少基于所述源图像、所述噪声图像、所述目标姿态图像和所述源姿态图像通过融合得到待处理图像；第一输入模块，其被配置成将所述源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，所述源图像综合特征包括纹理特征；第二输入模块，其被配置成将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到目标图像，所述目标图像表示所述源图像中的对象在目标姿态下的图像。
12、根据本公开的另一方面，提出了一种计算设备，包括：存储器和处理器，其中所述存储器中存储有计算机程序，所述计算机程序在被所述处理器执行时促使所述处理器执行根据本公开一些实施例的基于姿态引导的图像生成方法。
13、根据本公开的另一方面，提出了本文档来自技高网...
【技术保护点】
1.一种基于姿态引导的图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述至少基于所述源图像、所述噪声图像、所述目标姿态图像和所述源姿态图像通过融合得到待处理图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述至少基于所述第一拼接图像和所述第二拼接图像沿着通道方向拼接以得到所述待处理图像，包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述源图像输入所述图像特征提取器的第一特征提取器以从中提取纹理特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到目标图像，包括：
7.一种训练图像生成模型的方法，其特征在于，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述至少基于所述源图像样本、所述目标图像样本、所述目标姿态图像样本、所述噪声图像样本和所述源姿态图像样本通过融合得到待处理图像样本，包括：
9.根据权利要求8所述的方法，其特征在于，所述至少基于所述第一拼接图像样本、所述第二拼接图像样本和所述第三拼接图像样本通过沿通道方向的拼接处理得到待处理图像样本，包括：
10.一种基于姿态引导的图像生成装置，其特征在于，所述装置包括：
11.一种计算设备，其特征在于，所述计算设备包括：
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令在被执行时实现权利要求1-9中任一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
...
【技术特征摘要】
1.一种基于姿态引导的图像生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述至少基于所述源图像、所述噪声图像、所述目标姿态图像和所述源姿态图像通过融合得到待处理图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述至少基于所述第一拼接图像和所述第二拼接图像沿着通道方向拼接以得到所述待处理图像，包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述源图像输入图像生成模型的图像特征提取器以从中提取源图像综合特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述源图像输入所述图像特征提取器的第一特征提取器以从中提取纹理特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像和所述源图像综合特征输入所述图像生成模型的图像去噪器，以得到目标图像，包括：
7.一种训练图像生成模型的方法，其特征在于，所述方...
【专利技术属性】
技术研发人员：叶虎，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。