人体姿势图像生成方法、装置、设备及介质制造方法及图纸

技术编号:41746374 阅读:14 留言:0更新日期:2024-06-21 21:32
本公开涉及图像处理技术领域,提供了一种人体姿势图像生成方法、装置、电子设备及介质。该方法包括获取目标人物图像和预设人体姿势图像,并将目标人物图像输入至目标人物特征提取模块;通过图片编码器对目标人物图像进行编码处理,得到目标人物图像对应的图像特征向量;通过纹理编码器对目标人物图像进行编码处理,得到目标人物图像对应的多尺度特征向量;通过图像分割模型对目标人物图像进行分割处理,得到分割后的人体掩码图;根据目标人物图像对应的图像特征向量、目标人物图像对应的多尺度特征向量、以及人体掩码图,确定目标人物图像对应的第一融合特征;通过控制网络对预设人体姿势图像进行特征提取,得到预设人体姿势图像对应的特征向量;将目标人物图像对应的第一融合特征和预设人体姿势图像对应的特征向量输入至扩散模型,通过扩散模型对目标人物图像对应的第一融合特征和预设人体姿势图像对应的特征向量进行处理,得到目标人物图像对应的第一人体姿势图像,以此方式得能够在复杂环境下实现高质量的姿势引导人像合成,解决现有技术的不足。

【技术实现步骤摘要】

本公开涉及图像处理,尤其涉及一种人体姿势图像生成方法、装置、电子设备及介质。


技术介绍

1、随着人工智能和计算机视觉技术的迅猛发展,姿势引导的人像生成任务受到了研究人员和工业界的广泛关注。该任务的目的在于合成出与给定姿势相匹配的逼真人像,这在电影制作、虚拟现实、时尚设计等领域具有潜在的应用价值。目前,生成对抗网络(gans)是解决姿势引导人像生成任务的主流方法。通过让一个生成器和判别器在训练中不断对抗,gans能够学习合成高质量的人像图像。然而,现有的基于gans的方法在人像逼真度、纹理细节的保持上仍存在不足。在合成特定姿势的人像时,这些技术有时会导致纹理失真,如衣物纹理的模糊或不自然的皮肤纹理变化。

2、此外,在处理特殊情况,如人体姿态的复杂变形、身体部分的严重遮挡等情形时,现有gans模型的表现通常不佳。其生成的图像可能会出现人体部位相互融合、关节扭曲不自然或者遮挡区域细节丢失等问题,降低了图片的真实感和可用性。随着研究的深入,扩散模型作为一种新兴的深度生成模型得到了探索,它通过模拟数据分布的逆向扩散过程来生成图像。尽管扩散模型在生成逼真图本文档来自技高网...

【技术保护点】

1.一种人体姿势图像生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述目标人物图像对应的图像特征向量、所述目标人物图像对应的多尺度特征向量、以及所述人体掩码图,确定所述目标人物图像对应的第一融合特征向量包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标人物图像对应的图像特征向量、所述目标人物图像对应的多尺度特征向量、所述人体掩码图、以及所述文本数据对应的文本特征向量,确定所述目标人物图像对应的第二融合特征包括:

5.根据权利要求1所...

【技术特征摘要】

1.一种人体姿势图像生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述目标人物图像对应的图像特征向量、所述目标人物图像对应的多尺度特征向量、以及所述人体掩码图,确定所述目标人物图像对应的第一融合特征向量包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标人物图像对应的图像特征向量、所述目标人物图像对应的多尺度特征向量、所述人体掩码图、以及所述文本数据对应的文本特征向量,确定所述目标人物图像对应的第二融合特征包括:

5.根据权利要求1所述的方法,其特征在于,所述通过扩散模型对所述目标人物图像对应的第一融合特征和所述预设人体姿势图像对应的特征向量进行处理,得到所述目标人物图像对应的第一人体姿势图像包括:<...

【专利技术属性】
技术研发人员:石雅洁
申请(专利权)人:深圳须弥云图空间科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1