一种虚拟形象生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:35761727 阅读:28 留言:0更新日期:2022-11-26 19:13
本申请提供一种虚拟形象生成方法、装置、电子设备及存储介质,所述虚拟形象生成方法,在生成虚拟形象的过程中,基于对期望虚拟形象的描述文本的分析,获得了期望虚拟形象的整体形象描述文本和局部形象描述文本,实现了对所述描述文本的细粒度解耦,有利于从整体到局部的更全面把握虚拟形象的特征。之后,基于对整体形象描述文本和局部形象描述文本的联合预测,得到了参考了整体形象特征的、与所述局部形象描述文本对应的预测形象特征,即可以实现对预测虚拟形象的局部形象的控制,同时也考虑了预测虚拟形象的整体形象,提高了虚拟形象的局部形象与整体形象之间的关联,同时也提高了生成的虚拟形象的质量。生成的虚拟形象的质量。生成的虚拟形象的质量。

【技术实现步骤摘要】
一种虚拟形象生成方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
,具体涉及一种虚拟形象生成方法、装置、电子设备及存储介质。

技术介绍

[0002]文字与图像作为两种不同类型的信息载体,在人们的日常生活中起着重要的作用。在日常生活中,通过给定文本生成虚拟形象的应用十分广泛,例如:游戏中人物、场景的设计,元宇宙虚拟世界的设计,以及艺术创作、室内装修等领域。
[0003]现有技术中,通常使用基于生成对抗网络的文图生成算法和基于扩散模型的文图生成算法实现通过给定文本生成虚拟形象。但在通过上述两种算法生成虚拟形象的过程中,存在难以控制虚拟形象局部区域的生成的问题,且生成的虚拟形象质量较差。
[0004]因此,如何根据给定文本生成对应的高质量虚拟形象成为本领域技术人员亟需解决的技术问题。

技术实现思路

[0005]本申请提供一种虚拟形象的生成方法、装置、电子设备及存储介质,以解决如何根据给定文本生成对应的高质量虚拟形象的问题。
[0006]根据本申请实施例的第一方面,提供了一种虚拟形象生成方法,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象生成方法,其特征在于,包括:从用户对期望虚拟形象的描述文本中,获得对所述期望虚拟形象的整体形象描述文本和局部形象描述文本;将每个局部形象描述文本分别与所述整体形象描述文本进行联合形象预测,得到与每个局部形象描述文本对应的预测形象特征;基于与每个局部形象描述文本对应的预测形象特征,生成与所述描述文本对应的虚拟形象。2.根据权利要求1所述的方法,其特征在于,所述从用户对期望虚拟形象的描述文本中,获得对所述期望虚拟形象的整体形象描述文本和局部形象描述文本,包括:对所述描述文本进行分词处理,获得所述描述文本的各分词文本;对所述各分词文本进行整体形象关键词匹配,确定所述期望虚拟形象的整体形象描述文本;对所述各分词文本进行局部形象关键词匹配,确定所述期望虚拟形象的局部形象描述文本。3.根据权利要求1所述的方法,其特征在于,所述基于与每个局部形象描述文本对应的预测形象特征,生成与所述描述文本对应的虚拟形象,包括:将与每个局部形象描述文本对应的预测形象特征进行融合处理,得到融合形象特征图;基于所述融合形象特征图生成虚拟形象。4.根据权利要求1所述的方法,其特征在于,将局部形象描述文本与所述整体形象描述文本进行联合形象预测,得到与所述局部形象对应的预测形象特征,包括:将局部形象描述文本和所述整体形象描述文本输入与该局部形象对应的特征生成器,以使该特征生成器基于获得的文本进行联合形象预测,得到与所述局部形象描述文本对应的预测形象特征。5.根据权利要求1所述的方法,其特征在于,所述将每个局部形象描述文本分别与所述整体形象描述文本进行联合形象预测,得到与每个局部形象描述文本对应的预测形象特征;以及,基于与每个局部形象描述文本对应的预测形象特征,生成与所述描述文本对应的虚拟形象,包括:将各个局部形象描述文本和所述整体形象描述文本输入预先训练的虚拟形象生成模型,以使所述虚拟形象生成模型将每个局部形象描述文本分别与所述整体形象描述文本进行联合形象预测,得到与每个局部形象描述文本对应的预测形象特征;以及,基于与每个局部形象描述文本对应的预测形象特征,生成与所述描述文本对应的虚拟形象。6.根据权利要求5所述的方法,其特征在于,所述将每个局部形象描述文本分别与所述整体形象描述文本进行联合形象预测,得到与每个局部形象描述文本对应的预测形象特征,包括:将整体形象描述文本分别输入虚拟形象生成模型的每个特征生成器,以及将各局部形象描述文本输入对应的各个特征生成器,以使各个特征生成器分别对获得的整体形象描述文本和局部形象描述文本进行联合形象预测,得到与每个局部形象描述文本对应的预测形象特征。
7.根据权利要求6所述的方法,其特征在于,所述虚拟形象生成模型的各特征生成...

【专利技术属性】
技术研发人员:左童春周良何山胡金水刘聪殷兵
申请(专利权)人:科大讯飞股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1