System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于文本生成动作的方法、装置、设备及存储介质制造方法及图纸_技高网

基于文本生成动作的方法、装置、设备及存储介质制造方法及图纸

技术编号:40786458 阅读:2 留言:0更新日期:2024-03-28 19:18
本发明专利技术实施例提供一种基于文本生成动作的方法、装置、设备及存储介质。方法包括:获取目标文本,其中,所述目标文本用于描述虚拟角色的运动状态;对所述目标文本进行编码,得到目标文本向量编码;通过序列生成模型对所述目标文本向量编码进行分析,得到所述目标文本对应的目标动作索引序列;将所述目标动作索引序列转换为量化后的目标动作特征序列后,通过动作生成模型对所述目标动作特征序列进行分析,得到目标动作序列;其中,所述目标动作序列的每帧包括所述虚拟角色的关节点的控制信息,且用于驱使所述虚拟角色进行运动以生成动画。本申请实施例旨在提高基于文本生成动作的实时性以及质量。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种基于文本生成动作的方法、基于文本生成动作的装置、计算机设备及计算机可读存储介质。


技术介绍

1、文本生成动作技术是一种通过给定的文本描述,自动生成符合该描述的真实自然的三维人体(虚拟的角色)的动作序列的技术,其能够根据文本描述自动生成虚拟角色的动画,在游戏开发、电影制作、机器人动画等领域发挥重要作用。

2、相关技术中,文本生成动作的研究主要集中在人体姿态估计、人体运动捕捉和人体动作识别等领域。由于人体运动的姿态空间维度极高,分布复杂,因此导致文本生成工作的计算复杂度较高,通常无法满足实时生成动画的需求,且生成的运动质量不佳。


技术实现思路

1、本申请提供了一种基于文本生成动作的方法、基于文本生成动作的装置、计算机设备及计算机可读存储介质,在提高基于文本生成动作的实时性以及质量。

2、为实现上述目的,本申请提供一种基于文本生成动作的方法,所述方法包括:

3、获取目标文本,其中,所述目标文本用于描述虚拟角色的运动状态;

4、对所述目标文本进行编码,得到目标文本向量编码;

5、通过序列生成模型对所述目标文本向量编码进行分析,得到所述目标文本对应的目标动作索引序列;

6、将所述目标动作索引序列转换为量化后的目标动作特征序列后,通过动作生成模型对所述目标动作特征序列进行分析,得到目标动作序列;

7、其中,所述目标动作序列的每帧包括所述虚拟角色的关节点的控制信息,且用于驱使所述虚拟角色进行运动以生成动画。

8、为实现上述目的,本申请还提供一种基于文本生成动作的装置,包括:

9、获取模块,用于获取目标文本,其中,所述目标文本用于描述虚拟角色的运动状态;

10、编码模块,用于对所述目标文本进行编码,得到目标文本向量编码;

11、序列生成模块,用于通过序列生成模型对所述目标文本向量编码进行分析,得到所述目标文本对应的目标动作索引序列;

12、动作生成模块,用于将所述目标动作索引序列转换为量化后的目标动作特征序列后,通过动作生成模型对所述目标动作特征序列进行分析,得到目标动作序列;

13、其中,所述目标动作序列的每帧包括所述虚拟角色的关节点的控制信息,且用于驱使所述虚拟角色进行运动以生成动画。

14、此外,为实现上述目的,本申请还提供一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述的计算机程序并在执行所述的计算机程序时实现本申请实施例提供的任一项所述的基于文本生成动作的方法的步骤。

15、此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现本申请实施例提供的任一项所述的基于文本生成动作的方法的步骤。

16、本申请实施例公开的基于文本生成动作的方法、基于文本生成动作的装置、计算机设备及计算机可读存储介质,能够获取用于描述虚拟角色的运动状态的目标文本,并对目标文本进行编码,得到目标文本向量编码。进而通过序列生成模型对目标文本向量编码进行分析,得到目标文本对应的目标动作索引序列。由此,能够将目标动作索引序列转换为量化后的目标动作特征序列后,并通过动作生成模型对所述目标动作特征序列进行分析,得到目标动作序列。其中,目标动作序列的每帧包括虚拟角色的关节点的控制信息,且用于驱使虚拟角色进行运动以生成动画。本申请旨在通过上述方法实现提高基于文本生成动作的实时性以及质量。

本文档来自技高网...

【技术保护点】

1.一种基于文本生成动作的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过序列生成模型对所述目标文本向量编码进行分析,得到所述目标文本对应的目标动作索引序列,包括:

3.根据权利要求1所述的方法,其特征在于,所述动作生成模型包括编码模块和解码模块,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述动作生成模型还包括数据处理模块;所述获取样本动作数据之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述预测动作序列与所述实际动作序列,训练得到所述动作生成模型,包括:

6.根据权利要求3所述的方法,其特征在于,所述通过所述编码模块对所述样本动作数据进行编码,得到样本动作特征序列之后,还包括:

7.根据权利要求1所述的方法,其特征在于,所述序列生成模型包括Transformer模块以及多层感知机模块,所述通过预训练模型对所述样本文本以及所述样本动作索引序列进行迭代训练,得到所述序列生成模型包括:

8.一种基于文本生成动作的装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括:存储器和处理器;其中,所述存储器与所述处理器连接,用于存储程序所述处理器用于通过运行所述存储器中存储的程序,实现如权利要求1-7中任一项所述的基于文本生成动作的方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-7中任一项所述的基于文本生成动作的方法的步骤。

...

【技术特征摘要】

1.一种基于文本生成动作的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过序列生成模型对所述目标文本向量编码进行分析,得到所述目标文本对应的目标动作索引序列,包括:

3.根据权利要求1所述的方法,其特征在于,所述动作生成模型包括编码模块和解码模块,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述动作生成模型还包括数据处理模块;所述获取样本动作数据之后,还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述预测动作序列与所述实际动作序列,训练得到所述动作生成模型,包括:

6.根据权利要求3所述的方法,其特征在于,所述通过所述编码模块对所述样本动作数据进行编码,得到样本动作特征序列之后,还...

【专利技术属性】
技术研发人员:姜瑜浩李其迈吴潇雨朱晓龙陈嘉欣刘景轩孟思薇陈炳成
申请(专利权)人:超参数科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1