动作数据生成方法、装置、设备、存储介质和程序产品制造方法及图纸

本申请公开了一种动作数据生成方法、装置、设备、存储介质和程序产品，涉及人工智能技术领域，包括：获得目标语音的音频特征以及目标语音对应的文本；基于对文本的语义理解，确定文本中需要数字人同步执行肢体动作的目标文本段，每个目标文本段对应的肢体动作的类别，以及每个目标文本段对应的待生成的骨架动作序列中的各个动作帧的位置编码；对应每个目标文本段，至少将音频特征、该目标文本段对应的肢体动作的类别以及该目标文本段对应的各个动作帧的位置编码作为扩散模型的控制条件，通过扩散模型生成与该目标文本段对应的骨架动作序列。本申请提高了基于骨架动作序列驱动的数字人的肢体动作与语音内容的匹配度。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种动作数据生成方法、装置、设备、存储介质和程序产品。

技术介绍

1、目前，在一些人机交互场景中，会通过数字人与用户进行语音交互。为了增强用户的沉浸体验，数字人不仅需要流畅、自然的口型同步，还需搭配符合语境的肢体动作。

2、目前，通常是获得需要数字人通过语音输出的文本，基于该文本在动作数据库中搜索骨架动作序列（表征数字人的骨架点在不同时刻的位置），在数字人通过语音输出文本时基于搜索到的骨架动作序列驱动数字人执行肢体动作。但这种肢体动作控制方式存在数字人的肢体动作与通过语音输出的文本的匹配度较差的问题。

技术实现思路

1、鉴于上述问题，本申请提供了一种动作数据生成方法、装置、设备、存储介质和程序产品，以提高数字人的肢体动作与通过语音输出的文本的匹配度。具体方案如下：

2、本申请第一方面提供一种动作数据生成方法，包括：

3、获得目标语音的音频特征，以及所述目标语音对应的文本；所述音频特征包括以下至少一项：所述目标语音的节奏特征，对所述目标语音进行隐层本文档来自技高网...

【技术保护点】

1.一种动作数据生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于对所述文本的语义理解，确定所述文本中需要数字人同步执行肢体动作的目标文本段，每个目标文本段对应的肢体动作的类别，包括：

3.根据权利要求1所述的方法，其特征在于，基于对所述文本的语义理解，确定所述文本中需要数字人同步执行肢体动作的目标文本段，每个目标文本段对应的肢体动作的类别，包括：

4.根据权利要求3所述的方法，其特征在于，所述对插入标记标签后的文本进行标签修正，包括：采用以下至少一种方式对插入标记标签后的文本进行标签修正：

5.根据权利要求2-4...

【技术特征摘要】

1.一种动作数据生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于对所述文本的语义理解，确定所述文本中需要数字人同步执行肢体动作的目标文本段，每个目标文本段对应的肢体动作的类别，包括：

3.根据权利要求1所述的方法，其特征在于，基于对所述文本的语义理解，确定所述文本中需要数字人同步执行肢体动作的目标文本段，每个目标文本段对应的肢体动作的类别，包括：

4.根据权利要求3所述的方法，其特征在于，所述对插入标记标签后的文本进行标签修正，包括：采用以下至少一种方式对插入标记标签后的文本进行标签修正：

5.根据权利要求2-4任一项所述的方法，其特征在于，确定每个目标文本段对应的待生成的骨架动作序列中的各个动作帧的位置编码，包括：

6.根据权利要求1所述的方法，其特征在于，所述获得目标语音的音频特征，包括：

7.根据权利要求1所述的方法，其特征在于，通过所述扩散模型生成与该目标文本段对应的至少两个初始骨架动作序列；其中，相邻两个初始骨架动作序列中，前一初始骨架动作序列中的最后m个动作帧，与后一初始骨架动作序列中的前m个动作帧对应该目标文本段对应的骨架动作序列中的同一子骨架动作序列，该子骨架动作序列包括m个动作帧；

8.根据权利要求1所述的方法，其特征在于，还包括以下...

【专利技术属性】
技术研发人员：刘佳丽，李超龙，王众，庄江腾，孙萍，杨硕，疏坤，吴小燕，何山，殷兵，刘聪，周良，胡金水，支洪平，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：