【技术实现步骤摘要】
本申请实施例涉及数据处理，特别涉及一种动画生成方法、装置、设备及存储介质。
技术介绍
1、语音驱动口型技术是一种通过分析输入语音信号来生成相应口型动画的技术，该技术的目标是使虚拟角色口型动画与输入语音信号同步，从而实现自然、逼真的视觉效果。
2、相关技术中，通常是通过语音分析模块，根据提取的语音特征计算相应的口型参数，如嘴部开合程度、舌头位置等，从而根据口型参数生成口型动画，使其与输入语音信号同步。
3、可见，相关技术中仅关注语音驱动下的口型特征，而忽略了其他姿态特征，导致动画效果真实性较低。
技术实现思路
1、本申请实施例提供了一种动画生成方法、装置、设备及存储介质，能够提高动画中虚拟角色的姿态准确性，优化动画效果。所述技术方案如下：
2、一方面，本申请实施例提供了一种动画生成方法，所述方法包括：
3、基于目标音频以及所述目标音频对应的音频文本进行语言特征提取，得到语言特征信息，所述语言特征信息用于表征所述目标音频中韵律词的词特征；
4、基于所述语言特征信息进行姿态预测，得到所述目标音频中各个韵律词对应的关联姿态数据，所述关联姿态数据用于表征虚拟角色展示口型动画过程中至少一种关联部位的姿态特征，所述关联部位指说话过程中嘴部以外其他发生姿态变化的部位；
5、基于各个韵律词对应的所述关联姿态数据，生成所述关联部位对应的关联部位姿态动画，其中，所述关联部位姿态动画与所述口型动画在所述目标音频播放过程中由所述虚拟角色
6、另一方面，本申请实施例提供了一种动画生成装置，所述装置包括：
7、特征提取模块，用于基于目标音频以及所述目标音频对应的音频文本进行语言特征提取，得到语言特征信息，所述语言特征信息用于表征所述目标音频中韵律词的词特征；
8、姿态预测模块，用于基于所述语言特征信息进行姿态预测，得到所述目标音频中各个韵律词对应的关联姿态数据，所述关联姿态数据用于表征虚拟角色展示口型动画过程中至少一种关联部位的姿态特征，所述关联部位指说话过程中嘴部以外其他发生姿态变化的部位；
9、动画生成模块，用于基于各个韵律词对应的所述关联姿态数据，生成所述关联部位对应的关联部位姿态动画，其中，所述关联部位姿态动画与所述口型动画在所述目标音频播放过程中由所述虚拟角色同步展示。
10、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如上述方面所述的动画生成方法。
11、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上述方面所述的动画生成方法。
12、另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的动画生成方法。
13、本申请实施例中，通过对目标音频以及目标音频对应的音频文本进行语言特征提取，得到语言特征信息，该语言特征信息用于表征目标音频中韵律词的词特征，从而根据该语言特征信息进行姿态预测，得到目标音频中各个韵律词对应的关联姿态特征，并根据各个韵律词对应的关联姿态特征，生成关联部位对应的关联部位姿态动画，即采用本申请实施例提供的方案，可以实现对动画中虚拟角色除嘴部以外的其他发生姿态变化的关联部位的姿态优化，提高动画中虚拟角色的姿态准确性，优化动画生成效率。
本文档来自技高网...【技术保护点】
1.一种动画生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于目标音频以及所述目标音频对应的音频文本进行语言特征提取，得到语言特征信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标音频以及所述音频文本进行对齐处理，得到所述目标音频中各个韵律词对应的时间信息，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于各个韵律词对应的所述关联姿态数据，生成所述关联部位对应的关联部位姿态动画，包括：
5.根据权利要求2所述的方法，其特征在于，在存在至少两种第一关联部位的情况下，所述将所述韵律词对应的所述词性信息和所述时间信息输入LSTM网络，通过所述LSTM网络输出所述关联姿态数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述韵律词对应的所述词性信息和所述时间信息输入所述LSTM网络，通过所述LSTM网络的至少两个输出头输出各个第一关联部位各自对应的第一关联姿态数据，包括：
7.根据权利要求5所述的方法，其特征在于，所述LSTM网络包括至少两
8.根据权利要求5所述的方法，其特征在于，所述关联部位还包括第二关联部位，所述第二关联部位与所述第一关联部位存在姿态限制关系；
9.根据权利要求8所述的方法，其特征在于，所述第一关联部位为头部，所述第二关联部位为眼球部位；
10.根据权利要求2所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述确定样本音频对应的样本语言特征信息，以及所述样本音频中各个样本韵律词对应的关联姿态数据真值，包括：
12.根据权利要求11所述的方法，其特征在于，所述基于所述样本语言特征信息，从所述样本音频对应的样本关联部位姿态动画中提取各个样本韵律词对应的所述关联姿态数据真值，包括：
13.根据权利要求1所述的方法，其特征在于，所述基于各个韵律词对应的所述关联姿态数据，生成所述关联部位对应的关联部位姿态动画之前，所述方法还包括：
14.一种动画生成装置，其特征在于，所述装置包括：
15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至13任一所述的动画生成方法。
16.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至13任一所述的动画生成方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至13任一所述的动画生成方法。
...【技术特征摘要】
1.一种动画生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于目标音频以及所述目标音频对应的音频文本进行语言特征提取，得到语言特征信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标音频以及所述音频文本进行对齐处理，得到所述目标音频中各个韵律词对应的时间信息，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于各个韵律词对应的所述关联姿态数据，生成所述关联部位对应的关联部位姿态动画，包括：
5.根据权利要求2所述的方法，其特征在于，在存在至少两种第一关联部位的情况下，所述将所述韵律词对应的所述词性信息和所述时间信息输入lstm网络，通过所述lstm网络输出所述关联姿态数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述将所述韵律词对应的所述词性信息和所述时间信息输入所述lstm网络，通过所述lstm网络的至少两个输出头输出各个第一关联部位各自对应的第一关联姿态数据，包括：
7.根据权利要求5所述的方法，其特征在于，所述lstm网络包括至少两个输出头，且至少两个输出头中包括第一输出头和第二输出头，所述第一输出头用于输出头部姿态数据，所述第二输出头用于输出眉部姿态数据；
8.根据权利要求5所述的方法，其特征在于，所述关联部位还包括第二关联部位，所述第二关联部位与所述第一关联部位存在姿态限制关系；
9.根据权利要求8所述的方法，其特征在于，所述第一关联部位为...
【专利技术属性】
技术研发人员：王海龙，陈广宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。