本公开涉及一种动画生成方法、装置、存储介质及电子设备，所述方法包括：获取输入文本；生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画，实现了无需通过摄像设备来实时捕捉用户的表情数据来驱动虚拟形象的目的。情数据来驱动虚拟形象的目的。情数据来驱动虚拟形象的目的。
【技术实现步骤摘要】
动画生成方法、装置、存储介质及电子设备
[0001]本公开涉及电子信息
，具体地，涉及一种动画生成方法、装置、存储介质及电子设备。
技术介绍
[0002]增强现实(Augmented Reality，AR)技术，是一种实时地计算摄像机影像的位置及角度并加上对应图像、视频、三维模型的技术，这种技术的目的是在屏幕上把虚拟世界融入现实世界并进行互动。其中，ARKit是一种开发框架，用于提供AR开发平台。
[0003]相关技术中，ARKit需要通过摄像设备实时捕捉用户的表情数据，进而利用该表情数据来驱动虚拟形象(例如，游戏人物形象)做出与用户相同的表情，实现增强现实。
技术实现思路
[0004]提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开提供一种动画生成方法，包括：
[0006]获取输入文本；
[0007]生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；
[0008]根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；
[0009]基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画。
[0010]第二方面，本公开提供一种动画生成装置，包括：
[0011]文本获取模块，用于获取输入文本；
[0012]第一生成模块，用于生成与所述输入文本对应的目标音素序列，其中，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；
[0013]确定模块，用于根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；
[0014]第二生成模块，用于基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画。
[0015]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面中所述动画生成方法的步骤。
[0016]第四方面，本公开提供一种电子设备，包括：
[0017]存储装置，其上存储有一个或多个计算机程序；
[0018]一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现第一方面中所述动画生成方法的步骤。
[0019]通过上述技术方案，获取输入文本；生成与输入文本对应的目标音素序列，目标音素序列包括与输入文本对应的音频中的每个音频帧对应的音素；根据目标音素序列，确定与目标音素序列对应的表情动画曲线，表情动画曲线用于表征随时间变化的表情变化过程；基于表情动画曲线对预设的虚拟形象进行渲染，生成虚拟形象的动画。基于文本和音频来确定表情动画曲线，并以此对预设的虚拟形象进行渲染，实现了无需通过摄像设备来实时捕捉用户的表情数据来驱动虚拟形象的目的。
[0020]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0021]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0022]图1是根据本公开一示例性实施例示出的一种动画生成方法的流程图。
[0023]图2是根据本公开一示例性实施例示出的一种特征提取网络的结构图。
[0024]图3是根据本公开一示例性实施例示出的一种动画生成装置的框图。
[0025]图4是根据本公开一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
[0026]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0027]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0028]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0029]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0030]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0031]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0032]相关技术中，ARKit主要用于实时捕捉收集从用户的面部3D(3Dimensions，三维)信息，面部3D信息是随着时间变化的表情参数，根据该面部3D信息可以制作3D虚拟形象动画。
[0033]图1是根据本公开一示例性实施例示出的一种动画生成方法的流程图。该动画生
成方法可以应用于电子设备，该动画生成方法包括以下步骤：
[0034]步骤101，获取输入文本。
[0035]在一些实施例中，电子设备可以主动获取输入文本，也可以被动接收输入文本。例如，电子设备可以通过有线或无线方式从与电子设备连接的其他设备获取输入文本。
[0036]在一些实施例中，输入文本可以是预先存储在电子设备的文本，也可以是实时生成的文本，也可以是从网络中爬取到的文本。本实施例在此不作限定。
[0037]在一些实施例中，输入文本可以是中文文本，也可以是除中文以外的其他语言(例如英文)的文本
[0038]步骤102，生成与输入文本对应的目标音素序列，目标音素序列包括与输入文本对应的音频中的每个音频帧对应的音素。
[0039]其中，音素是语音中最小的单位。不同语言对应的音素不同。以中文为例，可以理解的是，一个字包括一个或多个音素，对应地，音素序列是按输入文字中各字排列顺序和各字中所包括音素排列顺序得到的序列。
[0040]示例地，以输入文本为“普通话”为例，对应的，音素序列＝[p，u，t，o，ng，h，u，a]。
[0041本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种动画生成方法，其特征在于，包括：获取输入文本；生成与所述输入文本对应的目标音素序列，所述目标音素序列包括与所述输入文本对应的音频中的每个音频帧对应的音素；根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，所述表情动画曲线用于表征随时间变化的表情变化过程；基于所述表情动画曲线对预设的虚拟形象进行渲染，生成所述虚拟形象的动画。2.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：获取预配置的与所述输入文本对应的音素帧数序列，所述音素帧数序列中包括与所述输入文本对应的音素序列中每个音素的音频帧数；根据所述音素序列中每个音素的音频帧数，对所述音素序列中每个音素的个数进行扩展，生成与所述输入文本对应的目标音素序列。3.根据权利要求1所述的动画生成方法，其特征在于，所述生成与所述输入文本对应的目标音素序列，包括：获取与所述输入文本对应的音频；根据所述输入文本和所述音频，采用训练好的语音识别模型，生成与所述输入文本对应的目标音素序列。4.根据权利要求3所述的动画生成方法，其特征在于，所述语音识别模型通过以下方式训练得到：获取多个第一样本，每个所述第一样本包括样本文本、与所述样本文本对应的样本音频和样本目标音素序列，所述样本目标音素序列包括与所述样本音频中每个音频帧对应的音素；基于多个第一样本迭代更新初始语音识别模型的参数以减小各第一样本对应的第一损失函数值，得到训练好的语音识别模型；其中，各第一样本对应的第一损失函数值通过以下过程确定：根据语音识别模型对所述第一样本进行处理，得到预测目标音素序列；基于所述预测目标音素序列和所述第一样本的样本目标音素序列的差异，确定所述第一样本对应的第一损失函数值。5.根据权利要求1
‑
4任一所述的动画生成方法，其特征在于，所述根据所述目标音素序列，确定与所述目标音素序列对应的表情动画曲线，包括：根据表情预测模型对所述目标音素序列进行处理，得到所述目标音素序列中每个音素的各表情类别的权重；针对所述目标音素序列中的每个音素，对该音素的各表情类别的权重进行加权，并基于加权结果确定与该音素对应的目标表情参数；根据所述目标音素序列中所有音素的目标表情参数，确定与所述目标音素序列对应的表情动画曲线。6.根据权利要求5所述的动画生成方法，其特征在于，所述表情预测模型包括特征提取网络和线性网络，所述根据表情预测模型对所述目标音素序列进行处理，得到所述目标音
素序列中每个音素的各表情类别的权重，包括：根据所述特征提取网络对所述目标音素序列进行处理，得到所述目标音素序列的目标特征向量；根据所述线性...
【专利技术属性】
技术研发人员：毕成，马泽君，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。