虚拟形象视频的生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种虚拟形象视频的生成方法、装置、电子设备和存储介质，该方法包括：获取待播报的目标文本，根据目标文本生成目标音频；获取与目标虚拟形象对应的动作变化数据集；将目标音频中各目标音素与各样本音素进行比对，根据比对结果从动作变化数据集中得到与各目标音素匹配的目标动作变化数据集；驱动目标虚拟形象执行与目标动作变化数据集对应的动作和执行与情绪标签匹配的表情，得到动作表情视频，其中，情绪标签与目标文本关联；将目标音频与动作表情视频融合，生成目标虚拟形象播报目标文本的目标视频，以此通过待播报的文本和相应的动作变化数据集即可生成目标虚拟形象的播报视频，从而实现了更加高效的生成虚拟形象视频。形象视频。形象视频。

【技术实现步骤摘要】
虚拟形象视频的生成方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，更具体地，涉及一种虚拟形象视频的生成方法、装置、电子设备和存储介质。

技术介绍

[0002]随着技术的发展和社会的需求，越来越多的虚拟形象被应用于日常生活场景中，例如新闻播报、聊天交互等，因此需要为虚拟形象配置面部表情、肢体语言等参数以提升虚拟形象与用户的交互体验。
[0003]现有技术中，通过真人动作捕捉、用户命令驱动以及人工配置动作或特定场景下的算法动作生成等配置方法生成虚拟形象视频，由于过于依赖人工操作以及特定场景下的配置，造成虚拟形象视频的生成效率低。
[0004]因此，如何更加高效的生成虚拟形象视频，是目前有待解决的技术问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本申请实施例提出了一种虚拟形象视频的生成方法、装置、电子设备和存储介质，用以更加高效的生成虚拟形象视频。
...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象视频的生成方法，其特征在于，所述方法包括：获取待播报的目标文本，根据所述目标文本生成目标音频；获取与目标虚拟形象对应的动作变化数据集，其中，所述动作变化数据集包括与样本语音中各样本音素对应的动作变化数据，所述动作变化数据为所述目标虚拟形象在播报各所述样本音素时产生的动作变化数据；将所述目标音频中各目标音素与各所述样本音素进行比对，根据比对结果从所述动作变化数据集中得到与各所述目标音素匹配的目标动作变化数据集；驱动所述目标虚拟形象执行与所述目标动作变化数据集对应的动作和执行与情绪标签匹配的表情，得到动作表情视频，其中，所述情绪标签与所述目标文本关联；将所述目标音频与所述动作表情视频融合，生成所述目标虚拟形象播报所述目标文本的目标视频。2.如权利要求1所述的方法，其特征在于，在驱动所述目标虚拟形象执行与所述目标动作变化数据集对应的动作和执行与情绪标签匹配的表情，得到动作表情视频之前，所述方法还包括：基于预训练双向编码表示模型确定所述目标文本中融合了语言先验知识的文本向量；将所述文本向量输入目标线性分类器，确定所述文本向量中的多个情绪类别；确定所述文本向量在各所述情绪类别中的概率，并将各所述情绪类别中最大概率的情绪类别作为所述情绪标签。3.如权利要求2所述的方法，其特征在于，在基于预训练双向编码表示模型确定所述目标文本中融合了语言先验知识的文本向量之前，所述方法还包括：获取深度自注意力网络；向所述深度自注意力网络输入大于预设数据量的无监督数据，并通过掩蔽语言模型和下句预测训练所述深度自注意力网络，训练完成后得到所述预训练双向编码表示模型。4.如权利要求1所述的方法，其特征在于，在得到动作表情视频之后，所述方法还包括：根据所述目标音频的语速对所述动作表情视频的播放速度进行调整，并在所述动作表情视频中存在异常视频帧时，对所述异常视频帧进行平滑补帧处理，其中，所述异常视频帧为满足预设衔接异常判定条件的相邻视频帧。5.如权利要求1所述的方法，其特征在于，所述获取与目标虚拟形象对应的动作变化数据集，包括：根据所述目标虚拟形象的形象描述参数确定所述目标虚拟形象所属的形象类型；根据所述形象类型和预设对应关系确定所述动作变化数据集，所述预设对应关系为不同预设形象类型和不同预设动作变化数据集之间的对应关系。6.如权利要求5...

【专利技术属性】
技术研发人员：沈中熙，钱晓亮，
申请(专利权)人：厦门黑镜科技有限公司，
类型：发明
国别省市：