一种虚拟形象合成方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种虚拟形象合成方法、装置、电子设备及存储介质。方法包括：获取与文本信息对应的音频；获取与音频对应的面部特征点序列；根据面部特征点序列获取视频；将音频和视频结合获得虚拟形象，并将虚拟形象通过不同的端口输出。通过获取与文本信息对应的音频，并通过音频获取视频，将音频和视频结合获取虚拟形象，从而在老师进行网上授课的过程中，可以根据所创建的虚拟形象通过不同的端口分别与学生进行互动，从而避免了重复操作，提高了老师的网上授课效率。

【技术实现步骤摘要】
一种虚拟形象合成方法、装置、电子设备及存储介质
本公开实施例涉及数据处理
，尤其涉及一种虚拟形象合成方法、装置、电子设备及存储介质。
技术介绍
随着网络技术的发展，网络授课得到越来越多的推广，网络授课相对于传统的授课方式，不需要老师以及学生花费较长的交通时间去到固定的场所，从而节省了老师以及学生的时间，并且由于不需要占用固定的场所，从而节省了社会资源。但是在网络授课的过程中，一个授课老师可能需要面对多个学生，在与学生进行互动的时候，针对同一句话在与多人分别进行互动的过程中可能需要进行多次重复的操作，从而降低了老师的网上授课效率。
技术实现思路
本公开实施例提供一种虚拟形象合成方法、装置、电子设备及存储介质，以实现采用所创建的虚拟形象进行网上授课的互动。第一方面，本公开实施例提供了一种虚拟形象合成方法，该方法包括：获取与文本信息对应的音频；获取与音频对应的面部特征点序列；根据面部特征点序列获取视频；将音频和视频结合获得虚拟形象，并将虚拟形象通过不同的端口输出。第二方面，本公开实施例还提供了一种虚拟形象合成装置，该装置包括：音频获取模块，用于获取与文本信息对应的音频；面部特征点序列获取模块，用于获取与音频对应的面部特征点序列；视频获取模块，用于根据面部特征点序列获取视频；虚拟形象输出模块，用于将音频和视频结合获得虚拟形象，并将虚拟形象通过不同的端口输出。第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本公开任意实施例的方法。第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任意实施例的方法。本公开实施例中，通过获取与文本信息对应的音频，并通过音频获取视频，将音频和视频结合获取虚拟形象，从而在老师进行网上授课的过程中，可以根据所创建的虚拟形象通过不同的端口分别与学生进行互动，从而避免了重复操作，提高了老师的网上授课效率。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1(a)是本公开实施例一提供的一种虚拟形象合成方法的流程图；图1(b)是本公开实施例一提供的面部特征点的示意图；图1(c)是本公开实施例一提供的面部标准模板的示意图；图1(d)是本公开实施例一提供的面部图像的示意图；图2是本公开实施例二提供的一种虚拟形象合成方法的流程图；图3是本公开实施例三提供的一种虚拟形象合成装置的结构示意图；图4是本公开实施例四提供的一种电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1是本公开实施例提供的虚拟形象合成方法的流程图，本实施例可适用于在网上授课的过程中采用虚拟形象进行互动的情况，该方法可以由本公开实施例提供的虚拟形象合成装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。本公开实施例的方法具体包括：可选的，如图1(a)所示，本公开实施例中的方法可以包括如下步骤：步骤101，获取与文本信息对应的音频。可选的，获取与文本信息对应的音频，可以包括：响应于检测到用户的输入指令，获取文本信息；确定文本信息对应的时长；将文本信息和时长输入预先训练的语音合成模型获取音频，其中，语音合成系统用于按照时长将文本信息转换为音频。具体的说，在本实施方式中，正在进行网上大班授课的老师如果在不影响其他学生正常上课的情况下，需要与指定的一个或多个学生进行互动时，可以采用触发虚拟形象创建的方式，采用所创建的虚拟形象与该指定的学生互动，而针对其他学生则仍然采用自己的真实形象进行网络授课。具体操作方式可以是，通过触发输入端口输入文本信息，终端会响应于检测到用户的输入指令，获取文本信息，例如，文本信息为“请注意听课”，并确定文本信息对应的时长。其中，确定时长的方式具体可以采用预选训练的时长预测模型，例如，将文本信息“请注意听课”输入时长预测模型，获得时长为3秒。当然，还可以通过提前设置时长列表，在时长列表中包含了每一个字节所对应的子时长，将文本信息中每一个字节所对应的子时长相加获取文本信息对应的时长。因此在确定文本信息对应的时长时可以采用模型的方式也可以采用查表的方式，本申请实施方式中并不对时长的具体获取方式进行限定。其中，在文本信息和时长已知的情况下，可以将文本信息和时长输入预先训练的语音合成模型获取音频，例如，将文本信息“请注意听课”和时长3秒输入语音合成模型，语音合成模型会按照3秒时长将文本信息“请注意听课”转换为音频。步骤102，获取与音频对应的面部特征点序列。可选的，获取与音频对应的面部特征点序列，可以包括：根据音频获取音频帧序列；将音频帧序列输入预先训练的特征点预测模型，获取面部特征点序列，其中，面部特征点序列中包含多组面部特征点，特征点预测模型用于确定每一个音频帧所对应的一组面部特征点。具体的说，在本实施方式中，在获取到音频后可以根据音频获取音频帧序列，例如，时长为3秒的音频“请注意听课”，确定包含100个音频帧，则将所获取的100个音频帧输入预先训练的特征点预测模型，获取面部特征点序列，本文档来自技高网...

【技术保护点】
1.一种虚拟形象合成方法，其特征在于，包括：/n获取与文本信息对应的音频；/n获取与所述音频对应的面部特征点序列；/n根据所述面部特征点序列获取视频；/n将所述音频和所述视频结合获得虚拟形象，并将所述虚拟形象通过不同的端口输出。/n

【技术特征摘要】
1.一种虚拟形象合成方法，其特征在于，包括：
获取与文本信息对应的音频；
获取与所述音频对应的面部特征点序列；
根据所述面部特征点序列获取视频；
将所述音频和所述视频结合获得虚拟形象，并将所述虚拟形象通过不同的端口输出。


2.根据权利要求1所述的方法，其特征在于，所述获取与文本信息对应的音频，包括：
响应于检测到用户的输入指令，获取所述文本信息；
确定所述文本信息对应的时长；
将所述文本信息和所述时长输入预先训练的语音合成模型获取所述音频，其中，所述语音合成系统用于按照所述时长将所述文本信息转换为所述音频。


3.根据权利要求1所述的方法，其特征在于，所述获取与所述音频对应的面部特征点序列，包括：
根据所述音频获取音频帧序列；
将所述音频帧序列输入预先训练的特征点预测模型，获取面部特征点序列，其中，所述面部特征点序列中包含多组面部特征点，所述特征点预测模型用于确定每一个音频帧所对应的一组面部特征点。


4.根据权利要求3所述的方法，其特征在于，所述将所述音频帧序列输入预先训练的特征点预测模型，获取面部特征点序列之前，还包括：
获取媒体文件，其中，所述媒体文件中包含样本音频以及同步播放的面部视频；
从所述音频中提取样本音频帧，以及从所述视频中提取与所述样本音频帧同步的样本视频帧；
提取所述样本视频帧中所包含的样本面部特征点；
根据所述样本音频帧和所述样本面部特征点对所述特征点预测模型进行训练。


5.根据权利要求1所述的方法，其特征在于，所述根据所述面部特征点序列获取视频，包括：
获取面部标准模板；
将每一组面部特征点添加到所述面部标准模板，获取每一...

【专利技术属性】
技术研发人员：顾宇，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11