本公开提供一种视频合成模型的训练方法、视频合成方法、装置、存储介质、程序产品和电子设备，其中方法包括：获取样本文本以及样本视频，其中样本视频是真人朗读样本文本的视频；将样本文本输入语音合成子模型，得到特征向量；将特征向量输入语音重建人脸子模型，得到人脸特征参数；将人脸特征参数和样本视频输入可微分渲染子模型，得到人脸特征图；将人脸特征图输入生成式对抗网络子模型，得到虚拟真人视频，基于虚拟真人视频和样本视频，迭代训练语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，直至生成式对抗网络子模型的损失函数值满足预设条件。的损失函数值满足预设条件。的损失函数值满足预设条件。
【技术实现步骤摘要】
视频合成模型的训练方法、合成方法、装置、介质和设备
[0001]本专利技术涉及计算机
，尤其涉及一种视频合成模型的训练方法，视频合成模型的训练装置，视频合成方法，视频合成装置，以及实现视频合成模型的训练方法或者视频合成方法的存储有计算机程序的非瞬时计算机可读存储介质以及电子设备。
技术介绍
[0002]目前，随着深度学习技术的快速发展，基于文本驱动的视频生成技术渐渐成为了研究热点，其可以应用于天气播报，新闻播报，在线教育等领域。
[0003]相关技术中，基于文本驱动的视频生成技术通常采用多模型单独训练，比如，文本到语音合成使用一个语音合成子模型去单独训练，语音到人脸面部重建也使用单独的语音重建人脸子模型进行训练，重建的人脸面部到虚拟真人视频合成也使用单独的合成模型进行训练。
[0004]目前的多模型单独训练方式需要为各模型分别准备多个训练样本数据，训练效率低，且训练得到的基于文本驱动的视频合成模型基于文本生成的视频质量依然有待提高。
技术实现思路
[0005]根据本公开实施例的第一方面，提供了一种视频合成模型的训练方法，视频合成模型依次包括语音合成子模型、语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，所述方法包括：获取样本文本以及样本视频，其中样本视频是真人朗读样本文本的视频；将样本文本输入语音合成子模型，得到特征向量；将特征向量输入语音重建人脸子模型，得到人脸特征参数；将人脸特征参数和样本视频输入可微分渲染子模型，得到人脸特征图；将人脸特征图输入生成式对抗网络子模型，得到虚拟真人视频，基于虚拟真人视频和样本视频，迭代训练语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，直至生成式对抗网络子模型的损失函数值满足预设条件。
[0006]根据本公开实施例的第二方面，提供了一种视频合成模型的训练装置，视频合成模型依次包括语音合成子模型、语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，所述装置包括：数据获取模块，用于获取样本文本以及样本视频，其中样本视频是真人朗读样本文本的视频；语音合成模块，用于将样本文本输入语音合成子模型，得到特征向量；人脸重建模块，用于将特征向量输入语音重建人脸子模型，得到人脸特征参数；人脸渲染模块，用于将人脸特征参数和所述样本视频输入可微分渲染子模型，得到人脸特征图；生成训练模块，用于将人脸特征图输入生成式对抗网络子模型，得到虚拟真人视
频，基于虚拟真人视频和样本视频，迭代训练语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，直至生成式对抗网络子模型的损失函数值满足预设条件。
[0007]根据本公开实施例的第三方面，提供了一种视频合成方法，包括：接收待合成文本；将待合成文本输入视频合成模型，得到合成视频；其中，视频合成模型是本公开实施例的第一方面中任一实施例所述的方法训练得到的。
[0008]根据本公开实施例的第四方面，提供了一种视频合成装置，包括：接收模块，用于接收待合成文本；生成模块，用于将待合成文本输入视频合成模型，得到合成视频；其中，视频合成模型是本公开实施例的第一方面中任一实施例所述的方法训练得到的。
[0009]根据本公开实施例的第五方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行本公开实施例的第一方面中任一实施例所述的方法；或者，执行根据本公开实施例的第三方面中实施例所述的方法。
[0010]根据本公开实施例的第六方面，提供了一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序用于使计算机执行本公开实施例的第一方面中任一实施例所述的方法；或者，执行根据本公开实施例的第三方面中提供的所述的方法。
[0011]本申请实施例中提供的一个或多个技术方案，获取样本文本以及样本视频，其中样本视频是真人朗读样本文本的视频；将样本文本输入语音合成子模型，得到特征向量；将特征向量输入语音重建人脸子模型，得到人脸特征参数；将人脸特征参数和样本视频输入可微分渲染子模型，得到人脸特征图；将人脸特征图输入生成式对抗网络子模型，得到虚拟真人视频，基于虚拟真人视频和样本视频，迭代训练语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，直至生成式对抗网络子模型的损失函数值满足预设条件时结束训练。这样基于可微分渲染子模型将语音重建人脸子模型与生成式对抗网络子模型，以及语音合成子模型结合在一起，实现一体化的整体训练，无需多模型单独训练时分别准备多个训练样本数据的操作，训练效率提高，且增强了各个模型之间的关联性，减少单独训练各模型导致丢失部分特征信息的现象，使得训练得到的视频合成模型生成的视频质量如清晰度和/或逼真度等提高。
附图说明
[0012]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：图1示出了根据本公开示例性实施例的视频合成模型的训练方法的流程图；图2示出了根据本公开示例性实施例的视频合成模型的结构框图；图3示出了根据本公开另一示例性实施例的视频合成模型的结构框图；
图4示出了根据本公开另一示例性实施例的视频合成模型的训练方法的流程图；图5示出了根据本公开示例性实施例的视频合成模型的训练装置的示意性框图；图6示出了根据本公开示例性实施例的视频合成方法的流程图；图7示出了根据本公开示例性实施例的视频合成装置的示意性框图；图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0014]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0015]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0016]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0017]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频合成模型的训练方法，所述视频合成模型依次包括语音合成子模型、语音重建人脸子模型、可微分渲染子模型和生成式对抗网络子模型，所述方法包括：获取样本文本以及样本视频，其中，所述样本视频是真人朗读所述样本文本的视频；将所述样本文本输入语音合成子模型，得到特征向量；将所述特征向量输入语音重建人脸子模型，得到人脸特征参数；将所述人脸特征参数和所述样本视频输入可微分渲染子模型，得到人脸特征图；将所述人脸特征图输入生成式对抗网络子模型，得到虚拟真人视频；基于所述虚拟真人视频和所述样本视频，迭代训练所述语音重建人脸子模型、所述可微分渲染子模型和所述生成式对抗网络子模型，直至所述生成式对抗网络子模型的损失函数值满足预设条件。2.如权利要求1所述的视频合成模型的训练方法，其中，所述语音重建人脸子模型包括卷积神经网络，以及与所述卷积神经网络连接的第一全连接层和第二全连接层；并且其中，所述将所述特征向量输入语音重建人脸子模型，得到人脸特征参数，包括：将所述特征向量输入所述卷积神经网络，得到第一特征图；将所述第一特征图输入所述第一全连接层，得到第一人脸特征参数；将所述第一特征图输入所述第二全连接层，得到第二人脸特征参数，所述第二人脸特征参数与所述第一人脸特征参数不同。3.如权利要求2所述的视频合成模型的训练方法，其中，所述第一人脸特征参数包括人脸表情特征参数，所述第二人脸特征参数包括人脸姿态特征参数。4.如权利要求1~3任一项所述的视频合成模型的训练方法，其中，所述方法还包括：获取与所述样本文本对应的样本音频；并且其中，所述语音合成子模型是基于所述样本文本和所述样本音频训练得到的。5.如权利要求1~3任一项所述的视频合成模型的训练方法，其中，所述生成式对抗网络子模型中的生成器包括第一特征提取网络和/或第二特征提取网络，所述第一特征提取网络和所述第二特征提取网络的网络深度不同。6.如权利要求1~3任一项所述的视频合成模型的训练方法，其中，所述获取样本视频，包括：获取预先录制的真人朗读所述样本文本的原始视频，其中，所述原始视频包括多帧图像；对所述原始视频中的多帧图像分别进行图像分割处理，得到所述样本视频，其...
【专利技术属性】
技术研发人员：郎彦，高原，刘霄，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。