视频生成方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种视频生成方法、装置、电子设备及存储介质，该方法包括：分别从多个数据源中获取当前时间点的数据，得到数据组件集合，所述数据组件集合包括多类数据组件，每类所述数据组件包括虚拟对象驱动数据或视频关联数据；获取多个所述数据源分别对应的优先级和初始权重；针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，得到合成后的数据组件集合；根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成当前时间点的视频数据。本公开实现了使用多个数据源的数据来对虚拟对象进行控制，解决了相关技术中只能使用单一数据源来实现虚拟对象视频的问题。象视频的问题。象视频的问题。

【技术实现步骤摘要】
视频生成方法、装置、电子设备及存储介质


[0001]本公开涉及互联网
，尤其涉及一种视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]在虚拟对象(如虚拟人物)的直播中，虚拟对象的实现较为重要。虚拟对象一般可以通过两种方式来实现，分别是图像深度合成的虚拟对象以及骨骼驱动的虚拟对象。对于图像深度合成的虚拟对象，直播图像可以直接由深度学习网络生成，一般由服务器直接在后台生成图像并推流；对于骨骼驱动的虚拟对象，由骨骼数据驱动，通过实时三维渲染得到图像。
[0003]骨骼驱动的虚拟对象一般也分为两种：一种由中之人驱动，进行现场表演，中间可能插入录播片段；另一种是全部基于已有的动作库进行实时的动作合成，可能由服务器合成或者客户端本地合成。这两种方式都是使用单一的数据来源得到虚拟对象的视频图像，无法满足需求。

技术实现思路

[0004]本公开提供一种视频生成方法、装置、电子设备及存储介质，以至少解决相关技术中使用单一数据来源实现虚拟对象视频的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种视频生成方法，包括：
[0006]分别从多个数据源中获取当前时间点的数据，得到数据组件集合，所述数据组件集合包括多类数据组件，每类所述数据组件包括虚拟对象驱动数据或视频关联数据；
[0007]获取多个所述数据源分别对应的优先级和初始权重；
[0008]针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，得到合成后的数据组件集合；
[0009]根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据。
[0010]可选的，所述针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，包括：
[0011]针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，根据多个所述数据源分别对应的初始权重，依次确定该类数据组件中所涉及的每个所述数据源的目标权重；
[0012]根据每个所述数据源的目标权重，对该类数据组件中所涉及数据源的数据进行加权求和，得到合成后的数据组件。
[0013]可选的，所述针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，根据多个所述数据源分别对应的初始权重，依次确定该类数据组件中所涉及的每个所述数据源的目标权重，包括：
[0014]针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，将第一个数据源的初始权重确定为第一个数据源的目标权重；
[0015]根据所述第一个数据源的目标权重确定其他数据源的剩余权重，并根据所述剩余权重依次确定该类数据组件中所涉及的每个其他数据源的目标权重。
[0016]可选的，所述根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据，包括：
[0017]根据所述合成后的数据组件集合中合成后的虚拟对象驱动数据，对所述虚拟对象进行驱动，生成所述当前时间点的视频帧图像。
[0018]可选的，所述视频关联数据包括音频数据；
[0019]所述根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据，还包括：
[0020]根据所述合成后的数据组件集合中合成后的音频数据和所述视频帧图像，生成所述当前时间点的视频数据。
[0021]可选的，所述虚拟对象驱动数据包括骨骼驱动数据和/或表情驱动数据。
[0022]可选的，所述根据所述合成后的数据组件集合中合成后的虚拟对象驱动数据，对所述虚拟对象进行驱动，生成所述当前时间点的视频帧图像，包括：
[0023]根据所述合成后的数据组件集合中合成后的骨骼驱动数据，对虚拟对象的骨骼进行驱动，确定所述视频帧图像中的虚拟对象姿势；和/或
[0024]根据所述合成后的数据组件集合中合成后的表情驱动数据，对所述虚拟对象的表情进行驱动，确定所述视频帧图像中的虚拟对象表情。
[0025]根据本公开实施例的第二方面，提供一种视频生成装置，包括：
[0026]数据组件获取模块，被配置为执行分别从多个数据源中获取当前时间点的数据，得到数据组件集合，所述数据组件集合包括多类数据组件，每类所述数据组件包括虚拟对象驱动数据或视频关联数据；
[0027]配置数据获取模块，被配置为执行获取多个所述数据源分别对应的优先级和初始权重；
[0028]数据合成模块，被配置为执行针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，得到合成后的数据组件集合；
[0029]视频生成模块，被配置为执行根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据。
[0030]可选的，所述数据合成模块包括：
[0031]目标权重确定单元，被配置为执行针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，根据多个所述数据源分别对应的初始权重，依次确定该类数据组件中所涉及的每个所述数据源的目标权重；
[0032]数据合成单元，被配置为执行根据每个所述数据源的目标权重，对该类数据组件中所涉及数据源的数据进行加权求和，得到合成后的数据组件。
[0033]可选的，所述目标权重确定单元被配置为执行：
[0034]针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的
顺序，将第一个数据源的初始权重确定为第一个数据源的目标权重；
[0035]根据所述第一个数据源的目标权重确定其他数据源的剩余权重，并根据所述剩余权重依次确定该类数据组件中所涉及的每个其他数据源的目标权重。
[0036]可选的，所述视频生成模块包括：
[0037]虚拟对象驱动单元，被配置为执行根据所述合成后的数据组件集合中合成后的虚拟对象驱动数据，对所述虚拟对象进行驱动，生成所述当前时间点的视频帧图像。
[0038]可选的，所述视频关联数据包括音频数据；
[0039]所述视频生成模块还包括：
[0040]视频生成单元，被配置为执行根据所述合成后的数据组件集合中合成后的音频数据和所述视频帧图像，生成所述当前时间点的视频数据。
[0041]可选的，所述虚拟对象驱动数据包括骨骼驱动数据和/或表情驱动数据。
[0042]可选的，所述虚拟对象驱动单元被配置为执行：
[0043]根据所述合成后的数据组件集合中合成后的骨骼驱动数据，对虚拟对象的骨骼进行驱动，确定所述视频帧图像中的虚拟对象姿势；和/或
[0044]根据所述合成后的数据组件集合中合成后的表情驱动数据，对所述虚拟对象的表情进行驱动，确定所述视频帧图像中的虚拟对象表情。
[0045]根据本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：分别从多个数据源中获取当前时间点的数据，得到数据组件集合，所述数据组件集合包括多类数据组件，每类所述数据组件包括虚拟对象驱动数据或视频关联数据；获取多个所述数据源分别对应的优先级和初始权重；针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，得到合成后的数据组件集合；根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据。2.根据权利要求1所述的方法，其特征在于，所述针对每类所述数据组件，根据多个所述数据源分别对应的优先级和初始权重，对所述数据组件中对应多个所述数据源的数据进行合成，包括：针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，根据多个所述数据源分别对应的初始权重，依次确定该类数据组件中所涉及的每个所述数据源的目标权重；根据每个所述数据源的目标权重，对该类数据组件中所涉及数据源的数据进行加权求和，得到合成后的数据组件。3.根据权利要求2所述的方法，其特征在于，所述针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，根据多个所述数据源分别对应的初始权重，依次确定该类数据组件中所涉及的每个所述数据源的目标权重，包括：针对每类所述数据组件，按照该类数据组件中所涉及数据源的优先级从高到低的顺序，将第一个数据源的初始权重确定为第一个数据源的目标权重；根据所述第一个数据源的目标权重确定其他数据源的剩余权重，并根据所述剩余权重依次确定该类数据组件中所涉及的每个其他数据源的目标权重。4.根据权利要求1所述的方法，其特征在于，所述根据所述合成后的数据组件集合，对虚拟对象进行驱动，生成所述当前时间点的视频数据，包括：根据所述合成后的数据组件集合中合成后的虚拟对象驱动数据，对所述虚拟对象进行驱动，生成所述当前时间点的视频帧图像。5.根据权利要求4所述的...

【专利技术属性】
技术研发人员：朱恬倩，施侃乐，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：