数字人视频生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种数字人视频生成方法、装置、电子设备及存储介质，该数字人视频生成方法包括：获取包含人脸的图像，获取人体动作序列；基于图像和人体动作序列，生成第一视频，第一视频包含N个视频帧；对第一视频中每个视频帧进行人脸检测，得到第一视频中每个视频帧的人脸掩膜；对图像进行人脸检测，得到图像的人脸掩膜；基于图像的人脸掩膜和音频语料，生成第二视频；第二视频包含N个视频帧，第二视频中的N个视频帧与第一视频中的N个视频帧一一对应；将第一视频中每个视频帧的人脸掩膜用第二视频中对应的视频帧进行替换，得到数字人视频，可以降低数字人视频的制作成本。可以降低数字人视频的制作成本。可以降低数字人视频的制作成本。

【技术实现步骤摘要】
数字人视频生成方法、装置、电子设备及存储介质


[0001]本申请涉及计算机视觉
，具体涉及一种数字人视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]数字人主播有着广泛的应用市场和巨大的潜在价值，目前有两种生成数字人视频的方式，一种是动嘴不动身体，另一种是身体和嘴一起动，前者与后者相比交互性差，但制作简单。后者在制作过程中需要录制一段主播的视频，成本较高。

技术实现思路

[0003]本申请实施例提供一种数字人视频生成方法、装置、电子设备及存储介质，可以降低数字人视频的制作成本。
[0004]本申请实施例的第一方面提供了一种数字人视频生成方法，包括：
[0005]获取包含人脸的图像，获取人体动作序列；
[0006]基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含N个视频帧；
[0007]对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；
[0008]对所述图像进行人脸检测，得到所述图像的人脸掩膜；
[0009]基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含N个视频帧，所述第二视频中的N个视频帧与所述第一视频中的N个视频帧一一对应；
[0010]将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。
[0011]本申请实施例的第二方面提供了一种数字人视频生成装置，包括：
[0012]获取单元，用于获取包含人脸的图像，获取人体动作序列；
[0013]生成单元，用于基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含N个视频帧；
[0014]检测单元，用于对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；
[0015]所述检测单元，还用于对所述图像进行人脸检测，得到所述图像的人脸掩膜；
[0016]所述生成单元，还用于基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含N个视频帧，所述第二视频中的N个视频帧与所述第一视频中的N个视频帧一一对应；
[0017]替换单元，用于将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。
[0018]本申请实施例的第三方面提供了一种电子设备，包括处理器和存储器，所述存储
器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
[0019]本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
[0020]本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
[0021]本申请实施例中，获取包含人脸的图像，获取人体动作序列；基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含N个视频帧；对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；对所述图像进行人脸检测，得到所述图像的人脸掩膜；基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含N个视频帧，所述第二视频中的N个视频帧与所述第一视频中的N个视频帧一一对应；将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。本申请实施例中，基于图像和人体动作序列，生成第一视频，第一视频可以包含人体的身体动作，基于图像的人脸掩膜和音频语料，生成第二视频，第二视频可以包含人体的嘴唇随音频语料的变化，将第一视频中每个视频帧的人脸掩膜用第二视频中对应的视频帧进行替换，使得到数字人视频既包含人体的身体动作，又包含人脸的嘴唇随音频语料的变化，只需要一张包含人脸的图像，即可生成身体和嘴唇联动的数字人视频，可以降低数字人视频的制作成本。
附图说明
[0022]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请实施例提供的一种数字人视频生成方法的流程示意图；
[0024]图2是本申请实施例提供的一种深度图序列的示意图；
[0025]图3是本申请实施例提供的一种骨骼关键点序列的示意图；
[0026]图4是本申请实施例提供的一种数字人视频生成方法的具体流程示意图；
[0027]图5为本申请实施例提供的一种数字人视频生成装置的结构示意图；
[0028]图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别
不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0031]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
[0032]本申请实施例所涉及到的电子设备可以包括手机、服务器、平板电脑、个人电脑、计算机等具有计算能力和数据处理能力的设备。
[0033]请参阅图1，图1是本申请实施例提供的一种数字人视频生成方法的流程示意图。如图1所示，该方法包括如下步骤。
[0034]101，电子设备获取包含人脸的图像，获取人体动作序列。
[0035]本申请实施例中，包含人脸的图像，该图像可以包含人的部分肢体或者全部肢体。例如，该图像可以是包含人脸的全身图像或者半身图像(即，上半身图像)。该图像中的人脸可以是正脸。步骤101中，获取包含人脸的图像，指的是一张图像。本申请实施例只需要一张图像，即可生成数字人视频。
[0036]其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字人视频生成方法，其特征在于，包括：获取包含人脸的图像，获取人体动作序列；基于所述图像和所述人体动作序列，生成第一视频，所述第一视频包含N个视频帧；对所述第一视频中每个视频帧进行人脸检测，得到所述第一视频中每个视频帧的人脸掩膜；对所述图像进行人脸检测，得到所述图像的人脸掩膜；基于所述图像的人脸掩膜和音频语料，生成第二视频；所述第二视频包含N个视频帧，所述第二视频中的N个视频帧与所述第一视频中的N个视频帧一一对应；将所述第一视频中每个视频帧的人脸掩膜用所述第二视频中对应的视频帧进行替换，得到数字人视频。2.根据权利要求1所述的方法，其特征在于，所述人体动作序列包括深度图序列或者骨骼关键点序列。3.根据权利要求1所述的方法，其特征在于，所述人体动作序列基于包含人体全身的视频得到。4.根据权利要求1所述的方法，其特征在于，所述基于所述图像和所述人体动作序列，生成第一视频，包括：基于第一视频合成算法、所述图像和所述人体动作序列，生成以所述图像为主体，动作与所述人体动作序列一致的第一视频。5.根据权利要求1所述的方法，其特征在于，所述基于所述图像的人脸掩膜和音频语料，生成第二视频，包括：基于第二视频合成算法、所述图像的人脸掩膜和音频语料，生成第二视频，所述第二视频中的唇形、嘴型和表情，与所述音频语料相对应。6.根据权利要求1所述的方法，其特征在于，所述音频语料的...

【专利技术属性】
技术研发人员：王凡祎，苏婧文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：