虚拟人物的驱动方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供一种虚拟人物的驱动方法、装置、电子设备及可读存储介质，涉及计算机技术领域，该方法包括：将包含目标虚拟人的视觉特征的隐向量输入到生成器模型中，得到包含目标虚拟人的目标特征空间；基于目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场；通过多层感知机模型在目标动态神经辐射场内根据目标驱动信息驱动目标虚拟人，并生成目标视频。本申请提供的虚拟人物的驱动方法、装置、电子设备及可读存储介质，通过从驱动视频中提取人物的表情，姿态，动作等作为驱动信息，以信息流的方式将其导入到神经辐射场中，从而渲染出自由视角下的虚拟人的驱动视频。下的虚拟人的驱动视频。下的虚拟人的驱动视频。

【技术实现步骤摘要】
虚拟人物的驱动方法、装置、电子设备及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种虚拟人物的驱动方法、装置、电子设备及可读存储介质。

技术介绍

[0002]数字虚拟人是人工智能概念的具象化表现，直观地展现了人工智能与外界的交互能力。虚拟人在线上视频会议，聊天机器人，视频直播的发展中都占有重要的地位。
[0003]在相关技术中，可以通过2D
‑
GAN模型生成和驱动虚拟人，该方法生成的虚拟人具有较强的真实感，被广泛应用于虚拟人的生成和驱动环节。
[0004]然而，上述方法驱动的虚拟人缺少三维信息，当驱动虚拟人进行视角转换或者动作表情变化时，很容易出现前后特征不一致的问题，导致虚拟人形象失真。

技术实现思路

[0005]本申请的目的是提供一种虚拟人物的驱动方法、装置、电子设备及可读存储介质，通过从驱动视频中提取人物的表情，姿态，动作等作为驱动信息，以信息流的方式将其导入到神经辐射场中，从而渲染出自由视角下的虚拟人的驱动视频。
[0006]本申请提供一种虚拟人物的驱动方法，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人物的驱动方法，其特征在于，包括：将包含目标虚拟人的视觉特征的隐向量输入到生成器模型中，得到包含所述目标虚拟人的目标特征空间；基于所述目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场；通过所述多层感知机模型在所述目标动态神经辐射场内根据所述目标驱动信息驱动所述目标虚拟人，并生成目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场之前，所述方法还包括：使用注意力机制模型从所述驱动源中提取出所述目标驱动信息；其中，所述驱动源为包含第一虚拟人的视频；所述目标驱动信息包括以下至少一项：所述第一虚拟人的面部表情，所述第一虚拟人的动作，所述第一虚拟人的姿态。3.根据权利要求1所述的方法，其特征在于，所述通过所述多层感知机模型在所述目标动态神经辐射场内根据所述目标驱动信息驱动所述目标虚拟人，并生成目标视频，包括：所述多层感知机模型基于所述目标驱动信息将所述目标虚拟人映射到多个三维空间中；一个三维空间对应一个视频帧；对所述多个三维空间进行体渲染，得到多个视频帧，并基于所述多个视频帧生成所述目标视频；其中，所述多个视频帧包含所述目标虚拟人的连续动作。4.根据权利要求2所述的方法，其特征在于，所述生成器模型、所述多层感知机模型以及所述注意力机制模型的训练方法包括：通过所述注意力机制模型从目标样本视频中提取出长度为N的第一驱动信息，并将包含第二虚拟人的视觉特征的隐向量输入到所述生成器模型中，得到包含所述第二虚拟人的第一特征空间；基于所述第一特征空间、所述第一驱动信息以及所述多层感知机模型，构建第一动态神经辐射场；通过所述多层感知机模型在所述第一动态神经辐射场内根据所述第一驱动信息驱动所述第二虚拟人，生成包含多个视频帧的第一帧集合；通过判别器对所述第一帧集合中的每个视频帧进行判断，并根据判断结果调整所述生成器模型、所述多层感知机模型以及所述注意力机制模型的模型参数。5.根据权利要求4所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：余镇滔，任逍航，王宝元，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：