虚拟数字人处理方法、模型训练方法及其装置制造方法及图纸

本申请公开了一种虚拟数字人处理方法、模型训练方法及其装置，涉及增强现实技术及深度学习技术等人工智能领域。具体实现方案为：获取参考角色的关键点图像序列；根据关键点图像序列中各关键点数据，确定虚拟数字人投影到二维空间时与各关键点数据对应的虚拟数字人关键点数据；根据虚拟数字人关键点数据，获取虚拟数字人的骨骼旋转系数序列；根据骨骼旋转系数序列，驱动虚拟数字人进行相应动作。本申请可以为用户提供了低成本且友好的驱动方案，极大地降低了前期设备投入成本。大地降低了前期设备投入成本。大地降低了前期设备投入成本。

【技术实现步骤摘要】
虚拟数字人处理方法、模型训练方法及其装置


[0001]本申请涉及图像处理领域，尤其涉及增强现实技术及深度学习技术等人工智能领域，特别的涉及一种虚拟数字人处理方法、虚拟数字人模型的训练方法及其装置。

技术介绍

[0002]真人三维(3D)数字人驱动一直是学术界的研究热点，并有着广泛的工业应用，最为常见的应用领域有虚拟主播、虚拟客服、虚拟助理、虚拟教室、虚拟偶像以及其他互动游戏和娱乐等。
[0003]相关技术中，通过商业软件搭建动捕棚以使用光学动捕的方式，或者，利用穿戴传感器设备使用惯性动捕软件捕捉人体的运动，以实时驱动数字人肢体运动。
[0004]然而，基于光学动捕或惯性动捕的方案，需要依赖昂贵的采集设备、高配的电脑硬件、复杂繁重的解算流程，导致很难具有普用性。

技术实现思路

[0005]本申请提供了一种虚拟数字人处理方法、虚拟数字人生成模型的训练方法、装置、电子设备以及存储介质。
[0006]根据本申请的第一方面，提供了一种虚拟数字人处理方法，包括：
[0007]获取参考角色的关键点图像序列；...

【技术保护点】

【技术特征摘要】
1.一种虚拟数字人处理方法，包括：获取参考角色的关键点图像序列；根据所述关键点图像序列中各关键点数据，确定所述虚拟数字人投影到二维空间时与所述各关键点数据对应的虚拟数字人关键点数据；根据所述虚拟数字人关键点数据，获取所述虚拟数字人的骨骼旋转系数序列；根据所述骨骼旋转系数序列，驱动所述虚拟数字人进行相应动作。2.如权利要求1所述的方法，其中，还包括：显示可视化编辑界面；基于所述可视化编辑界面，接收对所述关键点图像序列之中至少部分关键点图像的编辑操作；根据所述编辑操作对对应的关键点图像进行相应处理，以获得经过编辑后的所述关键点图像序列。3.如权利要求1或2所述的方法，其中，所述根据所述关键点图像序列中各关键点数据，确定所述虚拟数字人投影到二维空间时与所述各关键点数据对应的虚拟数字人关键点数据，包括：根据所述关键点图像序列中的T型姿势图，确定所述T型姿势图之中所述参考角色的身材比例信息；确定所述虚拟数字人的人体各关节的比例信息；根据所述关键点图像序列中各关键点数据，确定所述虚拟数字人投影到二维空间时与所述各关键点数据对应的虚拟数字人关键点数据；根据所述参考角色的身材比例信息和所述虚拟数字人的人体各关节的比例信息，更新所述虚拟数字人关键点数据。4.如权利要求3所述的方法，其中，所述更新的内容为所述虚拟数字人关键点数据中各个关键点连线的向量长度比例。5.如权利要求1或2所述的方法，其中，所述根据所述虚拟数字人关键点数据，获取所述虚拟数字人的骨骼旋转系数序列，包括：根据所述虚拟数字人关键点数据，确定与所述虚拟数字人关键点数据对应的动作编码向量；根据与所述虚拟数字人关键点数据对应的动作编码向量，获取所述虚拟数字人的骨骼旋转系数序列。6.如权利要求5所述的方法，其中，所述根据所述虚拟数字人关键点数据，确定与所述虚拟数字人关键点数据对应的动作编码向量，包括：将所述虚拟数字人关键点数据，输入至预设的虚拟数字人生成模型；其中，所述虚拟数字人生成模型已经学习得到关键点数据与骨骼旋转系数之间的映射关系，且所述虚拟数字人生成模型包括动作编码子模型和动作先验子模型；获取所述动作编码子模型输出的与所述虚拟数字人关键点数据对应的动作编码向量；所述根据与所述虚拟数字人关键点数据对应的动作编码向量，获取所述虚拟数字人的骨骼旋转系数序列，包括：将与所述虚拟数字人关键点数据对应的动作编码向量输入至所述动作先验子模型，获
取所述虚拟数字人的骨骼旋转系数序列。7.一种虚拟数字人生成模型的训练方法，其中，所述虚拟数字人生成模型包括动作编码子模型和动作先验子模型；所述训练方法包括：获取动捕数据，并对所述动捕数据进行解析以获得虚拟数字人的第一骨骼旋转系数，并基于所述第一骨骼旋转系数训练变分自编码模型；所述变分自编码模型包括编码器、中间编码向量和解码器；将训练好的变分自编码模型中的所述中间编码向量和所述解码器，作为所述动作先验子模型；基于参考角色样本的关键点图像序列，训练所述动作先验子模型，直至已训练的所述动作先验子模型满足预设条件，固定所述动作先验子模型的模型参数；获取训练数据；所述训练数据包括虚拟数字人的关键点数据和第二骨骼旋转系数；根据所述虚拟数字人的关键点数据和第二骨骼旋转系数，训练所述虚拟数字人生成模型，直至满足训练终止条件。8.如权利要求7所述的方法，其中，所述基于参考角色样本的关键点图像序列，训练所述动作先验子模型，包括：根据所述关键点图像序列和虚拟数字人的人体各关节的比例信息，获取所述虚拟数字人关键点数据；将所述虚拟数字人关键点数据输入至所述动作先验子模型，获得所述动作先验子模型输出的第一骨骼旋转系数预测值；将所述第一骨骼旋转系数预测值投影到二维空间，以获得所述虚拟数字人的关键点数据预测值；根据所述虚拟数字人关键点数据和所述关键点数据预测值，生成第一损失值；根据所述第一损失值，训练所述动作先验子模型。9.如权利要求8所述的方法，其中，所述根据所述关键点图像序列和虚拟数字人的人体各关节的比例信息，获取所述虚拟数字人关键点数据，包括：根据所述关键点图像序列中的T型姿势图，确定所述T型姿势图之中所述参考角色的身材比例信息；确定所述虚拟数字人的人体各关节的比例信息；根据所述关键点图像序列中各关键点数据，确定所述虚拟数字人投影到二维空间时与所述各关键点数据对应的虚拟数字人关键点数据；根据所述参考角色的身材比例信息和所述虚拟数字人的人体各关节的比例信息，更新所述虚拟数字人关键点数据。10.如权利要求7至9中任一项所述的方法，其中，所述根据所述虚拟数字人的关键点数据和第二骨骼旋转系数，训练所述虚拟数字人生成模型，包括：将所述虚拟数字人的关键点数据输入至所述动作编码子模型，获得所述动作编码子模型输出的动作编码向量；将所述动作编码向量输入至所述动作先验子模型，获得所述动作先验子模型输出的第二骨骼旋转系数预测值；根据所述第二骨骼旋转系数预测值和所述第二骨骼旋转系数，生成第二损失值；
根据所述第二损失值，调整所述动作编码子模型的模型参数。11.如权利要求7所述的方法，其中，还包括：显示可视化编辑界面；基于所述可视化编辑界面，接收对所述关键点图像序列之中至少部分关键点图像的编辑操作；根据所述编辑操作对对应的关键点图像进行相应处理，以获得经过编辑后的所述关键点图像序列。12.一种虚拟数字人处理装置，包括：第一获取模块，用于获取参考角色的关键点图像序列；确定模块，用于根据所述关键点图像序列中各关键点数据，确定所述虚拟数字人投影到二维空间时与所述各关键点数据对应的虚拟数字人关键点数据；第二获取模块，用于根据所述虚拟数字人关键点数据，...

【专利技术属性】
技术研发人员：郭紫垣，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：