本申请公开了一种数字人骨骼驱动方法、装置、计算机设备及存储介质。该方法包括：获取具有骨骼的数字人模型和参考图像帧；对参考图像帧中的目标进行关键点检测，生成关键点检测结果，关键点检测结果中包括：多个关键点在目标中的位置参数；根据参考图像帧和关键点检测结果，采用预先训练的骨骼控制参数神经网络模型输出目标的骨骼控制参数；根据骨骼控制参数对数字人模型的骨骼进行驱动，得到目标数字人模型。本申请可以准确驱动数字人，并提高数字人驱动的扩展性和通用性。驱动的扩展性和通用性。驱动的扩展性和通用性。
【技术实现步骤摘要】
数字人骨骼驱动方法、装置、计算机设备及存储介质
[0001]本申请涉及计算机
，特别是涉及一种数字人骨骼驱动方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着互联网技术发展，数字人(Digital Human)或者虚拟人作为元宇宙的重要环节，当下受到了极大的重视。
[0003]驱动是数字人的灵魂，真人实时驱动是其中的重要方面，如何对数字人进行真实、生动驱动成为了一个具有研究和实践意义的课题。
[0004]现有的数字人驱动技术，一种方式是对创建的三维可形变模型进行驱动，这种方式所驱动的数字人的精细度欠佳；另一种方式需要将参考目标划分为不同的区域，利用控制器分别控制对应的区域，这种方式需要控制器的精准控制，对划分区域具有较强对的依赖，导致数字人驱动的扩展性和通用性受限。
技术实现思路
[0005]本申请为了克服现有技术的缺陷，提出了一种数字人骨骼驱动方法、装置、计算机设备及存储介质，以便准确驱动数字人，并提高数字人驱动的扩展性和通用性。
[0006]为实现上述目的，本申请采用的技术方案如下：
[0007]第一方面，本申请提供了一种数字人骨骼驱动方法，所述方法包括：
[0008]获取具有骨骼的数字人模型和参考图像帧；
[0009]对所述参考图像帧中的目标进行关键点检测，生成关键点检测结果，所述关键点检测结果中包括：多个关键点在所述目标中的位置参数；
[0010]根据所述参考图像帧和所述关键点检测结果，采用预先训练的骨骼控制参数神经网络模型输出所述目标的骨骼控制参数；
[0011]根据所述骨骼控制参数对所述数字人模型的骨骼进行驱动，得到目标数字人模型。
[0012]可选的，所述根据所述参考图像帧和所述关键点检测结果，采用预先训练的骨骼控制参数神经网络模型识别得到所述目标的骨骼控制参数之前，所述方法还包括：
[0013]获取具有骨骼的样本数字人模型和样本视频帧中的样本图像帧；
[0014]对所述样本图像帧中的样本目标进行关键点检测，生成样本关键点检测结果，所述样本关键点检测结果中包括：多个关键点在所述样本目标中的位置参数；
[0015]根据所述样本图像帧和所述样本关键点检测结果，采用初始神经网络模型识别得到所述样本目标的初始骨骼控制参数；
[0016]根据所述初始骨骼控制参数对所述样本数字人模型的骨骼进行驱动，得到目标样本数字人模型；
[0017]采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行
检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。
[0018]可选的，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，包括：
[0019]采用二维关键点检测方法分别对所述样本图像帧和所述目标样本数字人模型进行二维关键点检测，根据所述样本图像帧和所述目标样本数字人模型的二维关键点检测结果，计算第一损失函数；
[0020]根据所述第一损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。
[0021]可选的，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，还包括：
[0022]采用三维关键点检测方法分别对所述样本图像帧和所述目标样本数字人模型进行三维关键点检测，根据所述样本图像帧和所述目标样本数字人模型的三维关键点检测结果，计算第二损失函数；
[0023]根据所述第一损失函数和所述第二损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。
[0024]可选的，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，还包括：
[0025]采用微表情识别方法分别对所述样本图像帧和所述目标样本数字人模型进行微表情识别，根据所述样本图像帧和所述目标样本数字人模型的微表情识别结果，计算第三损失函数；
[0026]根据所述第一损失函数、所述第二损失函数和所述第三损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。
[0027]可选的，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，还包括：
[0028]根据所述样本视频帧中相邻两帧样本图像帧的三维关键点检测结果和相邻两帧目标样本数字人模型的三维关键点检测结果计算第四损失函数；
[0029]根据所述第一损失函数、所述第二损失函数、所述第三损失函数和第四损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。
[0030]可选的，所述根据所述第一损失函数、所述第二损失函数、所述第三损失函数和第四损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，包括：
[0031]根据所述第一损失函数、所述第二损失函数、所述第三损失函数和第四损失函数，以及第一权重系数、第二权重系数、第三权重系数和第四权重系数，计算总损失函数；
[0032]根据所述总损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数
神经网络模型。
[0033]第二方面，本申请实施例还提供一种数字人骨骼驱动装置，所述装置包括：
[0034]获取模块，用于获取具有骨骼的数字人模型和参考图像帧；
[0035]关键点检测模块，用于对所述参考图像帧中的目标进行关键点检测，生成关键点检测结果，所述关键点检测结果中包括：多个关键点在所述目标中的位置参数；
[0036]骨骼控制参数确定模块，用于根据所述参考图像帧和所述关键点检测结果，采用预先训练的骨骼控制参数神经网络模型输出所述目标的骨骼控制参数；
[0037]骨骼驱动模块，用于根据所述骨骼控制参数对所述数字人模型的骨骼进行驱动，得到目标数字人模型。
[0038]可选的，所述骨骼控制参数确定模块之前，所述装置还包括：
[0039]样本获取模块，用于获取具有骨骼的样本数字人模型和样本视频帧中的样本图像帧；
[0040]样本关键点检测模块，用于对所述样本图像帧中的样本目标进行关键点检测，生成样本关键点检测结果，所述样本关键点检测结果中包括：多个关键点在所述样本目标中的位置参数；
[0041]初始骨骼控制参数确定模块，用于根据所述样本图像帧和所述样本关键点检测结果，采用初始神经网络模型识别得到所述样本目标的初始骨骼控制参数；
[0042]样本骨骼驱动模块，用于根据所述初始骨骼控制参数对所述样本数字人模型的骨骼进行驱动，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数字人骨骼驱动方法，其特征在于，所述方法包括：获取具有骨骼的数字人模型和参考图像帧；对所述参考图像帧中的目标进行关键点检测，生成关键点检测结果，所述关键点检测结果中包括：多个关键点在所述目标中的位置参数；根据所述参考图像帧和所述关键点检测结果，采用预先训练的骨骼控制参数神经网络模型输出所述目标的骨骼控制参数；根据所述骨骼控制参数对所述数字人模型的骨骼进行驱动，得到目标数字人模型。2.如权利要求1所述的方法，其特征在于，所述根据所述参考图像帧和所述关键点检测结果，采用预先训练的骨骼控制参数神经网络模型识别得到所述目标的骨骼控制参数之前，所述方法还包括：获取具有骨骼的样本数字人模型和样本视频帧中的样本图像帧；对所述样本图像帧中的样本目标进行关键点检测，生成关键点检测结果，所述关键点检测结果中包括：多个关键点在所述样本目标中的位置参数；根据所述样本图像帧和所述样本关键点检测结果，采用初始神经网络模型识别得到所述样本目标的初始骨骼控制参数；根据所述初始骨骼控制参数对所述样本数字人模型的骨骼进行驱动，得到目标样本数字人模型；采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。3.如权利要求2所述的方法，其特征在于，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，包括：采用二维关键点检测方法分别对所述样本图像帧和所述目标样本数字人模型进行二维关键点检测，根据所述样本图像帧和所述目标样本数字人模型的二维关键点检测结果，计算第一损失函数；根据所述第一损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。4.如权利要求3所述的方法，其特征在于，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型，还包括：采用三维关键点检测方法分别对所述样本图像帧和所述目标样本数字人模型进行三维关键点检测，根据所述样本图像帧和所述目标样本数字人模型的三维关键点检测结果，计算第二损失函数；根据所述第一损失函数和所述第二损失函数对所述初始神经网络模型进行训练，得到所述骨骼控制参数神经网络模型。5.如权利要求4所述的方法，其特征在于，所述采用至少一个检测方法分别对所述样本图像帧和所述目标样本数字人模型进行检测，根据检测结果...
【专利技术属性】
技术研发人员：王远强，杨青，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。