虚拟形象驱动及模型训练方法技术

本公开提供了一种虚拟形象驱动及模型训练方法

【技术实现步骤摘要】
虚拟形象驱动及模型训练方法、装置、设备和存储介质


[0001]本公开涉及人工智能
，具体为增强现实
、
虚拟现实
、
计算机视觉
、
深度学习
、
大模型等
，可应用于元宇宙
、
虚拟数字人等场景，尤其涉及一种虚拟形象驱动及模型训练方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]随着人工智能技术的发展，二维
(2D)
或三维
(3D)
的数字人得以广泛应用，如虚拟主播
、
虚拟客服
、
虚拟偶像等
。
[0003]大模型具有优越的自然语言处理能力，能够增强数字人与用户之间的对话交互能力
。
[0004]针对数字人，如何进行更流畅的动作驱动是需要解决的问题
。

技术实现思路

[0005]本公开提供了一种虚拟形象驱动方法
、
装置
、
设备和存储介质
。
[0006]根据本公开的一方面，提供了一种虚拟形象驱动方法，包括：确定虚拟形象的驱动信息，所述驱动信息包括：目标动作；基于预先生成的基底视频和所述目标动作，生成初始动作参数序列；对所述初始动作参数序列进行重建处理，以生成目标动作参数序列；基于所述目标动作参数序列，驱动所述虚拟形象执行对应动作
。
[0007]根据本公开的另一方面，提供了一种序列重建模型的训练方法，所述序列重建模型包括：编码器和解码器，所述方法包括：采用所述编码器，对真实动作参数序列进行编码处理，以获得中间表征；采用所述解码器，对所述中间表征进行解码处理，以获得预测动作参数序列；基于所述真实动作参数序列获得真实时间相关损失函数，基于所述预测动作参数序列获得预测时间相关损失函数；基于所述真实时间相关损失函数和所述预测时间相关损失函数，构建总损失函数；采用所述总损失函数，调整所述编码器的模型参数和所述解码器的模型参数
。
[0008]根据本公开的另一方面，提供了一种虚拟形象驱动装置，包括：确定模块，用于确定虚拟形象的驱动信息，所述驱动信息包括：目标动作；生成模块，用于基于预先生成的基底视频和所述目标动作，生成初始动作参数序列；重建模块，用于对所述初始动作参数序列进行重建处理，以生成目标动作参数序列；动作驱动模块，用于基于所述目标动作参数序列，驱动所述虚拟形象执行对应动作
。
[0009]根据本公开的另一方面，提供了一种序列重建模型的训练装置，所述序列重建模型包括：编码器和解码器，所述装置包括：编码模块，用于采用所述编码器，对真实动作参数序列进行编码处理，以获得中间表征；解码模块，用于采用所述解码器，对所述中间表征进行解码处理，以获得预测动作参数序列；获取模块，用于基于所述真实动作参数序列获得真实时间相关损失函数，基于所述预测动作参数序列获得预测时间相关损失函数；构建模块，用于基于所述真实时间相关损失函数和所述预测时间相关损失函数，构建总损失函数；调
整模块，用于采用所述总损失函数，调整所述编码器的模型参数和所述解码器的模型参数
。
[0010]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法
。
[0011]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法
。
[0012]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法
。
[0013]根据本公开的技术方案，可以提升目标表情模型的精准度
。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0015]附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0016]图1是根据本公开第一实施例的示意图；
[0017]图2是根据本公开实施例提供的应用场景的示意图；
[0018]图3是根据本公开第二实施例的示意图；
[0019]图4是根据本公开第三实施例的示意图；
[0020]图5是根据本公开第四实施例的示意图；
[0021]图6是根据本公开第五实施例的示意图；
[0022]图7是用来实现本公开实施例的虚拟形象驱动方法或序列重建模型的训练方法的电子设备的示意图
。
具体实施方式
[0023]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的
。
因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神
。
同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述
。
[0024]相关技术中，数字人进行动作驱动时，动作与动作之间用空闲
(idel)
态
(
例如静止不动的标准站姿
)
的帧进行连接
。
这样的方案也能实现智能动作表情，但由于都是
idel
态帧连接，整体数字人看起来会比较呆板，而且由于
idel
态帧的限制，每一个动作都要从
idel
态开始，并且最终要回到
idel
态，这无疑会让数字人看起来更加呆板
。
[0025]为了提升虚拟形象的动作流畅性，本公开提供如下实施例
。
[0026]图1是根据本公开第一实施例的示意图
。
本实施例提供一种虚拟形象驱动方法，该方法包括：
[0027]101、
确定虚拟形象的驱动信息，所述驱动信息包括：目标动作
。
[0028]102、
基于预先生成的基底视频和所述目标动作，生成初始动作参数序列
。
[0029]103、
对所述初始动作参数序列进行重建处理，以生成目标动作参数序列
。
[0030]104、
基于所述目标动作参数序列，驱动所述虚拟形象执行对应动作
。
[0031]其中，虚拟形象可以是人的形象
(
数字人
)、
卡通动物形象等
。
以虚拟形象是数字人为例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟形象驱动方法，包括：确定虚拟形象的驱动信息，所述驱动信息包括：目标动作；基于预先生成的基底视频和所述目标动作，生成初始动作参数序列；对所述初始动作参数序列进行重建处理，以生成目标动作参数序列；基于所述目标动作参数序列，驱动所述虚拟形象执行对应动作
。2.
根据权利要求1所述的方法，其中，所述确定虚拟形象的驱动信息，包括：采用大模型，对问题文本进行处理，以确定所述问题文本对应的回复文本，以及所述回复文本对应的驱动信息
。3.
根据权利要求1所述的方法，其中，所述驱动信息还包括：目标动作时间；所述基于预先生成的基底视频和所述目标动作，生成初始动作序列，包括：在所述基底视频包括的多个基底图像中，确定所述目标动作时间对应的基底图像之外的其他基底图像；获取所述其他基底图像对应的基底动作参数；将所述基底动作参数和所述目标动作对应的目标动作参数，组成所述初始动作参数序列
。4.
根据权利要求1所述的方法，其中，所述对所述初始动作参数序列进行重建处理，以生成目标动作参数序列，包括：采用预先训练的序列重建模型，对输入的所述初始动作参数序列进行重建处理，以输出所述目标动作参数序列
。5.
根据权利要求4所述的方法，其中，所述序列重建模型包括：编码器和解码器；所述采用预先训练的序列重建模型，对输入的所述初始动作参数序列进行重建处理，以输出所述目标动作参数序列，包括：采用所述编码器，对输入的所述初始动作参数序列进行编码处理，以获得中间表征；采用所述解码器，对所述中间特征进行解码处理，以输出所述目标动作参数序列
。6.
根据权利要求4所述的方法，其中，所述序列重建模型是基于总损失函数训练的，所述总损失函数是基于速度损失函数和
/
或加速度损失函数构建的
。7.
根据权利要求1‑6任一项所述的方法，其中，所述驱动信息还包括：目标表情；所述方法还包括：基于所述目标表情对应的目标表情参数，对所述虚拟形象进行表情驱动
。8.
根据权利要求7所述的方法，其中，所述基于所述目标表情对应的目标表情参数，对所述虚拟形象进行表情驱动，包括：在预设的目标表情时间，基于所述目标表情对应的目标表情参数，对所述虚拟形象进行表情驱动
。9.
一种序列重建模型的训练方法，所述序列重建模型包括：编码器和解码器，所述方法包括：采用所述编码器，对真实动作参数序列进行编码处理，以获得中间表征；
采用所述解码器，对所述中间表征进行解码处理，以获得预测动作参数序列；基于所述真实动作参数序列获得真实时间相关损失函数，基于所述预测动作参数序列获得预测时间相关损失函数；基于所述真实时间相关损失函数和所述预测时间相关损失函数，构建总损失函数；采用所述总损失函数，调整所述编码器的模型参数和所述解码器的模型参数
。10.
根据权利要求9所述的方法，其中，所述真实时间相关损失函数包括：真实速度损失函数和
/
或真实加速度损失函数，所述预测时间相关损失函数包括：预测速度损失函数和
/
或预测加速度损失函数
。11.
一种虚拟形象驱动装置，包括：确定模块，用于确定虚拟形象的驱动信息，所述驱动信息包括：目标动作；生成模块，用于基于预先生成的基底视频和所述目标动作，生成初始动作参数序列；重建模块，用于对所述初始动作参数序列进行重建处理，以生成目标动作参数序列；动作驱动模块，用于基于所述目标动作参数序列，驱动所述虚拟形象执行对应动作
。12.
根据权利要求
11
所述的装置，其中，所述确定...

【专利技术属性】
技术研发人员：陈毅，赵亚飞，范锡睿，杜宗财，王志强，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：