【技术实现步骤摘要】
一种数字人动作生产方法及装置
[0001]本说明书一个或多个实施例涉及虚拟数字人领域,尤其涉及一种数字人动作生产方法及装置
。
技术介绍
[0002]在现实世界中,人是核心,人与人的交流让世界变得丰富多彩
。
而在元宇宙中,数字人则扮演着相似的角色,作为元宇宙的载体,数字人技术受到了工业界和学术界的广泛关注
。
对于现实中的人来说,肢体动作
、
表情是彰显个性以及突显个人表现力的窗口
。
同样,为了让数字人能够像人一样活灵活现,更加具有表现力,就需要通过驱动技术来让数字人“动起来”。
[0003]数字人的驱动包含了唇形
、
表情以及肢体驱动,其中肢体驱动由于涉及关节多
、
复杂度高等问题,是其中开销最大的部分
。
肢体驱动的一个重要难点就是动作数据的获取,如何从数据量丰富且成本低廉的视频动捕数据中获取到数字人的驱动数据,是数字人驱动的关键问题
。
技术实现思路
[0004]本说明书一个或多个实施例描述了一种数字人动作生产方法及装置,旨在根据视频动捕数据对数字人的动作进行生成
。
[0005]第一方面,提供了一种数字人动作生产方法,包括:
[0006]获取真人影像数据所对应的包含人体的目标图像;
[0007]使用目标神经网络处理所述目标图像,所述目标神经网络包括特征提取层,注意力层和预测层,所述特征提取层用于提取反映各个图像元素与各个关节 ...
【技术保护点】
【技术特征摘要】
1.
一种数字人动作生产方法,包括:获取真人影像数据所对应的包含人体的目标图像;使用目标神经网络处理所述目标图像,所述目标神经网络包括特征提取层,注意力层和预测层,所述特征提取层用于提取反映各个图像元素与各个关节关系的关节特征,以及各个图像元素的姿态特征;所述注意力层用于基于所述关节特征对姿态特征进行注意力处理,得到目标特征,所述预测层用于基于所述目标特征,预测各个关节的旋转角;至少根据所述旋转角,生成标准的参数化人体模型的目标驱动文件;从若干数字人模型中获取第一数字人模型,根据所述目标驱动文件,将所述参数化人体模型动作重定向到所述第一数字人模型上;生成并存储所述第一数字人模型的第一驱动文件
。2.
根据权利要求1所述的方法,其中,所述影像数据使用无法采集深度信息的单目摄像头拍摄
。3.
根据权利要求1所述的方法,其中,所述影像数据为单人视频数据或图像数据;获取真人影像数据所对应的包含人体的目标图像,包括:将所述影像数据输入到目标检测模型中,确定包围所述人体的边界框;根据所述边界框裁剪所述影像数据,得到包含所述人体的目标图像
。4.
根据权利要求1所述的方法,其中,所述影像数据为多人视频数据;获取真人影像数据所对应的包含人体的目标图像,包括:将所述影像数据输入到目标追踪模型中,确定包围所述多人中任一人体的边界框;根据所述边界框裁剪所述影像数据,得到包含所述人体的目标图像
。5.
根据权利要求1所述的方法,其中,所述关节特征包括各个图像元素对应的
J+1
维特征向量,所述
J+1
维特征向量表征图像元素属于预定的
J
个关节以及属于图像背景的概率
。6.
根据权利要求5所述的方法,其中,所述注意力层用于,基于各个图像元素对应的
J+1
维特征向量的前
J
维向量元素,确定各个图像元素的姿态特征的注意力权重,基于所述注意力权重处理所述姿态特征
。7.
根据权利要求1所述的方法,其中,所述目标特征中包含对应于
J
个关节的
J
个子特征,所述预测层包含实现为全连接层的第一网络层;基于所述目标特征,预测各个关节的旋转角,包括:将任一目标关节的子特征输入到所述第一网络层中,得到所述目标关节的关节旋转角
。8.
根据权利要求1所述的方法,其中,所述预测层包括第二网络层和第三网络层,所述第二网络层用于根据所述目标特征预测所述人体的身体形状参数,所述第三网络层用于根据所述目标特征预测人体在空间中的位置参数
。9.
...
【专利技术属性】
技术研发人员:朱帅,杨明晖,曹雨,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。