虚拟形象的生成方法技术

本公开提供了虚拟形象的生成方法

【技术实现步骤摘要】
虚拟形象的生成方法、深度学习模型的训练方法及装置


[0001]本公开涉及人工智能
，尤其涉及计算机视觉
、
增强现实
、
虚拟现实
、
深度学习等
，具体涉及一种虚拟形象的生成方法
、
深度学习模型的训练方法及装置
。

技术介绍

[0002]数字虚拟人的目标是通过计算机图形学技术
(Computer Graphic
，
CG)
创造出与人类形象接近的数字化形象，并赋予其特定的人物身份设定，在视觉上拉近和人的心理距离，为用户带来更加真实的情感互动
。
[0003]随着数字虚拟人在各个领域的深入应用，人们对虚拟人的运动姿态与人类真实运动姿态的相似程度的要求越来越高
。

技术实现思路

[0004]本公开提供了一种虚拟形象的生成方法
、
深度学习模型的训练方法及装置
。
[0005]根据本公开的一方面，提供了一种虚拟形象的生成方法，包括：根据目标对象的初始姿态的骨骼点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟形象的生成方法，包括：根据目标对象的初始姿态的骨骼点特征和所述目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，其中，所述运动轨迹特征序列包括所述目标对象从所述初始姿态变换到所述目标姿态所需完成的多个过渡动作的骨骼点特征；对所述初始姿态的骨骼点特征
、
所述运动轨迹特征序列和所述目标姿态的骨骼点特征进行处理，生成动作特征序列，其中，所述动作特征序列用于驱动虚拟形象从所述初始姿态经过连续姿态变化得到所述目标姿态；以及对所述动作特征序列进行渲染，生成所述虚拟形象
。2.
根据权利要求1所述的方法，其中，所述根据目标对象的初始姿态的骨骼点特征和所述目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，包括：根据所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征，得到所述过渡动作的数量；以及基于所述过渡动作的数量，对所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征进行处理，得到所述运动轨迹特征序列
。3.
根据权利要求2所述的方法，其中，所述根据所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征，得到所述过渡动作的数量，包括：根据所述初始姿态的骨骼点特征，得到所述目标对象在所述初始姿态的状态下多个骨骼点的第一位置；根据所述目标姿态的骨骼点特征，得到所述目标对象在所述目标姿态的状态下多个骨骼点的第二位置；以及根据所述多个骨骼点的第一位置和所述多个骨骼点的第二位置，得到所述过渡动作的数量
。4.
根据权利要求3所述的方法，其中，所述根据所述多个骨骼点的第一位置和所述多个骨骼点的第二位置，得到所述过渡动作的数量，包括：按照骨骼点的标识，根据所述多个骨骼点的第一位置与对应的所述多个骨骼点的第二位置，得到目标骨骼点的位置差异，其中，所述目标骨骼点表征所述第一位置与所述第二位置之间的位置差异最大的骨骼点；以及根据所述目标骨骼点的位置差异和预定过渡参数，得到所述过渡动作的数量
。5.
根据权利要求2所述的方法，其中，所述过渡动作的数量为
I
，
I
为大于1的整数，所述基于所述过渡动作的数量，对所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征进行处理，得到所述运动轨迹特征序列，包括：针对第
i
个过渡动作，根据所述初始姿态的骨骼点特征
、
所述过渡动作的数量
、
所述过渡动作的次序和所述目标姿态的骨骼点特征，生成所述第
i
个过渡动作的骨骼点特征；在确定
i
小于
I
的情况下，返回执行生成所述第
i
个过渡动作的骨骼点特征的操作，并递增
i
；以及在确定
i
等于
I
的情况下，根据
I
个过渡动作的骨骼点特征，生成所述运动轨迹特征序列
。6.
根据权利要求1所述的方法，其中，所述对所述初始姿态的骨骼点特征
、
所述运动轨迹特征序列和所述目标姿态的骨骼点特征进行处理，生成动作特征序列，包括：
对所述初始姿态的骨骼点特征
、
所述运动轨迹特征序列和所述目标姿态的骨骼点特征进行拼接，生成待处理的骨骼点特征序列；以及基于注意力机制，对所述待处理的骨骼点特征序列进行处理，得到所述动作特征序列
。7.
根据权利要求6所述的方法，其中，所述基于注意力机制，对所述待处理的骨骼点特征序列进行融合，得到所述动作特征序列，包括：对所述待处理的骨骼点特征序列进行编码，得到编码后的特征序列；以及基于交叉注意力机制，对所述编码后的特征序列进行处理，得到所述动作特征序列
。8.
根据权利要求1所述的方法，其中，所述骨骼点特征用于表征所述目标对象的多个骨骼点的绝对位置和相邻关节上的多个骨骼点之间的相对位置
。9.
一种深度学习模型的训练方法，包括：对初始样本动作特征序列进行局部掩码，得到掩码动作特征序列，其中，所述初始样本动作特征序列包括样本对象从样本初始姿态经过连续姿态变化到样本目标姿态的样本骨骼点特征序列；对所述掩码动作特征序列进行编码，得到编码后的样本特征序列；基于注意力机制，对编码后的样本特征序列进行处理，得到融合特征序列，其中，所述融合特征序列包括所述样本对象从所述样本初始姿态经过连续姿态变化到样本目标姿态的预测骨骼点特征序列；基于目标损失函数，根据所述预测骨骼点特征序列和所述样本骨骼点特征序列，得到目标损失值；以及基于所述目标损失值，调整初始模型的模型参数，得到经训练的深度学习模型
。10.
根据权利要求9所述的方法，其中，所述样本骨骼点特征序列包括相邻关联关节之间的骨骼点的样本旋转角度特征序列和所述样本对象的胯骨中心点的样本位置特征序列；所述预测骨骼点特征序列包括相邻关联关节之间的骨骼点的预测旋转角度特征序列和所述样本对象的胯骨中心点的预测位置特征序列；所述基于目标损失函数，根据所述预测骨骼点特征序列和所述样本骨骼点特征序列，得到目标损失值，包括：基于第一损失函数，根据所述样本旋转角度特征序列和所述预测旋转角度特征序列，得到旋转角度损失值；基于第二损失函数，根据所述样本位置特征序列和所述预测位置特征序列，得到中心点位置损失值；以及根据所述旋转角度损失值和所述中心点位置损失值，得到所述目标损失值
。11.
根据权利要求9所述的方法，其中，所述对初始样本动作特征序列进行局部掩码，得到掩码动作序列，包括：对所述初始样本动作特征序列进行划分，得到多个样本动作特征序列片段；以及将所述多个样本动作特征序列片段中的连续预定数量的样本动作特征序列片段进行掩码，得到所述掩码动作序列
。12.
一种虚拟形象的生成装置，包括：生成模块，用于根据目标对象的初始姿态的骨骼点特征和所述目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，其中，所述运动轨迹特征序列包括所述目标对象从所
述初始姿态变换到所述目标姿态所需完成的多个过渡动作的骨骼点特征；处理模块，用于对所述初始姿态的骨骼点特征
、
所述运动轨迹特征序列和所述目标姿态的骨骼点特征进行处理，生成动作特征序列，其中，所述动作特征...

【专利技术属性】
技术研发人员：杨少雄，徐颖，崔宪坤，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：