【技术实现步骤摘要】
一种数字人和物体的交互动作生成方法及装置
[0001]本说明书一个或多个实施例涉及虚拟数字人领域，尤其涉及一种数字人和物体的交互动作生成方法及装置。
技术介绍
[0002]在现实世界中，人们需要与周围的环境进行交互，例如，人们需要在房间中走动，拿起和放下物品，开启和关闭电器设备等，这些都需要与场景中的物体进行交互。除此之外，人们还需要通过与物体进行更复杂的交互来满足自己的生活需要。例如，人们需要在椅子上坐下休息，需要在床上躺下睡觉，需要在桌子上工作等等。通过与环境中的物体进行交互，人们可以更好地适应周围的环境，并且更好地满足自己的生活需要。
[0003]在实际业务中，用于模拟真人的数字人要完成目标要求，往往需要与环境中的物体进行交互，这是不可或缺的一部分。其中，在目前常见的数字人应用场景中，数字人从一个位置移动到椅子、桌子、床等物体附近，与其进行交互并产生坐下、躺下等动作是最基础的。因此，在用户控制数字人时，生成自然的数字人与物体之间的交互对于良好的用户体验至关重要。
技术实现思路
[0004]本说明...
【技术保护点】
【技术特征摘要】
1.一种数字人和物体的交互动作生成方法，包括：获取目标条件数据，其中包括数字人初始状态的位姿信息、目标物体数据，以及数字人和目标物体进行交互的目标状态的位姿信息，所述位姿信息包含位置、姿态和动作；利用第一扩散模型，基于所述目标条件数据，确定N个里程碑数据，所述里程碑为所述数字人从初始位置移动到目标位置的轨迹上的点；利用第二扩散模型，基于第一条件数据，确定数字人在任一里程碑上的姿态，所述第一条件数据包括所述初始状态的姿态、目标状态的姿态、以及所述N个里程碑数据；利用第三扩散模型，基于第二条件数据，确定数字人在相邻里程碑之间的轨迹上的若干个轨迹点数据，所述第二条件数据包括所述目标物体数据、所述相邻里程碑各自的里程碑数据；利用第四扩散模型，基于第三条件数据，确定数字人在任一轨迹点上的姿态，所述第三条件数据包括所述数字人在各个程碑上的姿态以及所述若干个轨迹点数据。2.根据权利要求1所述的方法，其中，所述目标状态的姿态通过以下方式确定：将所述数字人的关节拆分为L个互不重合的关节组；根据所述目标物体数据和预先设定的目标状态的动作，使用概率分布模型确定概率最大的关节组组合所对应的L个编码向量；使用解码器对所述L个编码向量进行解码，得到各个关节的旋转角，以表征目标状态的姿态。3.根据权利要求2所述的方法，其中，所述解码器为离散变分自动编码器VQ
‑
VAE中的解码器；所述VQ
‑
VAE还包括对应于L个关节组的L个编码器，并拥有L个对应的离散化编码本；所述解码器被训练为对离散向量进行解码，所述离散向量是所述离散化编码本中距离对应编码器的输出最接近的向量；所述使用概率分布模型确定概率最大的关节组组合所对应的L个编码向量，包括：根据所述目标物体数据和目标状态的动作，使用概率分布模型预测概率最大的L个索引号；根据所述L个索引号分别从所述L个离散化编码本中确定对应的L个编码向量。4.根据权利要求1所述的方法，其中，任一里程碑数据包括所述里程碑分别相对于所述初始状态的位置和目标状态的位置的位移和数字人朝向，以及所述数字人的特定关节是否与所处空间中的物体有接触。5.根据权利要求1所述的方法，其中，确定N个里程碑数据，包括：利用所述第一扩散模型，基于所述目标条件数据，确定N的值；获取N个第一高斯噪声数据，根据所述N个第一高斯噪声数据和所述目标条件数据，利用第一扩散模型确定所述N个里程碑数据。6.根据权利要求5所述的方法，其中，确定N的值，包括：将训练得到的第一向量与所述目标条件数据输入到训练好的所述第一扩散模型中，将输出结果输入到多层神经网络中，得到对于N的值的概率分布；从所述概率分布中采样确定N的值。7.根据权利要求1所述的方法，其中，确定数字人在任一里程碑上的姿态，包括：获取N个第二高斯噪声数据，根据所述N个第二高斯噪声数据和第一条件数据，利用第
二扩散模型确定数字人在任一里程碑上的姿态，所述姿态由所述数字人的关节旋转确定。8.根据权利要求1所述的方法，其中，所述N个里程碑包含相邻的第一里程碑和第二里程碑；所述第一里程碑和第二里程碑之间的轨迹点数量为预设的M个；确定数字人在相邻里程碑之间的轨迹上的若干个轨迹点数据，包括：获取M个第三高斯噪声数据，根据所述M个第三高斯噪声数据和第二条件数据，利用第三扩散模...
【专利技术属性】
技术研发人员：鲍虎军，周晓巍，皮怀瑾，朱帅，杨明晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。