一种基于深度学习的人体运动序列补全方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的人体运动序列补全方法及装置，该方法，包括：获取人体运动序列数据集；对人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；将掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。本发明专利技术利用开源的人体运动序列数据集(如AMASS)，使用深度学习技术，输入人体的关键帧，对关键帧之间的动作序列进行补全。全。全。

【技术实现步骤摘要】
一种基于深度学习的人体运动序列补全方法及装置


[0001]本专利技术涉及计算机图形学和计算机动画
，特别是涉及一种基于深度学习的人体运动序列补全方法及装置。

技术介绍

[0002]人体运动动画一直是动画学的研究重点之一。目前，人体运动动画的制作仍然主要由动画师手工制作为主，动画师们会根据动画制作的需求，手动调整大量关键帧，制作诸如人体行走、奔跑之类的动作。这需要动画师的大量人工劳动。
[0003]近年来，深度学习技术飞速发展，并在各领域得到了广泛使用。因此，可以利用相关的技术并使用在人体动画生成上，然而目前技术中仅仅利用关键帧，对关键帧之间的动作序列进行补全的技术还存在一定的缺陷。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术提出一种基于深度学习的人体运动序列补全方法，本专利技术设计类似于Masked AutoEncoder的网络结构，该结构可以基于大量掩码的动作序列和隐变量，预测完整的动作序列，并且可以对大规模人体运动数据集(如AMASS数据集)进行分割和训练。
[0006]本专利技术的另一个目的在于提出一种基于深度学习的人体运动序列补全装置。
[0007]为达上述目的，本专利技术一方面提出一种基于深度学习的人体运动序列补全方法，包括：
[0008]获取人体运动序列数据集；
[0009]对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；
[0010]将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。
[0011]另外，根据本专利技术上述实施例的基于深度学习的人体运动序列补全方法还可以具有以下附加的技术特征：
[0012]进一步地，在本专利技术的一个实施例中，在对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列之前，所述方法，还包括按照预设的序列长度对所述人体运动序列数据集进行分割得到所述多个运动序列。
[0013]进一步地，在本专利技术的一个实施例中，所述神经网络预测模型，包括VAE生成模型和decoder解码器；所述将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列，包括：
[0014]将所述掩码后的多个动作序列输入至所述VAE生成模型得到基于高斯分布的随机变量；
[0015]将基于高斯分布的随机变量输入至所述decoder解码器进行解码预测输出得到完整动作序列。
[0016]进一步地，在本专利技术的一个实施例中，所述方法，还包括训练所述神经网络预测模型，包括：
[0017]获取人体运动序列样本集；
[0018]随机对所述人体运动序列样本集中的人体运动序列样本进行掩码处理；
[0019]将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型。
[0020]进一步地，在本专利技术的一个实施例中，所述将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型，包括：
[0021]将掩码处理后的人体运动序列样本输入至所述VAE生成模型得到高斯分布的随机变量样本；
[0022]利用所述decoder解码器对所述随机变量样本进行解码输出得到完整动作序列样本；
[0023]基于所述完整动作序列样本的重建loss和KL
‑
loss的损失计算结果得到所述训练好的神经网络预测模型。
[0024]为达上述目的，本专利技术另一方面提出一种基于深度学习的人体运动序列补全装置，包括：
[0025]数据获取模块，用于获取人体运动序列数据集；
[0026]掩码处理模块，用于对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；
[0027]补全预测模块，用于将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。
[0028]本专利技术实施例的基于深度学习的人体运动序列补全方法和装置，只需要输入少量关键帧，就可以生成完整的动作序列，无需任何人工干预；能够生成多样化的动作序列。
[0029]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0030]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0031]图1是根据本专利技术实施例的基于深度学习的人体运动序列补全方法的流程图；
[0032]图2是根据本专利技术实施例的进行序列补全预测得到完整动作序列的流程图；
[0033]图3是根据本专利技术实施例的神经网络预测模型的训练流程图；
[0034]图4是根据本专利技术实施例的神经网络预测模型的具体训练流程子图；
[0035]图5是根据本专利技术实施例的基于深度学习的人体运动序列补全装置的结构示意图。
具体实施方式
[0036]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。
[0037]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0038]下面参照附图描述根据本专利技术实施例提出的基于深度学习的人体运动序列补全方法和装置。
[0039]图1是本专利技术实施例的基于深度学习的人体运动序列补全方法的流程图。
[0040]如图1所示，该方法包括但不限于以下步骤：
[0041]S1，获取人体运动序列数据集。
[0042]作为一种示例，本专利技术获取的人体运动序列数据集可以为AMASS数据集。
[0043]作为一种示例，在获取人体运动序列数据集之后，对人体运动数据集进行分割，得到大量运动序列。
[0044]具体地，人体运动序列实际上已经被划分好了(因为一个sample相当于一个运动序列，每段sample的长度都很短)，这种数据集就不需要进行分割。像那种要是很长的运动序列，可以按照固定长度进行sample得到大量运动序列。
[0045]S2，对人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列。
[0046]具体地，用一个掩码后的动作序列预测完整的动作序列，需要在输入模型之前对动作序列进行掩膜处理。
[0047]作为一种示例，对于每一个序列样本，可以按照MAE的方法，随机对其中的帧进行Mask，从而得到掩码后的动作序列。
[0048]S3，将掩码后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人体运动序列补全方法，其特征在于，包括以下步骤：获取人体运动序列数据集；对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列；将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列。2.根据权利要求1所述的方法，其特征在于，在对所述人体运动序列数据集中的序列进行掩码处理得到掩码后的多个动作序列之前，所述方法，还包括按照预设的序列长度对所述人体运动序列数据集进行分割得到所述多个运动序列。3.根据权利要求1所述的方法，其特征在于，所述神经网络预测模型，包括VAE生成模型和decoder解码器；所述将所述掩码后的多个动作序列和预设隐变量输入至训练好的神经网络预测模型进行序列补全预测得到完整动作序列，包括：将所述掩码后的多个动作序列输入至所述VAE生成模型得到基于高斯分布的随机变量；将基于高斯分布的随机变量输入至所述decoder解码器进行解码预测输出得到完整动作序列。4.根据权利要求3所述的方法，其特征在于，所述方法，还包括训练所述神经网络预测模型，包括：获取人体运动序列样本集；随机对所述人体运动序列样本集中的人体运动序列样本进行掩码处理；将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型。5.根据权利要求4所述的方法，其特征在于，所述将掩码处理后的人体运动序列样本输入至所述神经网络预测模型进行模型训练，以得到训练好的神经网络预测模型，包括：将掩码处理后的人体运动序列样本输入至所述VAE生成模型得到高斯分布的随机变量样本；利用所述decoder解码器对所述随机变量样本进行解码输出得到完整动作序列样本；基于所述完整动作序列样本的重建loss和KL
...

【专利技术属性】
技术研发人员：徐枫，明鑫，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：