本发明专利技术公开了一种复杂动作序列的三维人体分类与生成方法、系统，应用于虚拟现实领域，包括：获取并对复杂动作视频进行预处理，构建数据集；对数据集进行关键点识别，得到人体关键点以及动作序列姿态信息，作为训练集；构建基于三维几何的复杂动作序列分类编码模型，并将其输入和输出合并为一个序列进行编码与解码训练，构建基于三维几何的复杂动作序列生成模型；将测试集输入模型，得到多种测试集动作类别的动作序列。本发明专利技术通过将标准三维几何序列编码为含有时间信息的几何参数，不仅增强了网络对不同动作类别在隐空间分布的学习，还实现了在复杂动作情况下，能够准确识别动作类型，生成合理的动作序列，提高了识别的准确率和动作的多样性。和动作的多样性。和动作的多样性。
【技术实现步骤摘要】
一种复杂动作序列的三维人体分类与生成方法、系统
[0001]本专利技术涉及虚拟现实领域，特别涉及一种复杂动作序列的三维人体分类与生成方法、系统。
技术介绍
[0002]在人体三维重建领域，人体运动预测是一项极具挑战性的任务。基于CAVE，将动作的语义标签作为先验条件，与动作序列一起放入网络训练中，根据标签生成无限多个三维人体动作序列，使这些序列看起来更真实。之前的许多工作都是基于运动序列，通过结构化预测，对人体骨骼的空间结构进行隐式建模，并将其应用于各个关节。现在大多数用于动作识别的深度学习方法都使用了浅层卷积网络。使用卷积神经网络，即可以使用随机梯度下降学习特征及分类减轻的端到端学习，并限制一些支持向量机和手工特征相关的方法。提取特征是通过直接卷积滤波器中的训练数据学习得到的，主要好处有：用非常简单便捷的端到端方式优化特征提取器和分类器参数，提取的特征针对特定的属性进行自适应的优化。多标签的卷积神经网络优于支持向量机，因为它们能够更加全面的学习属性之间的关系。
[0003]三维人体动作序列生成旨在，给定条件下，生成满足预期动作类型的三维人体。基于深度学习的方法一直以来主导着重识别领域。这些方法可以大致分为两类：第一类主要集中从三维信息中提取动作特征，以得处不同动作在隐空间的分布，通过不同的分布生成复杂多样的动作序列；第二类是通过风格迁移的方式，在给定动作数据的前提下，从形象中预测骨骼，并绑定权重，生成风格多样的人体单一动作。
[0004]现有的三维人体动作小数据集(NTU RGBD、HumanAct12、UESTC、BABEL)都是通过普通相机或者深度相机获得人体运动序列后，通过VIBE的处理得到人体关键点的信息以及体态，姿势等信息，最大的数据集也就几万张图片。面对不同场景拍摄角度，通过对特征变化进行学习得到摄像机视角转化函数模型的过程较为复杂。
[0005]目前三维动作生成的技术还处于发展阶段，现有的模型在动作类别多时，则生成的动作类型较为简单；或者只能生成单一动作的动作序列。在复杂的动作序列中，相关动作会有交集，更会进一步导致动作的准确率降低，生成相应的动作序列更加困难。
[0006]为此，如何提供一种能够在多复杂动作类型的情况下，还能准确识别分类以及生成对应动作的人体序列的复杂动作序列的三维人体分类与生成方法、系统是本领域技术人员亟需解决的问题。
技术实现思路
[0007]有鉴于此，本专利技术提出了一种复杂动作序列的三维人体分类与生成方法、系统。通过采用VIBE对图片数据进行处理，得到每一帧图片中的人体关键点以及动作序列姿态信息，可以尽可能地减弱镜头扭曲对动作生成的影响；通过对标准三维几何序列采用两个线性全连接层，以及附带时间信息的长短记忆神经网络，得到含有时间信息的几何参数，再将
其作为先验输入到基于三维几何的复杂动作序列生成模型中，可以增强网络对不同动作类别在隐空间分布的学习；并且对数据集中的复杂动作进行参数化处理，可以实现在复杂动作的情况下，依然能准确识别动作类型，生成合理的动作序列，提高了识别的准确率和动作的多样性。
[0008]为了实现上述目的，本专利技术采用如下技术方案：
[0009]一种复杂动作序列的三维人体分类与生成方法，包括：
[0010]步骤(1)：获取复杂动作视频，对复杂动作视频进行预处理，构建数据集。
[0011]步骤(2)：对数据集进行关键点识别，得到人体关键点以及动作序列姿态信息，作为训练集。
[0012]步骤(3)：构建基于三维几何的复杂动作序列分类编码模型，以训练集为输入，得到与训练集动作类别相对应的含有时间信息的几何参数的输出。
[0013]步骤(4)：将基于三维几何的复杂动作序列分类编码模型的输入和输出合并为一个序列进行编码与解码训练，构建基于三维几何的复杂动作序列生成模型。
[0014]步骤(5)：将待生成动作的测试集输入所述基于三维几何的复杂动作序列分类编码模型，获取与测试集动作类别相对应的含有时间信息的几何参数，再通过已经训练好的所述基于三维几何的复杂动作序列生成模型，得到多种所述测试集动作类别的动作序列。
[0015]可选的，步骤(1)中，对复杂动作视频进行预处理包括：剪辑、截断帧、将视频数据转换为图片数据，并选取有丰富运动特征的图片数据构建数据集。
[0016]可选的，步骤(2)中，对数据集进行关键点识别具体为：采用VIBE对图片数据进行处理，得到每一帧图片中的人体关键点以及动作序列姿态信息。
[0017]可选的，步骤(3)中，基于三维几何的复杂动作序列分类编码模型基于categorical编码，构建训练完成的复杂动作序列分类模型，具体包括以下步骤：
[0018]采用数据集函数对训练集和对应标签进行处理，获取训练集长度；
[0019]通过对数据迭代器中的训练集进行迭代，获取相应的三维几何模型的张量；
[0020]将categorical编码迁移到GPU上，通过两个线性全连接层，以及附带时间信息的长短记忆神经网络，得到含有时间信息的几何参数。
[0021]可选的，步骤(4)中，基于transformer模型构建基于三维几何的复杂动作序列生成模型，包括：编码训练和解码训练两个阶段。
[0022]可选的，编码训练具体为：
[0023]将训练集以及与训练集相对应的含有时间信息的几何信息参数相结合为一个序列，通过门控循环单元后输入到transformer编码，得到不同动作类别在隐空间的高斯分布；
[0024]解码训练具体为：
[0025]通过学习到不同动作类别在隐空间的方差与均值，通过transformer解码器中，得到人体三维信息以及动作姿态，使用SMPL模型对参数进行渲染，获得完整的人体序列。
[0026]可选的，基于transformer模型构建三维几何的复杂动作序列生成模型的训练损失函数为：
[0027][0028]其中：Vt表示输入数据的三维几何信息，Pt表示预测的人体关节点以及人体动作姿态信息。
[0029]可选的，还包括在基于transformer模型构建基于三维几何的复杂动作序列生成模型的过程中引入DropPath模块，使编码训练和解码训练两个阶段交替进行。
[0030]本专利技术还提供一种复杂动作序列的三维人体分类与生成系统，包括：
[0031]获取模块：用于获取复杂动作视频，对复杂动作视频进行预处理，构建数据集；
[0032]数据识别模块：用于采用VIBE对图片数据进行处理，对数据集进行关键点识别，得到每一帧图片中的人体关键点以及动作序列姿态信息，作为训练集；
[0033]第一构建模块：基于categorical，对与训练集相对应的三维几何模型进行编码训练，得到含有时间信息的几何信息参数，构建基于三维几何的复杂动作序列分类编码模型；
[0034]第二构建模块：用于将训练集以及与训练集相对应的含有时间信息的几何信息参数合并为一个序列，基于tra本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种复杂动作序列的三维人体分类与生成方法，其特征在于，包括：步骤(1)：获取复杂动作视频，对所述复杂动作视频进行预处理，构建数据集；步骤(2)：对所述数据集进行关键点识别，得到人体关键点以及动作序列姿态信息，作为训练集；步骤(3)：构建基于三维几何的复杂动作序列分类编码模型，以所述训练集为输入，得到与所述训练集动作类别相对应的含有时间信息的几何参数的输出；步骤(4)：将所述基于三维几何的复杂动作序列分类编码模型的输入和输出合并为一个序列进行编码与解码训练，构建基于三维几何的复杂动作序列生成模型；步骤(5)：将待生成动作的测试集输入所述基于三维几何的复杂动作序列分类编码模型，获取与所述测试集动作类别相对应的含有时间信息的几何参数，再通过已经训练好的所述基于三维几何的复杂动作序列生成模型，得到多种所述测试集动作类别的动作序列。2.根据权利要求1所述的一种复杂动作序列的三维人体分类与生成方法，其特征在于，步骤(1)中，对所述复杂动作视频进行预处理包括：剪辑、截断帧、将视频数据转换为图片数据，并选取有丰富运动特征的图片数据构建数据集。3.根据权利要求2所述的一种复杂动作序列的三维人体分类与生成方法，其特征在于，步骤(2)中，对所述数据集进行关键点识别具体为：采用VIBE对图片数据进行处理，得到每一帧图片中的人体关键点以及动作序列姿态信息。4.根据权利要求1所述的一种复杂动作序列的三维人体分类与生成方法，其特征在于，步骤(3)中，所述基于三维几何的复杂动作序列分类编码模型基于categorical编码，构建训练完成的复杂动作序列分类模型，具体包括以下步骤：采用数据集函数对所述训练集和对应标签进行处理，获取所述训练集长度；通过对数据迭代器中的训练集进行迭代，获取相应的三维几何模型的张量；将所述categorical编码迁移到GPU上，通过两个线性全连接层，以及附带时间信息的长短记忆神经网络，得到含有时间信息的几何参数。5.根据权利要求1所述的一种复杂动作序列的三维人体分类与生成方法，其特征在于，步骤(4)中，基于transformer模型构建所述基于三维几何的复杂动作序列生成模型，包括：编码训练和解码训练两个阶段。6.根据权利要求5所述的一种复杂动作序...
【专利技术属性】
技术研发人员：宋文凤，张欣宇，侯霞，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。