基于过去完成度和未来趋势的自监督三维动作预测方法技术

基于过去完成度和未来趋势的自监督三维动作预测方法，属于计算机视觉领域。首先提出动作完成度感知任务和运动预测任务，以监督模型学习包含动作状态信息和趋势信息的特征表示。并且设计一个多任务自监督学习框架，引入对比学习辅助任务提取关于动作的高阶语义特征，在不需要人工标签的前提下，融合多项自监督任务损失引导网络学习具有判别性的动作特征。最后在此基础上提出一个完整动作序列生成模块，充分利用自监督训练的动作完成度感知器和运动预测器，从不完整序列生成对应的完整序列，补全序列中缺失的信息，融合部分预测和全局预测得到最终预测，有效提高动作预测的精度。度。度。

【技术实现步骤摘要】
基于过去完成度和未来趋势的自监督三维动作预测方法


[0001]本专利技术属于计算机视觉领域，主要针对三维动作预测方法，尤其是涉及一种基于过去完成度和未来趋势的自监督三维动作预测方法。

技术介绍

[0002]基于骨架的三维动作预测是智能行为理解领域的重要研究课题之一，它可以在动作完全发生之前预测出动作的类别，随着深度传感器的普及和姿态估计算法的发展，它在智能安防等应用场景中发挥着越来越重要的作用。在大数据时代，互联网上存在着海量的视频数据，应用姿态估计算法可以轻易得到对应的骨架数据，如何在无需人工标注的前提下利用大量未经处理的骨架序列训练深度神经网络进行动作预测，是三维视觉领域迫切待解决的研究问题。
[0003]三维动作预测在动作执行的过程中就能预测出动作类别，具有广泛的实用价值，但也面临着以下问题：1)同一动作在不同观察率下具有不同的特征完整性；2)同一动作在不同视角下具有不同的外观表现；3)同一类别的动作，由不同主体执行时具有持续时间和运动速率上的差异性；4)不同种类的动作在动作执行的早期阶段可能会有相似性；5)由于动作序列的不完整，往往会缺失一些判别性信息；6)不同动作由于视角的变换可能具有相似的外观表现。
[0004]目前，关于三维动作预测的研究才刚刚起步，很少有研究去考虑这些难点，且都集中在有监督学习的框架下，需要大量的人工标签。现有的有监督三维动作预测方法都是在训练时采用各种策略，如使用软标签或与观察率相关的损失来防止拟合，使用正则化或对抗学习迫使网络学习隐含的全局信息，存储难以区分的实例对使网络能够挖掘细微的判别信息，但在网络结构的设计上均遵循动作识别的思路，即编码器
‑
分类器结构：先提取部分序列的特征，再送入分类器得到预测结果。这些方法忽视了不完整序列中蕴含的关于动作的过去和未来信息，而这些信息已经被心理学研究证明是人类进行动作预测的关键。事实上，当人类在观看某个动作序列时，观察到一定时间，即达到一定的观察率时，人类已经知道目标当前做了什么，以及目标未来会做什么，这种关于过去的完成度和关于未来的趋势信息能够帮助人类精准地预测动作类别。

技术实现思路

[0005]为了解决现有技术存在的上述问题，本专利技术供一种基于过去完成度和未来趋势的自监督三维动作预测方法，在不需要人工标签的前提下，基于不完整动作序列中包含的过去完成度和未来趋势信息，设计动作完成度感知和运动预测代理任务，提取未完成骨架序列中的过去和未来信息，为骨架的特征表示引入状态和趋势信息，并设计对比学习辅助任务，为骨架的特征表示引入关于动作的高阶语义信息，增强模型对特征的表示能力。此外，本专利技术设计基于完整动作序列生成模块的三维动作预测网络，通过编码器
‑
解码器的网络结构生成骨架序列运动轨迹，分别从部分序列和生成序列中提取特征做出预测，融合两个
预测的结果得到最终预测。
[0006]本专利技术包括以下步骤：
[0007]1)预处理三维骨架序列数据集，生成三维动作预测数据集；
[0008]2)设计动作完成度感知任务和运动预测任务，监督模型提取不完整动作序列中的过去完成度信息和未来趋势信息；
[0009]3)设计对比学习辅助任务，监督模型提取不完整动作序列中的高阶语义信息，优化特征空间，并设计多任务自监督学习框架，进一步增强模型的鲁棒性；
[0010]4)设计基于完整序列生成模块的三维动作预测网络，在不引入额外参数的前提下生成完整序列，补全缺失信息，并融合部分预测和全局预测得到最终预测；
[0011]5)在三维动作预测数据集上，计算多任务自监督学习框架中的各项损失和，通过反向传播算法和随机梯度下降法对网络进行训练，得到最终训练好的模型；
[0012]6)利用训练好的模型测试三维动作预测的识别效果，模型输出各个动作类别的预测值，对输出值进行归一化得到最终的动作预测结果。
[0013]在步骤1)中，预处理三维骨架序列数据集和生成三维动作预测数据集的具体步骤可为：
[0014]1.1首先在大规模骨架序列数据上，对关节点坐标进行归一化处理，并应用下采样技术将所有样本帧数统一；
[0015]1.2定义0.1到0.9九种不同的观察率，对数据集中所有样本进行遍历处理，每个样本都生成在九种不同观察率下的序列，记录每个序列对应的观察率，统一所有序列的长度，用最后一帧填充空白帧。
[0016]在步骤2)中，所述设计动作完成度感知任务和运动预测任务的具体步骤可为：
[0017]2.1基于一个两层的双向门控循环单元网络构建特征编码器，将不完整的动作序列作为编码器的输入，进行特征提取后送入不同的下游任务头；
[0018]2.2基于多层感知机构建动作完成度感知头，基于循环神经网络构建运动预测头；
[0019]2.3将提取特征送入动作完成度感知头，得到预测的观察率，用均方损失函数衡量与真实观察率之间的损失，并将提取特征送入运动预测头，得到预测的人体关节轨迹，用均方损失函数衡量与真实骨架序列之间的损失。
[0020]在步骤3)中，多任务自监督学习框架的设计在对比学习辅助任务的基础上构架，所述设计对比学习辅助任务，监督模型提取不完整动作序列中的高阶语义信息，优化特征空间，并设计多任务自监督学习框架的具体步骤如下：
[0021]3.1对于不完整的动作序列样本，将其对应的完整动作序列输入特征编码器，得到特征表示；
[0022]3.2基于多层感知机构建对比学习任务头，分别将不完整动作序列的特征和其对应完整动作序列的特征进一步投影到对比学习特征空间，同时从方向和数值上计算两个特征向量的距离，得到对比学习损失；
[0023]3.3构建多任务自监督学习框架，将动作完成度感知损失、运动预测损失和对比学习损失进行加权求和后得到总损失，监督特征编码器和三个下游任务头的权重训练。
[0024]在步骤4)中，设计完整序列生成模块并在此基础上融合部分和全局预测，所述设计基于完整序列生成模块的三维动作预测网络的具体步骤如下：
[0025]4.1将动作完成度感知头和运动预测头融合，得到完整序列生成模块，即输入不完整的动作序列，输出其对应的完整动作序列；
[0026]4.2应用训练好的特征提取器分别提取不完整动作序列和其生成的动作序列的特征并做出预测，融合两个预测得到最终的预测结果。
[0027]与现有技术相比，本专利技术具有以下突出技术效果：
[0028]首先提出了动作完成度感知任务和运动预测任务，以监督模型学习包含动作状态信息和趋势信息的特征表示。并且设计了一个多任务自监督学习框架，引入对比学习辅助任务提取关于动作的高阶语义特征，在不需要人工标签的前提下，融合多项自监督任务损失引导网络学习具有判别性的动作特征。最后在此基础上提出了一个完整动作序列生成模块，充分利用自监督训练的动作完成度感知器和运动预测器，从不完整序列生成对应的完整序列，补全序列中缺失的信息，融合部分预测和全局预测得到最终预测，有效提高动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于过去完成度和未来趋势的自监督三维动作预测方法，其特征包括以下步骤：1)预处理三维骨架序列数据集，生成三维动作预测数据集；2)设计动作完成度感知任务和运动预测任务监督模型训练，监督模型提取不完整动作序列中的过去完成度信息和未来趋势信息；3)设计对比学习辅助任务，监督模型提取不完整动作序列中的高阶语义信息，优化特征空间，并设计多任务自监督学习框架，进一步增强模型的鲁棒性；4)设计基于完整序列生成模块的三维动作预测网络，在不引入额外参数的前提下生成完整序列，补全缺失信息，并融合部分预测和全局预测得到最终预测；5)在三维动作预测数据集上，计算多任务自监督学习框架中的各项损失和，通过反向传播算法和随机梯度下降法对网络进行训练，得到最终训练好的模型；6)利用训练好的模型测试三维动作预测的识别效果，模型输出各个动作类别的预测值，对输出值进行归一化得到最终的动作预测结果。2.如权利要求1所述基于过去完成度和未来趋势的自监督三维动作预测方法，其特征在与步骤1)中，所述预处理三维骨架序列数据集，生成三维动作预测数据集的具体步骤为：(1)在大规模骨架序列数据上，对关节点坐标进行归一化处理，并应用下采样技术将所有样本帧数统一；(2)定义0.1到0.9九种不同的观察率，对数据集中所有样本进行遍历处理，每个样本都生成在九种不同观察率下的序列，记录每个序列对应的观察率，统一所有序列的长度，用最后一帧填充空白帧。3.如权利要求1所述基于过去完成度和未来趋势的自监督三维动作预测方法，其特征在于步骤2)中，所述设计动作完成度感知任务和运动预测任务监督模型训练的具体步骤可为：(1)基于一个两层的双向门控循环单元...

【专利技术属性】
技术研发人员：王一帆，赵冲，王其聪，秦启峰，
申请(专利权)人：厦门大学深圳研究院，
类型：发明
国别省市：