【技术实现步骤摘要】
本专利技术涉及计算机视觉人工智能识别，尤其是涉及一种基于时间和空间掩码重建机制的辅助训练方法及骨架动作识别方法。
技术介绍
1、人类动作识别在视频理解和人机交互中发挥着重要作用，近年来受到越来越多的关注。如今，由于先进的传感器技术和人体姿态估计算法，获取人体的3d骨骼变得更加容易。骨架数据是一种紧凑而强健的表示形式，不受视点变化和杂乱背景的影响，因此骨架数据对动作识别这一任务更适合。使用骨架数据进行动作识别的典型方法是构建图卷积网络(graph convolution networks，gcn)。人体中的关节和骨骼自然形成图，这使得gcn成为提取骨骼拓扑特征的完美工具。基于gcn的方法越来越流行，与处理视频帧的模型相比，该类方法具有轻量级和计算效率高等优点。
2、但是，使用骨架来识别动作有一些局限性。一个主要问题是骨架表示缺乏重要的交互对象和上下文信息来区分相似的动作。识别相似动作的主要挑战之一是提取观察到的运动之间的时空依赖关系，以使特征表示更具区分性。这些依赖关系是由于不同关节之间的复杂相互作用和运动的时间动力学而产生的...
【技术保护点】
1.一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，所述的步骤S2中的时空图卷积网络具体包括依次连接的多个TGN块，还包括与TGN块连接的全局平均池化层和全连接分类器，一个所述TGN块包括依次连接的时序卷积网络和图卷积网络，多个TGN块组成特征提取层；通过特征提取层得到骨架节点的特征表示每个样本的特征表示尺寸是T×V×C；其中C是一个节点的特征向量维度，即对应于每张骨架图中的每个骨架节点都被表示成C维的特征向量。
3.根据权利要求1所述的...
【技术特征摘要】
1.一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，所述的步骤s2中的时空图卷积网络具体包括依次连接的多个tgn块，还包括与tgn块连接的全局平均池化层和全连接分类器，一个所述tgn块包括依次连接的时序卷积网络和图卷积网络，多个tgn块组成特征提取层；通过特征提取层得到骨架节点的特征表示每个样本的特征表示尺寸是t×v×c；其中c是一个节点的特征向量维度，即对应于每张骨架图中的每个骨架节点都被表示成c维的特征向量。
3.根据权利要求1所述的一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，所述的步骤s3中具体包括：
4.根据权利要求1所述的一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，所述的步骤s4中具体包括：
5.根据权利要求1所述的一种基于时间-空间掩码重建机制的辅助训练方法，其特征在于，所述的步骤s5中的辅助训练方法采用自监督的训练方法，基于骨架节点的原始坐标，训练损失l：
6.一种骨架动作识...
【专利技术属性】
技术研发人员：郭旭，韩华，黄丽，陈益平，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。