一种基于局部特征辅助的自监督动作识别方法及系统技术方案

本发明专利技术涉及动作识别技术领域，公开了一种基于局部特征辅助的自监督动作识别方法及系统，包括以下具体步骤：获取未标注骨架序列；进行数据增强处理，得到增强视图；输入到图卷积识别网络中；通过全局编码器中获得全局特征，并将全局特征输入到预测器中获得预测特征；构建全局损失；将增强视图分为上肢关节和下肢关节，分别输入到对应的局部编码器中，得到局部特征；构建局部损失；通过自注意力机制，基于全局特征得到显著性特征和非显著性特征；构建显性与非显性损失；训练图卷积识别网络；通过训练好的图卷积识别网络进行动作识别。本发明专利技术解决了现有技术未充分利用局部信息的问题，且具有能有效捕获区分性表示，学习能力强的特点。

【技术实现步骤摘要】

本专利技术涉及动作识别，更具体的，涉及一种基于局部特征辅助的自监督动作识别方法及系统。

技术介绍

1、早期动作识别方法主要通过手工设计特征对视频的时空特征进行建模，这些手工设计特征包括局部和全局的特征。随着深度学习的发展，基于深度学习的动作识别方法得到了广泛的关注并取得了惊人的效果。由于rgb数据普遍存在，基于rgb的行为识别在很长一段时间内成为了动作识别研究的主流方向。与rgb数据相比，骨架数据以关节点和骨骼为单元对人体的拓扑结构进行表示，对复杂背景、光照、视角变化有很强的鲁棒性，并且具有计算复杂度小，占用内存少的优点。

2、传统的基于深度学习的动作识别方法拥有强大的表征能力，但都依赖于大量的标注数据。对每条数据都进行标注和筛选需要依靠人工手动完成，需要花费巨大的代价才能创建一个合理的大规模数据集，这种人工标注方法无法匹配互联网中数据的产生速度。而自监督学习可以从大规模的未标注数据中挖掘自身潜在的有监督信息，并通过构造出的有监督信息对网络进行训练，从而学习到对下游任务有价值的表征。

3、主流的自监督学习方法有基于生成式的方法和基于本文档来自技高网...

【技术保护点】

1.一种基于局部特征辅助的自监督动作识别方法，其特征在于：包括以下具体步骤：

2.根据权利要求1所述的基于局部特征辅助的自监督动作识别方法，其特征在于：所述的图卷积识别网络采用时空自适应图卷积网络STAGCN；具体的，STAGCN表示为：

3.根据权利要求2所述的基于局部特征辅助的自监督动作识别方法，其特征在于：图卷积识别网络在训练中通过反向传播更新参数Bk和Ck。

4.根据权利要求1所述的基于局部特征辅助的自监督动作识别方法，其特征在于：所述的对未标注骨架序列进行数据增强处理，得到增强视图，具体为：通过包括错切、裁剪、翻转和坐标轴遮挡的数据增强方法对...

【技术特征摘要】

1.一种基于局部特征辅助的自监督动作识别方法，其特征在于：包括以下具体步骤：

2.根据权利要求1所述的基于局部特征辅助的自监督动作识别方法，其特征在于：所述的图卷积识别网络采用时空自适应图卷积网络stagcn；具体的，stagcn表示为：

3.根据权利要求2所述的基于局部特征辅助的自监督动作识别方法，其特征在于：图卷积识别网络在训练中通过反向传播更新参数bk和ck。

4.根据权利要求1所述的基于局部特征辅助的自监督动作识别方法，其特征在于：所述的对未标注骨架序列进行数据增强处理，得到增强视图，具体为：通过包括错切、裁剪、翻转和坐标轴遮挡的数据增强方法对未标注骨架序列进行数据处理，获得不同增强视图{xi|i＝1,2}。

5.根据权利要求4所述的基于局部特征辅助的自监督动作识别方法，其特征在于：具体的，所述的全局损失、局部损失、显性与非显性损失均采用了i...

【专利技术属性】
技术研发人员：林碧云，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：