骨架动作识别方法、系统、设备与存储介质技术方案

本发明专利技术公开了一种骨架动作识别方法、系统、设备与存储介质，该方案中：一方面，利用在有标签源数据上的有监督学习方法来获取对动作具有判别力的信息，并且利用在无标签的目标数据上的无监督学习方法来提取目标数据自身的属性，从而充分利用了源数据和目标数据各自的优势，即使这些源数据和目标数据来自不同的分布甚至不同的动作类别，依然可以提供对动作类别有判别力的信息；另一方面，融合了两个支路的知识，通过在两个支路之间互相交换正负对的划分来实现两个支路的伪标签信息传递，以充分发挥两个模型互补的优势，实现相互促进学习；通过以上方式提升了模型训练效果，进而提升了骨架动作识别效果。升了骨架动作识别效果。升了骨架动作识别效果。

【技术实现步骤摘要】
骨架动作识别方法、系统、设备与存储介质


[0001]本专利技术涉及动作识别领域，尤其涉及一种骨架动作识别方法、系统、设备与存储介质。

技术介绍

[0002]随着深度估计设备和姿态检测算法的发展，骨架动作识别技术受到了越来越多的关注。骨架动作识别任务的目的是对由人体骨架组成的序列按照动作类别进行分类。与一般的视频动作识别不同，骨架动作识别受遮挡、光照等环境因素的干扰更小，这使得该任务更具研究价值。
[0003]在骨架识别任务中，主流的研究是利用有动作标签的源数据来训练一个分类模型，然后使用训练的分类模型对一个无标签的目标数据进行分类识别。在专利《一种基于图卷积的骨架动作识别方法》中，根据人体节点的几何关系构造了一个图卷积网络，建模了各个节点在时间和空间这两个维度上的关系。然而，这类方法需要假设存在一个有标签的源数据和目标数据来自同一个分布而且包含同样的动作类别，这在现实中是难以满足的。
[0004]因此一些研究方法开始转向无监督的训练方式，它们针对无标签的目标数据采用自监督的学习技术来训练模型，从而挖掘目标数据内在的语义特性。然而，由于没有任何动作标签的引导，这些模型难以学习到对动作的判别能力，因此，分类识别效果不佳。

技术实现思路

[0005]本专利技术的目的是提供一种骨架动作识别方法、系统、设备与存储介质，能够充分利用了源数据和目标数据各自的优势，提升模型训练效果，进而提升骨架动作识别效果。
[0006]本专利技术的目的是通过以下技术方案实现的：
[0007]一种骨架动作识别方法，包括：
[0008]构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；
[0009]训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器F0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为F1与特征提取器F1的输入为所述第一增强数据，所述特征提取器的输入为所述第二增强数据，利用所述特征提取器F1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器F0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所
述共享的特征提取器F0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器F1与各自连接一个目标分类器，记为与将特征提取器F1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；
[0010]训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。
[0011]一种骨架动作识别系统，包括：
[0012]网络框架构建与数据获取单元，用于构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；
[0013]训练单元，应用于训练阶段，训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器F0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为F1与特征提取器F1的输入为所述第一增强数据，特征提取器的输入为所述第二增强数据，利用所述特征提取器F1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器F0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所述共享的特征提取器F0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器F1与各自连接一个目标分类器，记为与将特征提取器F1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个
第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；
[0014]识别单元，用于在训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。
[0015]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0016]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0017]一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。
[0018]由上述本专利技术提供的技术方案可以看出，一方面，利用在有标签源数据上的有监督学习方法来获取对动作具有判别力的信息，并且利用在无标签的目标数据上的无监督学习方法来提取目标数据自身的属性，从而充分利用了源数据和目标数据各自的优势，即使这些源数据和目标数据来自不同的分布甚至不同的动作类别，依然可以提供对动作类别有判别力的信息；另一方面，融合了两个支路的知识，通过在两个支路之间互相交换正负对的划分来实现两个支路的伪标签信息传递，以充分发挥两个模型互补的优势，实现相互促进学习；通过以上方式提升了模型训练效果，进而提升了骨架动作识别效果。
附图说明
[0019]为了更清楚地说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨架动作识别方法，其特征在于，包括：构建包含左右两个并行支路的网络框架，并获取源数据与目标数据；所述源数据为有标签数据，目标数据为无标签数据，所述源数据与目标数据均为骨架序列数据；训练阶段：所述目标数据通过两种不同数据增强方式处理，处理结果称为第一增强数据与第二增强数据，左支路输入源数据、第一增强数据与第二增强数据，右支路输入第一增强数据与第二增强数据；左支路中，通过共享的特征提取器F0分别对源数据与第一增强数据进行特征提取，并结合源数据的标签计算所述源数据的分类损失；右支路中，设有两个特征提取器记为F1与特征提取器F1的输入为所述第一增强数据，特征提取器的输入为所述第二增强数据，利用所述特征提取器F1与提取的特征计算对比损失；左支路中还设有一个特征提取器用来提取所述第二增强数据的特征，并设有两个目标分类器，记为与其中，目标分类器输入为所述共享的特征提取器F0提取的所述第一增强数据的特征，目标分类器输入为所述特征提取器提取的所述第二增强数据的特征，将所述共享的特征提取器F0与目标分类器作为第一学生模型，将所述特征提取器与目标分类器作为第一教师模型；右支路中，两个特征提取器F1与各自连接一个目标分类器，记为与将特征提取器F1与目标分类器作为第二学生模型，将特征提取器与目标分类器作为第二教师模型；利用两个教师模型各自产生的伪标签作为监督信号对应的计算与相应学生模型的分类损失；之后，对于两个不同目标数据构成的目标数据对，每一支路单独利用其内部教师模型预测的相应两个第二增强数据的伪标签之间的关系进行正负对的划分，并且利用学生模型获得的相应两个第一增强数据的预测概率分数，计算两个第一增强数据相似度；两个支路相互交换各自的正负对的划分结果，每一支路将自身计算的两个第一增强数据相似度与来自另一支路相同目标数据对对应的两个第二增强数据的正负对划分结果进行有监督的对比损失的计算；利用计算出的所有损失构建总损失函数对左右支路进行训练；训练完毕后，对于待分类的目标数据，使用左支路中的第一学生模型，或者右支路中的第二学生模型进行分类。2.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述左支路中还设有解码器D0，所述解码器D0利用所述共享的特征提取器F0提取的源数据与第一增强数据的特征重构相应的源数据与第一增强数据，并计算重建损失。3.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述右支路中，特征提取器F1为正常更新的特征提取器，特征提取器为滑动平均更新的特征提取器；所述滑动平均更新是指特征提取器的参数在特征提取器F1的参数θ1的基础上通过下述方式进行更新：其中，ω为常数。4.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述利用所述特征提取
器F1与提取的特征计算对比损失包括：所述右支路中设有一个实时更新的存储库M，用来存放特征提取器提取的所有第二增强数据的特征；每一次输入至特征提取器F1与的第一增强数据与第二增强数据都由同一个目标数据通过数据增强方式处理得到，使用对比损失将特征提取器F1输出的特征和特征提取器输出的特征拉近，同时，将特征提取器F1输出的特征和实时更新的存储库M存储的其它第二增强数据的特征远离；对于第i个目标数据x
i
，对比损失的计算方式表示为：其中，z
i
表示特征提取器F1提取第i个目标数据x
i
对应的第一增强数据的特征，表示特征提取器提取的第i个目标数据x
i
对应的第二增强数据的特征，表示特征提取器提取的第j个目标数据x
j
对应的第二增强数据的特征，N表示目标数据的数目，cos表示计算两个特征的余弦距离，ρ为预设定的常数，用来控制输出的平滑性。5.根据权利要求1所述的一种骨架动作识别方法，其特征在于，所述第一教师模型与第二教师模型的参数由相应的第一学生模型与第二学生模型的参数滑动平均更新得到；同一目标数据对应的第一增强数据与第二增强数据，对应于相同的伪标签，采用约束生成伪标签是均匀分布的方法，即每个伪标签所包含的目标数据数目是一致的；首先将伪标签的生成问题作为是一个最优传输问题，即生成伪标签的过程是将N个目标数据的特征以最小的传输代价分配给K个类中心，其中，N表示目标数据的数目，K表示目标数据的类别数目；使用N个目标数据的特征和K个类中心之间的距离来衡量传输代价，类中心使用相应目标分类器的权重表示，使用Sinkhorn
‑
Knopp算法求解最优传输问题。6.根据权利要求5所述的一种骨架动作识...

【专利技术属性】
技术研发人员：王子磊，刘钦颖，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：