一种基于对比学习的动作识别方法以及识别模型和设备技术

本发明专利技术提出了一种基于对比学习的动作识别方法以及动作识别模型和设备，神经网络模型的构建包括：获取骨骼的时空序列特征图；对骨骼序列做数据增强处理；对骨骼序列使用关节表征知识挖掘的方法以获取不同网络层中高等级特征信息；将骨骼序列样本输入有监督对比学习表征网络提取骨骼序列特征信息，识别样本动作类别。本发明专利技术意在复杂背景下仅使用低复杂度的三维骨骼序列作为输入数据，通过深度学习网络学习和训练人类动作特征，优化网络模型中骨骼关节图拓扑结构，提高动作识别的准确率，同时在使用全部类别标签信息的有监督学习下融入对比学习的方式，构建一个新的应用于人体动作识别的有监督对比学习表征网络框架。识别的有监督对比学习表征网络框架。识别的有监督对比学习表征网络框架。

【技术实现步骤摘要】
一种基于对比学习的动作识别方法以及识别模型和设备


[0001]本专利技术涉及到计算机视觉
，具体涉及一种基于深度学习的人体动作识别方法以及动作识别模型的构建。

技术介绍

[0002]人类动作识别是计算机视觉领域的研究热点之一，通过学习和训练人类行为特征实现动作分类，该技术目前广泛应用在视频监控、人机交互、医学看护等多个领域。动作识别的主要工作过程是通过对人类行为的外观、深度、光流、身体骨架等特征信息进行建模，利用深度学习方法进行训练，进而识别出动作类型。在动态骨架建模中，作为输入的骨架形态可以表示为一连串的人体关节位置坐标所组成的时间序列，时间序列的每一帧则以2D或3D坐标的形式表示。早期的动作识别方法依赖于手工制作特征或规则来分析时空节点的运动模式，现在大量使用从原始视频中计算出的特征来训练分类器。由于这些方法没有有效地利用关节之间的空间关系，导致在动作识别方面能力受限。
[0003]图卷积网络(Graph Convolutional Network，GCN)，通过引入关节之间的自然连接语义信息并取得了良好效果，同时，图卷积网络模型在结合图拓扑结构、时空全局上下文等技术之后，动作识别能力得到了显著的提高。但是，图卷积网络仍然存在如下缺点：交叉熵损失函数对噪声标签缺乏鲁棒性，最终表现不及预期；图卷积网络在训练中大多以局部卷积的方式进行特征学习，这仅从中心节点小范围的邻域提取特征，容易过度突出目标节点的优势；难以发现远距离关节之间的内在联系，只能通过中间关节间的卷积层间接与其他关节产生联系，阻碍了信息的交换。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于深度学习的人体动作识别方法，行为识别装置，终端设备及计算机可读存储介质，以解决现有行为识别方法存在背景信息复杂、对噪声标签缺乏鲁棒性，最终表现不及预期等问题。
[0005]为了实现上述目的，本专利技术在第一方面实施例提供了一种人体动作识别方法，该方法在研究基于深度学习的动作识别的基础理论上，采用有监督对比学习的方式，构建基于图卷积网络上的编码分类器，提升最终的分类效果，包括：
[0006]将整个网络学习模型分为数据预处理、数据增强、编码器网络、投影网络、分类器，其中：
[0007]数据预处理获取骨架时空序列特征图的骨架关节特征提取器，将骨架时空序列图的关节按照关节类型，帧索引和三维位置标识；
[0008]数据增强将骨架数据原始样本进行数据增强操作；
[0009]将数据增强后的样本输入到有监督对比学习表征网络的编码器，编码器网络包含有一个嵌入表示层，一个信道归一化层，三个图卷积网络层，两个关节表示知识挖掘模块，一个帧索引信息联合层，两个时间卷积层和一个时间维度最大池化层，以此获得动作特征
表征；
[0010]将进过所述编码器网络学习到的特征输入到投影器网络，投影器网络包含一个多层感知感知器(Multilayer Perceptron，MLP)或一个带有修正线性单元(Rectified Linear Unit，ReLU)的简单全连接层(Fully
‑
Connected layers，FC)；
[0011]之后通过共享网络共享时空对比学习表征网络编码器参数，联合全连接层所表示的分类器对所述视频序列进行动作识别。
[0012]本专利技术的第二方面提供了一种基于骨架数据增强组合策略，所述骨架数据增强组合策略，包括数据增强模块，用于通过所述数据增强策略将输入的原始骨架样本进行随机数据变换与，获得两个随机增广骨架序列。
[0013]本专利技术的第三方面提供了一种基于噪声对比估计的度量学习方法是一种适用于动作识别的对比学习方法，所述学习方法包括在有监督学习设置下对比学习增强噪声标签或加大相似动作类别标签的区分度，通过有监督对比损失函数评估整体网络模型的动作预测与真实值的拟合程度。
[0014]本专利技术的第四方面提供了一种骨骼图拓扑结构优化模块，所述骨骼图拓扑结构优化模块，包括：
[0015]骨骼关节下采样模块，用于所述图卷积网络层获得当前骨架序列最优图拓扑向量矩阵；
[0016]关节节点重组模块，用于所述骨骼逛街下采样后的关节节点的按关节间的相互关联性进行重组。
[0017]本专利技术在第五方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述行为识别方法的步骤。
[0018]本专利技术的第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述行为识别方法的步骤。
[0019]由此可见，本方案使用图卷积网络作为深度学习网络模型，研究在降低计算复杂度的同时提高动作行为识别准确度的新方法。针对使用交叉熵损失作为动作识别中图卷积网络的损失函数可能对噪声标签缺乏鲁棒性，通过对比学习增强噪声标签或加大相似动作类别标签的区分度，构建有监督情形下利用标签信息建立的对比损失函数；针对远距离的关节只能通过中间关节间的卷积层间接与其他关节产生联系，且堆叠图卷积层容易过度衡量目标节点优势的问题，利用全局图上下文中提取更多的区别性特征，捕获最佳图拓扑结构，促进有监督的对比学习。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例中基于视频序列的人体动作识别模块示意图；
[0022]图2是本专利技术实施例中骨骼序列在经过数据增强后的可视化图；
[0023]图3是本专利技术实施例中关节表示知识挖掘图；
[0024]图4是本专利技术实施例中提供的基于骨架动作序列动作识别装置的示意图；
[0025]图5是本专利技术试试例中提供的基于视频序列的人体动作识别的实现流程示意图；
[0026]图6是本专利技术实施例中提供的终端设备的示意图。
[0027]具体实施方法
[0028]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0029]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0030]本专利技术方案中记一个有N个节点和T帧的骨骼序列的时空图为G＝(V,E)，其节点集合为V＝{v本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体动作识别对比学习网络模型的构建方法，其特征在于，包括：获取骨架时空序列特征图的骨架关节特征提取器，将骨架时空序列图的关节按照关节类型，帧索引和三维位置标识；根据所述骨架数据原始样本进行数据增强操作，将数据增强后的样本输入到有监督对比学习表征网络，以此获得动作特征表征；通过共享网络共享时空对比学习表征网络编码器参数，联合全连接层对所述视频序列进行动作识别。2.如权利要求1所述的人体动作识别方法，其特征在于，获取动作特征表征的具体步骤，包括：根据所述数据增强模块，经数据增强操作后，输入样本变为原始样本的两倍，将两份增强样本沿批次维度串联；根据所述一阶线性回归函数构建输入样本三维位置特征在高维空间的向量映射；将经过所述的时空对比学习表征网络编码器后的特征输入至全连接对比投影网络模块；将经过所述的投影网络模块训练后收敛拟合的对比学习表征网络编码器参数共享到共享网络，将增强样本输入至共享网络，将所述共享网络处理后的特征输入至全连接优化层。3.如权利要求1所述的样本数据增强模型的构建方法，其特征在于，根据骨架时空序列特征图中的局部特征和全局特征构建样本数据增强模型，在图结构化数据中，对于给定输入的一个小批量数据，有监督对比学习的目标是学习相同样本的增强实例之间的共享特征嵌入表示。4.根据权利要求1所述的时空对比学习表征网络编码器模型的构造方法，其特征在于，根据数据增强骨架序列特征在空间维度和时间维度构建时空对比学习表征模型，包括：根据所述数据增强后的样本输入的信道归一化运算；根据所述空间图卷积网络模型和关节表征知识挖掘模型进行卷积运算，得到空间拓扑结构优化模型；根据所述空间高维特征嵌入与时间帧索引序列联合后经过时间卷积构建时间注意力模型，然后进过一个最大池化层，得到骨架关节时空序列特征演化图。5.根据权利要求1所述的特征投影网络模型的构建方法，其特征在于，构建时空对比...

【专利技术属性】
技术研发人员：邓泽林，周浩，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：