基于骨架关节点的人体行为识别方法技术

一种基于骨架关节点的人体行为识别方法，步骤包括：步骤1)数据预处理：利用OpenPose从数据集视频中提取每一帧骨架信息；步骤2)归一化：对于步骤1)提取的骨架信息序列，将骨架关节在相应帧下的位置特征进行归一化，作为图卷积神经网络的输入；步骤3)使用图卷积神经网络对步骤2)得到的归一化的骨架关节的位置特征在时间和空间维度进行变换；步骤4)对图卷积神经网络输出的特征，通过平均池化和全连接层对特征进行分类输出。本技术方案解决了现有技术中存在的用图卷积网络进行关节点行为识别时候，难以学习无物理联系的关节之间的关系以及计算复杂度过大问题，为人体行为识别提供了快速、有效的方法。有效的方法。有效的方法。

【技术实现步骤摘要】
基于骨架关节点的人体行为识别方法


[0001]本专利技术涉及人体行为识别领域，本专利技术采用图卷积网络技术的关节点行为识别方法，具体是一种基于骨架关节点的人体行为识别方法。
技术背景
[0002]人体行为识别是计算机视觉领域中的一个重要课题，其目的是在视频或图像序列中得到正在进行的行为动作，判断其行为类别。近年来，人体行为识别在智能监控、人机交互、视频检索和运动分析都有广泛的应用。然而，由于视角变化、背景遮挡、光照变化以及类内变化大等产生的噪声影响，使人体行为识别成为一个具有挑战性的任务。
[0003]依据特征提取方式将行为识别划分为传统方式法和深度学习法，传统方式手工提取特征需要一定的相关知识，设计特征时耗费大量的人力物力；相较于传统方法，深度学习方法下，使用不同的深度特征提取网络，能够依据关注点不同适应特征变化。其中，基于骨架的人体动作识别因其对动态环境和复杂背景的良好鲁棒性而备受关注。
[0004]早期基于骨架进行动作识别的方法只是在各个时间步骤使用关节坐标形成特征向量，并对其进行时序分析。但这些方法能力有限，因为它们没有明确利用人类关节的空间关系。
[0005]在深度学习技术的发展下，将人体骨骼模型建模为时空图的图卷积网络(GCNs)取得了显著的性能。有研究者提出用图卷积网络进行关节点行为识别，但存在的主要问题有：(1)由于感受野较小，难以学习无物理联系的关节之间的关系。(2)计算复杂度过大。

技术实现思路

[0006]本专利技术要解决的技术问题是现有图卷积网络进行关节点识别感受野不足的问题。本专利技术提出一种基于骨架关节点的人体行为识别方法，步骤包括：
[0007]步骤1)数据预处理：利用OpenPose从数据集视频中提取每一帧骨架信息；
[0008]步骤2)归一化：对于步骤1)提取的骨架信息序列，将骨架关节在相应帧下的位置特征进行归一化，作为图卷积神经网络的输入；
[0009]步骤3)使用图卷积神经网络对步骤2)得到的归一化的骨架关节的位置特征在时间和空间维度进行变换；
[0010]图卷积神经网络是由图卷积网络GCN和时间卷积网络TCN构成；交替使用GCN和TCN；
[0011]3.1)所述GCN是使用空间移位图运算，建立的轻量级空间移位图卷积模型；
[0012]3.2)所述TCN是使用时间移位图运算，建立的轻量级自适应时间移位图卷积模型；
[0013]步骤4)对图卷积神经网络输出的特征，通过平均池化和全连接层对特征进行分类输出。
[0014]本技术方案解决了现有技术中存在的用图卷积网络进行关节点行为识别，难以学习无物理联系的关节之间的关系以及计算复杂度过大问题，为人体行为识别提供了快速、
有效的方法。
附图说明
[0015]图1是本实施例的基于骨架关节点的人体行为识别方法流程图；
[0016]图2是本实施例的图卷积网络结构图。
具体实施方式
[0017]本专利技术在卷积网络中应用移位图卷积的方法，通过将信息从邻居节点移位到当前节点来解决感受野不足的问题，并使每个节点的感受野覆盖整个骨架图，使其自适应地学习关节点之间的关系。
[0018]本专利技术首先把关节点数据输入图卷积网络，然后将其馈送到图卷积网络模型中进行行为特征的提取，最终得到行为识别结果。
[0019]下面结合附图与具体实施方式对本专利技术进一步说明：
[0020]一种基于骨架关节点的人体行为识别方法，步骤包括：
[0021]步骤1:数据预处理，利用OpenPose从数据集视频中提取每一帧骨架信息。
[0022]步骤2:归一化，对于步骤1提取的骨架序列，将关节在不同帧下的位置特征进行归一化，作为网络的输入。
[0023]步骤3:图卷积神经网络，网络由两部分组成，GCN和TCN。图卷积模块交替使用GCN和TCN，对时间和空间维度进行变换。
[0024](一)对于GCN，使用了空间移位图运算，建立轻量级的空间移位图卷积模型。
[0025]空间移位卷积由两种操作组成:(1)身体骨架图的节点之间进行移位图操作：给定一个空间骨架特征映射F∈R
N
×
C
第i个通道的移位距离为i mod N；其中，N为关节点数，C为输入特征维数。移位后的通道用来填充相应的空白空间。对F的每个节点进行上述移位操作，移位后，每个节点都能够从其他节点获取信息。(2)应用逐点卷积进行信道间的信息交换。
[0026]接下来利用自适应，解决骨骼重要性不同的问题。计算移位特征和可学习掩码之间的元素积：
[0027]该式计算了一个可学习掩码Mask与移位特征之间的元素积，其中，可学习的掩码用tanh(M)+1来计算，M为需要计算的关节点。
[0028](二)对于TCN，使用了时间移位图运算，建立轻量级自适应时间移位图卷积对骨架序列进行建模。
[0029]时间移位图卷积由两种操作组成：(1)先进行时间移位操作：给定一个骨架序列特征F∈R
N
×
T
×
C
，每个信道都有一个可学习的时移参数S
i
,i＝1,2,
…
，C.如果该参数是整数，那么无法传递梯度，因此将时间移位参数从整数约束放宽到实数约束，利用线性插值的方式进行插值计算；将时间移位参数从整数约束放宽到实数约束。非整数移位可以通过线性插值计算:值计算:式中此操作可微，可通过反向传播进行训练。(2)逐点卷积。
[0030]式中，v为节点，将整数实数化后产生的余量用λ表示，由于实数化后，锚点落在了之间，因此在这个区间进行插值；
[0031]步骤4：通过平均池化和全连接层对特征进行分类。全连接层使用了dropout技术避免过拟合，以0.5的概率随机失活神经元。优化算法采用了随机梯度下降，学习率是0.01，每10个epoch衰减0.1。
[0032]随机梯度下降算法的迭代过程表示为:
[0033]其中，η是学习率，随机选取了i个数据样本，是该样本对应加数函数的梯度。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于骨架关节点的人体行为识别方法，其特征是步骤包括：步骤1)数据预处理：利用OpenPose从数据集视频中提取每一帧骨架信息；步骤2)归一化：对于步骤1)提取的骨架信息序列，将骨架关节在相应帧下的位置特征进行归一化，作为图卷积神经网络的输入；步骤3)使用图卷积神经网络对步骤2)得到的归一化的骨架关节的位置特征在时间和空间维度进行变换；图卷积神经网络是由图卷积网络GCN和时间卷积网络TCN构成；交替使用GCN和TCN；3.1)所述GCN是使用空间移位图运算，建立的轻量级空间移位图卷积模型；3.2)所述TCN是使用时间移位图运算，建立的轻量级自适应时间移位图卷积模型；步骤4)对图卷积神经网络输出的特征，通过平均池化和全连接层对特征进行分类输出。2.根据权利要求1所述的基于骨架关节点的人体行为识别方法，其特征是所述步骤3.1)中，空间移位图卷积模型的操作包括：a、先对身体骨架图的节点之间进行移位图操作：给定一个空间骨架特征映射F∈R
N
×
C
第i个通道的移位距离为i mod N。移位后的通道用来填充相应的空白空间。对F的每个节点进行上述移位操作，移位后，每个节点都能够从其他节点获取信息；其中，N为关节点数，C为输入特征维数；b、再应用逐点卷积进行信道间的信息交换；利用自适应，解决骨骼重要性不同的问题；通过下式，来体...

【专利技术属性】
技术研发人员：张华，姚锐琳，张正，
申请(专利权)人：江苏集萃未来城市应用技术研究所有限公司，
类型：发明
国别省市：