基于骨架数据时空特征差异性和相关性的行为识别方法技术

本申请公开了一种基于骨架数据时空特征差异性和相关性的行为识别方法，涉及计算机视觉领域，该方法搭建的行为识别模块中包含空间图卷积模块和时间图卷积模块，空间图卷积模块包括时间特征学习单元、通道特征学习单元和时间通道上下文拓扑单元，时间特征学习单元和通道特征学习单元用于分别独立地学习时间帧维度和通道维度中关节之间的特征差异性和特征相关性，学习协同完成动作的关节之间特征的相关性，也学习因为运动发生而发生变化部分关节的特征差异性，时间通道上下文拓扑单元学习所有关节的全局上下文特征信息，获取更多具有判别性的特征，融合后可以更有效地人体行为识别。别。别。

【技术实现步骤摘要】
基于骨架数据时空特征差异性和相关性的行为识别方法


[0001]本申请涉及计算机视觉领域，尤其是一种基于骨架数据时空特征差异性和相关性的行为识别方法。

技术介绍

[0002]人体的骨架数据是一种自然的拓扑数据结构，能够更好地反映时空信息和人体运动特征，因此基于人体的骨架数据的行为识别近年来受到越来越多的关注和研究。
[0003]传统方法利用卷积神经网络CNNs
‑
based的方法和基于循环神经网络RNNs
‑
based的方法来基于骨架数据进行行为识别，识别效果较差。图卷积网络GCNs在任意图结构上都具有良好的性能，因此更多的学者将其用于基于骨架数据的行为识别，Yan等人首次提出ST
‑
GCN，即Spatial
‑
Temporal GCN将GCN应用于基于骨架数据的行为识别，相较于传统方法有一定的性能提升。但是由于骨架数据较为特殊，有一些没有物理连接的关节部分对行为识别有很强的影响，还有一些关节对行为识别的作用又较弱，所以即便是ST
‑
GCN的行为识别的效果也不够理想。

技术实现思路

[0004]本申请人针对上述问题及技术需求，提出了一种基于骨架数据时空特征差异性和相关性的行为识别方法，本申请的技术方案如下：
[0005]一种基于骨架数据时空特征差异性和相关性的行为识别方法，该行为识别方法包括：
[0006]对多种行为动作的共N
×
M组样本骨架数据进行特征提取，得到每组样本骨架数据的骨架特征序列数据，每组样本骨架数据的骨架特征序列数据包括C个通道，每个通道包括所有V个关节在连续T个时间帧的关节骨骼特征数据；
[0007]将每组样本骨架数据的骨架特征序列数据作为行为识别模型的输入、样本骨架数据对应的行为动作作为行为识别模型的输出，利用所有样本骨架数据的骨架特征序列数据训练行为识别模型；
[0008]提取待识别的骨架数据的骨架特征序列数据并输入训练得到的行为识别模型，输出识别得到的行为动作；
[0009]其中，行为识别模型包括依次连接的空间图卷积模块、时间图卷积模块和分类模块，空间图卷积模块包括时间特征学习单元、通道特征学习单元和时间通道上下文拓扑单元，时间特征学习单元用于在时间帧维度学习输入的骨架特征序列数据的特征差异性和特征相关性得到特征Y
TFDCL
，通道特征学习单元用于在通道维度学习输入的骨架特征序列数据的特征差异性和特征相关性得到特征Y
CFDCL
，时间通道上下文拓扑单元用于动态学习输入的骨架特征序列数据的全局上下文特征得到特征Y
TCCT
，空间图卷积模块输出对特征Y
TFDCL
、特征Y
CFDCL
和特征Y
TCCT
融合后的空间特征Y；时间图卷积模块对空间特征Y提取时间特征信息后输入分类模块进行分类，输出识别得到的行为动作。
[0010]本申请的有益技术效果是：
[0011]本申请公开了一种基于骨架数据时空特征差异性和相关性的行为识别方法，该方法分别独立地学习时间帧维度和通道维度中关节之间的特征差异性和特征相关性，学习协同完成动作的关节之间特征的相关性，也学习因为运动发生而发生变化部分关节的特征差异性，且考虑到所有关节都参与了保持运动进程和身体平衡，重点加强在样本动作中具有高影响力的关节特征，并学习所有关节的全局上下文特征信息，获取更多具有判别性的特征，从而可以更有效地人体行为识别。
附图说明
[0012]图1是本申请一个实施例的行为识别方法的方法流程图。
[0013]图2是本申请一个实施例搭建的行为识别模型的网络结构图。
[0014]图3是本申请一个实施例中的空间图卷积模型的网络结构图。
[0015]图4是本申请一个实施例中的时间图卷积模块的网络结构图。
具体实施方式
[0016]下面结合附图对本申请的具体实施方式做进一步说明。
[0017]本申请公开了一种基于骨架数据时空特征差异性和相关性的行为识别方法，请参考图1所示的流程图，该行为识别方法包括如下步骤：
[0018]步骤S1，对多种行为动作的共N
×
M组样本骨架数据进行特征提取，得到每组样本骨架数据的骨架特征序列数据，N和M分别为参数，在常规应用中，一般以N表示样本骨架数据的批量数，M表示每个批量中包含的人体的数量。
[0019]通过姿态估算算法在人体的行为动作的视频中的各个时间帧提取关节点，即能得到一组样本骨架数据。采集各组样本骨架数据的数据形式包括深度信息、3D骨架信息、RGB帧以及红外序列。
[0020]对每组样本骨架数据提取到的骨架特征序列数据包括C个通道，每个通道包括所有V个关节在连续T个时间帧的关节骨骼特征数据，因此提取得到的每组样本骨架数据的骨架特征序列数据不同通道包含不同类型的动作特征，常见的关节骨骼特征数据一般以三维坐标系中的坐标来表示，则三个通道分别对应三维坐标系中的三个坐标轴，每个通道的关节骨骼特征数据是对应的一个坐标轴的坐标数据。
[0021]在一个实施例中，提取得到的每组样本骨架数据包括多种类型的骨架特征序列数据，包括关节特征序列数据、骨骼特征序列数据、关节运动特征序列数据和骨骼运动特征序列数据，分别介绍如下：
[0022](1)提取样本骨架数据的任意一个通道中任意一个关节在每个时间帧上的坐标数据得到关节特征序列数据。比如任意关节i在时间帧t的三维坐标分别为(x
i,t
,y
i,t
,z
i,t
)，三维坐标中的每个坐标数据分别对应一个通道。
[0023](2)提取样本骨架数据的任意一个通道中任意一段骨骼在每个时间帧上的向量数据得到骨骼特征序列数据，每段骨骼的向量数据是骨骼的靠近人体骨架重心的源关节指向远离人体骨架重心的目标关节的向量。
[0024]比如任意骨骼e
i,j
的源关节为关节i且在时间帧t的三维坐标为(x
i,t
,y
i,t
,z
i,t
)，该
骨骼e
i,j
的目标关节为关节j且在时间帧t的三维坐标为(x
j,t
,y
j,t
,z
j,t
)，则该骨骼e
i,j
在时间帧t的向量数据为(x
j,t
‑
x
i,t
,y
j,t
‑
y
i,t
,z
j,t
‑
z
i,t
)，三维坐标中的每个坐标数据分别对应一个通道。
[0025](3)提取样本骨架数据的任意一个通道中任意一个关节在任意一个时间帧上的坐标数据至关节在同一个通道的下一个时间帧上的坐标数据的移动向量，得到关节运动特征序列数据。...

【技术保护点】

【技术特征摘要】
1.一种基于骨架数据时空特征差异性和相关性的行为识别方法，其特征在于，所述行为识别方法包括：对多种行为动作的共N
×
M组样本骨架数据进行特征提取，得到每组样本骨架数据的骨架特征序列数据，每组样本骨架数据的骨架特征序列数据包括C个通道，每个通道包括所有V个关节在连续T个时间帧的关节骨骼特征数据；将每组样本骨架数据的骨架特征序列数据作为行为识别模型的输入、所述样本骨架数据对应的行为动作作为所述行为识别模型的输出，利用所有样本骨架数据的骨架特征序列数据训练所述行为识别模型；提取待识别的骨架数据的骨架特征序列数据并输入训练得到的所述行为识别模型，输出识别得到的行为动作；其中，所述行为识别模型包括依次连接的空间图卷积模块、时间图卷积模块和分类模块，所述空间图卷积模块包括时间特征学习单元、通道特征学习单元和时间通道上下文拓扑单元，所述时间特征学习单元用于在时间帧维度学习输入的骨架特征序列数据的特征差异性和特征相关性得到特征Y
TFDCL
，所述通道特征学习单元用于在通道维度学习输入的骨架特征序列数据的特征差异性和特征相关性得到特征Y
CFDCL
，所述时间通道上下文拓扑单元用于动态学习输入的骨架特征序列数据的全局上下文特征得到特征Y
TCCT
，所述空间图卷积模块输出对特征Y
TFDCL
、特征Y
CFDCL
和特征Y
TCCT
融合后的空间特征Y；所述时间图卷积模块对所述空间特征Y提取时间特征信息后输入分类模块进行分类，输出识别得到的行为动作。2.根据权利要求1所述的行为识别方法，其特征在于，所述时间特征学习单元学习输入的骨架特征序列数据F的特征差异性和特征相关性得到特征Y
TFDCL
的方法包括：利用第一时间卷积层作用于骨架特征序列数据F的时间帧维度进行卷积变换操作得到φ1(F)，利用第二时间卷积层作用于骨架特征序列数据F的时间帧维度进行卷积变换操作得到φ2(F)，对φ1(F)和φ2(F)在时间帧维度进行张量加法运算操作得到所有时间帧的特征相关性利用第三时间卷积层作用于骨架特征序列数据F的时间帧维度进行卷积变换操作得到φ3(F)，利用第四时间卷积层作用于骨架特征序列数据F的时间帧维度进行卷积变换操作得到φ4(F)，对φ3(F)和φ4(F)在时间帧维度进行张量减法运算操作，再经过激活函数tanh得到所有时间帧的特征差异性对所有时间帧的特征相关性T
corr
(F)和特征差异性T
diff
(F)融合得到特征Y
TFDCL
。3.根据权利要求2所述的行为识别方法，其特征在于，对所有时间帧的特征相关性T
corr
(F)和特征差异性T
diff
(F)融合得到特征Y
TFDCL
的方法包括：对所有时间帧的特征相关性T
corr
(F)和特征差异性T
diff
(F)在时间帧维度进行张量乘法运算操作后，经过激活函数softmax并与权重矩阵在时间帧维度进行张量乘法运算操作，得到特征Y
TFDCL
。4.根据权利要求1所述的行为识别方法，其特征在于，所述通道特征学习单元学习输入的骨架特征序列数据F的特征差异性和特征相关性得到特征Y
CFDCL
的方法包括：
利用第一通道卷积层作用于骨架特征序列数据F的通道维度进行卷积变换操作得到ψ1(F)，利用第二通道卷积层作用于骨架特征序列数据F的通道维度进行卷积变换操作得到ψ2(F)，对ψ1(F)和ψ2(F)在通道维度进行张量加法运算操作得到所有通道的特征相关性利用第三通道卷积层作用于骨架特征序列数据F的通道维度进行卷积变换操作得到ψ3(F)，利用第四通道卷积层作用于骨架特征序列数据F的通道维度进行卷积变换操作得到ψ4(F)，对ψ3(F)和ψ4(F)在通道维度进行张量减法运算操作，再经过激活函数tanh得到所有通道的特征差异性对所有通道的特征相关性C
corr
(F)和特征差异性C
diff
(F)融合得到特征Y
CFDCL
。5.根据权利要求4所述的行为识别方法，其特征在于，所述对所有通道的特征相关性C
corr
(F)和特征差异性C
diff
(F)融合得到特征Y
CFDCL
，包括：对所有通道的特征相关性C
corr
(F)和特征差异...

【专利技术属性】
技术研发人员：蒋敏，卿入心，孔军，
申请(专利权)人：江南大学，
类型：发明
国别省市：