基于多尺度跨时空有向时空图的步态情绪识别方法和系统技术方案

本发明专利技术公开了一种基于多尺度跨时空有向时空图的步态情绪识别方法和系统，包括3个多尺度时空有向自适应图卷积网络，每个多尺度时空有向自适应图卷积网络之前都有一个归一化层，之后是一个激活函数层和一个丢弃层，人体骨骼图通过3个多尺度时空有向自适应图卷积网络后，从输入数据中提取特征数据，然后执行全局平均池化层，对提取的特征进行全局特征平均池化，最后通过softmax层执行四种情感分类。本发明专利技术采用通过构建有向时空图，同时考虑到了时间流动方向，并且使用图深度学习在时间维度上提取节点间的联系，有向地更新节点特征，以达到较好地识别精度。到较好地识别精度。到较好地识别精度。

【技术实现步骤摘要】
recognition.2020:143
‑
152.]在G3D中，节点建立无向连接，并考虑其他节点的特征进行更新。Karg使用基于PCA的分类器，Crenn使用情感特征的支持向量机，Venture采用关节角度之间的自相关矩阵进行基于相似性的分类。Daoudi将关节运动表示为对称正定矩阵，并执行最近邻分类，LSTM使用递归神经网络来分类情绪，STEP构建了基于图卷积神经网络的自动编码器来提高分类任务的准确性。HAP通过将半监督自编码器添加到人体不同部位来执行分类任务。
[0005]从步态中识别情感面临着关键挑战。一些方法仅通过空间或时间模块进行特征提取，而没有考虑一帧与另一帧之间的依赖性。事实上，当一对节点强相关时，一个节点应该包含另一个节点的特征，以反映它们之间的连接。在多帧节点之间的连接是无向的，而步态实际上是时间方向上有方向性的。如果特征提取没有按照时间序列的方向进行更新，不同帧之间的节点会相互干扰，信号冗余将出现，这将影响每帧中节点特征的更新。

技术实现思路

[0006]在每个样本序列中，每帧图节点的空间特征属性，不应该仅仅取决于当前空间位置，也会受到前后邻居帧节点的影响，比如，一个人迈左脚动作，取决于他前面时刻的抬腿动作，和后面时刻的放腿动作，前后时间段的动作都和当前时刻相关。所以如何有效地提取这种相关性，是提高情绪识别精度的关键。
[0007]本专利技术直接通过多个时间卷积块堆叠，或者对节点进行无向连连，完成对时间维度特征提取。本专利技术采用通过构建有向时空图，同时考虑到了时间流动方向，并且使用图深度学习在时间维度上提取节点间的联系，有向地更新节点特征，以达到较好地识别精度。
[0008]本专利技术解决上述技术问题，采用的技术方案是：基于多尺度跨时空有向时空图的步态情绪识别方法，包括以下步骤：
[0009]构建人体骨骼图，每个关节代表一个节点，骨骼代表一条边。
[0010]采用多尺度跨时空的信息有向聚合方法提取特征，使用跨时空的方法，获取每帧节点与长时间距离的帧节点之间的联系，使用多尺度方法，获取每帧节点与远处节点之间的联系。
[0011]根据时间流动方向，将所有帧节点放入一个整体结构中，构建有向时空图。
[0012]使用多尺度自适应图卷积块，自适应地提取每帧节点与其多跳节点间的特征联系。
[0013]采用softmax进行情感分类。
[0014]本专利技术还提供一种基于多尺度跨时空有向时空图的步态情绪识别系统，包括3个多尺度时空有向自适应图卷积网络，每个多尺度时空有向自适应图卷积网络之前都有一个归一化层，之后是一个激活函数层和一个丢弃层，人体骨骼图通过3个多尺度时空有向自适应图卷积网络后，从联合数据中提取特征数据，然后执行全局平均池化层，对提取的特征进行全局特征平均池化，最后通过softmax层执行四种情感分类；
[0015]所述多尺度时空有向自适应图卷积网络，以有向方式聚合多帧节点信息，更新每个帧图节点，并提取每个帧图节点及其m阶邻居的特征，然后通过1
×
1自适应图卷积块进行自适应融合，从而融合各种尺度的特征。
[0016]所述多尺度时空有向自适应图卷积网络聚合了多帧中不同尺度的节点的特征，并
根据不同的时间跨度和每帧节点与邻居帧连接帧数，构建多个有向时空图。
[0017]一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现上述基于多尺度跨时空有向时空图的步态情绪识别方法。
[0018]上述技术方案具有如下有益效果：
[0019](1)提出了一种多尺度跨时空的信息有向聚合方法，有向提取特征。通过使用跨时空的方法，可以获取每帧节点与长时间距离的帧节点之间的联系。同时，通过使用多尺度方法，可以获取每帧节点与远处节点之间的联系。
[0020](2)根据时间流动方向，构建了有向时空图，通过构建有向时空图，将所有帧节点放入一个整体结构中。利用图深度学习的方法对节点进行更新，可以考虑到时间流向，避免特征信息的冗余。这种方式可以在时间维度上提取特征。
[0021](3)使用多尺度自适应图卷积块，自适应地提取多帧节点间联系。通过使用多尺度图卷积块，可以自适应地提取每帧节点与其多跳节点间的特征联系，并且自适应图卷块对不同图结构数据，可以学习不同的参数。
[0022](4)提出了一个多尺度跨时空有向自适应时空图卷积网络(MSDAST
‑
GCN)，其中节点特征数据的更新考虑了长时间和短时间距离其他帧的节点对当前帧的节点的影响。该网络将我们提出的多尺度跨时空信息有向聚合方法和有向时空图融入其中，以提取远距离时间和多尺度节点特征之间的联系。这种方法避免了以前方法中的特征冗余问题。同时，使用多尺度自适应图卷积块，将时间特征更新后的节点特征进行学习，最终提高了识别精度。
附图说明
[0023]图1为任意τ＝3帧节点连接方式图；
[0024]图2为任意τ＝5帧节点连接方式图；
[0025]图3为整体模型图；
[0026]图4为MSDAST
‑
GCN模块结构示意图；
[0027]图5为MSDAST
‑
GCN模块学习不同扩张率和尺度的特征图。
具体实施方式
[0028]在本专利技术的MSDAST
‑
GCN识别网络中，输入的数据是人体骨架的表示。具体数据形式使用图表示，每个关节代表一个节点，骨骼代表一条边。本专利技术的输入数据开始输入有向聚合模块。为了能够聚合时间模块特征，让每帧和其相邻的多个邻居帧构建有向时空图。当为了获取邻居帧多跳节点对当前帧的影响时，可以使用表示多跳邻居的邻接矩阵构建多尺度有向时空图，这就是多尺度有向聚合。为了减小时间复杂度，同时获取远距离帧节点间的联系，使用跨时间的方式构建多尺度跨时空有向聚合。当k设置为1，d设置为1时，就是有向聚合；当k大于1时，d设置为1时，就是多尺度有向聚合；当k和d同时大于1时，就是多尺度跨时空有向聚合。k代表了有向时空图构图时，每个节点与其在相邻帧的k跳邻居节点，d代表了构建有向时空图时，每帧节点与其余帧节点连接时的跨越帧数，d＝1时，就代表没有跨越。提取完时间特征后，将不同设置k和d的聚合网络输出特征分别输入不同设置m的多尺度自适应图卷块。m代表使用自适应图卷积块学习每帧图节点与其m跳邻居节点的特征联系。然后，将不同学习尺度的多尺度自适应图卷块输出特征进行融合，将融合后的特征数据进
行特征分类，识别成四种不同情绪。
[0029]构建人体骨骼图。人体骨骼图被表示为G＝(V,E)，其中V＝{v1,v2,...,v
N
}表示由N个节点表示的关节。E表示骨头的边的集合，由邻接矩阵A∈R
N
×
N
捕获。邻接矩阵A如公式(1.1)所示。作为图序列，存在节点特征集X＝{x
t,n
∈R
C
∣t,n∈1≤t≤T,1≤n≤N}，X∈R
T
×<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度跨时空有向时空图的步态情绪识别方法，其特征在于，包括以下步骤：构建人体骨骼图，每个关节代表一个节点，骨骼代表一条边；采用多尺度跨时空的信息有向聚合方法提取特征，使用跨时空的方法，获取每帧节点与长时间距离的帧节点之间的联系，使用多尺度方法，获取每帧节点与远处节点之间的联系；根据时间流动方向，将所有帧节点放入一个整体结构中，构建有向时空图；使用多尺度自适应图卷积块，自适应地提取每帧节点与其多跳节点间的特征联系；采用softmax进行情感分类。2.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法，其特征在于：所述人体骨骼图表示为G＝(V,E)，其中V＝{v1,v2,...,v
N
}表示由N个节点表示的关节，E表示骨头的边的集合，由邻接矩阵A捕获，邻接矩阵A如下式所示：d(v
i
,v
j
)表示节点i和j之间的最短距离；作为图序列，存在节点特征集X＝{x
t,n
∈R
C
∣t,n∈1≤t≤T,1≤n≤N}表示X∈R
T
×
N
×
G
，其中T是总的时间帧数，N代表每帧节点数量，R
C
代表每个节点特征，R
T
×
N
×
C
代表每个输入样本所有特征数据，x
t,n
＝X
t,n
是时间帧t中节点v
n
的C维特征向量，t代表输入数据的第几帧图，n表示第n个节点；输入步态用A和X来描述。3.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法，其特征在于：所述采用多尺度跨时空的信息有向聚合方法提取特征具体包括：在每次更新中，帧数据根据时间序列方向进行选择，并使用前后帧更新当前帧数据，更新方程下式，在图神经网络的第l层中，输出特征被表示为节点输入特征表示为Θ
l
代表图神经网络，δ是归一化函数；定义一个多尺度邻接矩阵：其中，d(v
i
,v
j
)表示节点i和j之间的最短距离，是自然状态下人体关节的结构图，是在k跳跃时得到的新的邻接矩阵，表示i的k跳邻居节点是j，将两个节点之间的k跳跃权重重置为1，以便于在特征聚合时，n跳节点和k跳节点(k≠n)具有相同的初始权重；为了提取远程节点特征，使用一种基于m跳邻居的分区策略，节点跳邻居集的分区策略定义为：
其中，r(v
i
)表示所有帧中节点i到重心的距离，r(v
j
)表示所有帧中节点j到重心的距离，j是i的m跳邻居，[A
m
]
i,j
表示了第i个节点和第j个节点相连；使用多尺度跨时间有向聚合更新方法，以提取不同帧节点之间的连接关系，使用两个聚合函数从源节点和目标节点提取特征gv
t
,gv
s
，，，，表示提取的指向i节点的源节点，表示提取的i节点指向的目标节点，表示指向当前节点的源节点，表示当前节点指向的目标节点，v
′
i
表示节点i更新后的特征，h
v
表示节点特征更新函数；使用多尺度定向连接，使每一帧中的节点与它们之前和之后的多帧多跳邻居之间的连接，多尺度有向时空图矩阵由多个原始的k跳邻接矩阵拼接而成，其中是输入每帧图的多尺度邻接矩阵，I是一个单位矩阵。4.根据权利要求1所述基于多尺度跨时空有向时空图的步态情绪识别方法，其特征在于：在整个时间序列上构建...

【专利技术属性】
技术研发人员：张家波，高洁，徐光辉，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：