一种融合内外依赖的人体骨架动作识别方法技术

本发明专利技术涉及一种基于融合内外依赖的人体骨架动作识别方法，包括以下步骤：步骤S1:基于骨架数据集Kinetics和NTU

【技术实现步骤摘要】
一种融合内外依赖的人体骨架动作识别方法


[0001]本专利技术涉及动作识别领域，具体涉及一种基于融合内外依赖的人体骨架动作识别方法。

技术介绍

[0002]人体动作识别对于视频理解有着重要的作用，近年来被广泛应用于视频监控、人机交互，虚拟现实等领域。通常，人体动作可以通过多种模式来识别，例如RGB图像序列、深度图像序列、人体动态骨架等。在这些模式中，动态骨架数据包含丰富的时空信息，而且相比其他模式，动态骨架数据对于复杂背景和场景变化具有鲁棒性。因此，基于动态骨架的人体动作识别成为近年重点关注的研究领域。
[0003]传统的骨架动作识别方法主要通过将每一帧的关节坐标编码成向量，然后运用时间序列分析方法来进行模式学习。这些方法由于没有充分利用关节之间的空间关系，很难获得理想的识别效果。事实上，人体骨架天然构成一个以关节为节点、关节间的自然连通性为边的图结构，所以借助于图学习手段来实现骨架动作识别具有很好的研究价值。然而单独使用GCN完成动态骨架的建模也存在问题，其中主要是缺乏时序信息支撑。时空图是一种将空间位置关系和时序演化关系融合在一起的新型数据结构，所以基于时空图挖掘手段来完成骨架动作识别是研究的热点。可是传统的时空图挖掘手段只考虑了空间中关节间的内在依赖(自然物理连接)，而忽略了远距离关节间的外在依赖(非物理连接关系)，这可能会导致模型遗漏掉动作的关键模式。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于融合内外依赖的人体骨架动作识别方法，有效提高人体骨架动作识别效率及精确度。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于融合内外依赖的人体骨架动作识别方法，包括以下步骤：
[0007]步骤S1:基于骨架数据集Kinetics和NTU
‑
RGB+D，构建训练数据集；
[0008]步骤S2:构建时空骨架图；
[0009]步骤S3:基于时空骨架图，构建融合内外依赖的时空图卷积模型，并基于训练数据集训练，得到人体骨架动作识别模型；
[0010]步骤S4：基于人体骨架动作识别模型，进行动作识别。
[0011]进一步的，所述步骤S2具体为：时空骨架图的构建考虑内在依赖和外在依赖，并分别使用邻接矩阵和来区分,其中n代表人体关节的总个数，如果i关节与j关节的连接关系是人体的自然物理连接，则被称为内在依赖，对应A
ij
＝1，B
ij
＝0；否则节点之间被认为隐含外在依赖，即A
ij
＝0，B
ij
＝1。
[0012]进一步的，所述融合内外依赖的时空图卷积模型由时空卷积层堆叠而成，每层时空卷积层分别由内外融合图卷积和时间卷积组成；所述内外融合图卷积由内在图卷积和外
在图卷积融合而成。。
[0013]进一步的，所述内在图卷积将节点邻域划分根节点、向心节点集和离心节点集，三个子集：每个子集对应一个数字标签，表征内在依赖的邻接矩阵A分解成了三个子邻接矩阵A
r
、A
p
、A
f
来分别代表根节点、向心节点集、离心节点集，即A+I＝A
r
+A
p
+A
f
，内在图卷积的定义如公式1所示：
[0014][0015]其中：Q＝{r,p,f}，F
in
是骨架图中所有关节的输入特征；是骨架图中所有关节的输入特征；是每个子集的对角度矩阵，定义为D
qii
＝∑
i
(A
q
)
ij
；；是每个子集的归一化邻接矩阵；
⊙
代表按元素位相乘的哈达玛内积；和是每个子集的可学习权重矩阵，分别代表边权重和特征权重,代表内在依赖图卷积的输出特征。
[0016]进一步的，所述外在图卷积用邻接矩阵B实现，定义如下式：
[0017][0018]其中：D
b
是邻接矩阵B对应的度矩阵；M
b
和W
b
分别是外在依赖图卷积的边权重矩阵和特征权重矩阵；F
b
代表外在依赖图卷积。
[0019]进一步的，所述内外融合图卷积通过叠加的方式将内在图卷积和外在图卷积(EGCN)融合在一起，定义如公式(3)
[0020][0021]其中，F
out
是内外融合图卷积的输出特征。
[0022]本专利技术与现有技术相比具有以下有益效果：
[0023]本专利技术融合内外依赖的时空图卷积模型(Internal and ExternalDependences based Spatio
‑
Temporal GCN，IED
‑
STGCN)，通过自主学习的方式同时捕获空间内在依赖、空间外在依赖以及时间依赖，与一般模型相比，IED
‑
STGCN对动态骨架的表征能力更加广泛，能有效提高人体骨架动作识别效率及精确度。
附图说明
[0024]图1是本专利技术一实施例中内外融合图卷积(IEGCN)的计算过程简化图；
[0025]图2是本专利技术IED
‑
STGCN模型的总体架构图。
具体实施方式
[0026]下面结合附图及实施例对本专利技术做进一步说明。
[0027]请参照图1，本专利技术提供一种基于融合内外依赖的人体骨架动作识别方法，包括以
下步骤：
[0028]步骤S1:基于骨架数据集Kinetics和NTU
‑
RGB+D，构建训练数据集；
[0029]步骤S2:构建时空骨架图；
[0030]步骤S3:基于时空骨架图，构建融合内外依赖的时空图卷积模型，并基于训练数据集训练，得到人体骨架动作识别模型；
[0031]步骤S4：基于人体骨架动作识别模型，进行动作识别。
[0032]在本实施例中，时空骨架图的构建考虑内在依赖和外在依赖，并分别使用邻接矩阵和来区分,其中n代表人体关节的总个数，如果i关节与j关节的连接关系是人体的自然物理连接，则被称为内在依赖，对应A
ij
＝1，B
ij
＝0；否则节点之间被认为隐含外在依赖，即A
ij
＝0，B
ij
＝1。
[0033]在本实施例中，融合内外依赖的时空图卷积模型由时空卷积层堆叠而成，每层时空卷积层分别由内外融合图卷积和时间卷积组成；所述内外融合图卷积由内在图卷积和外在图卷积融合而成。。
[0034]述内在图卷积将节点邻域划分根节点、向心节点集和离心节点集，三个子集：每个子集对应一个数字标签，表征内在依赖的邻接矩阵A 分解成了三个子邻接矩阵A
r
、A
p
、A
f
来分别代表根节点、向心节点集、离心节点集，即A+I＝A
r
+A...

【技术保护点】

【技术特征摘要】
1.一种基于融合内外依赖的人体骨架动作识别方法，其特征在于，包括以下步骤：步骤S1:基于骨架数据集Kinetics和NTU
‑
RGB+D，构建训练数据集；步骤S2:构建时空骨架图；步骤S3:基于时空骨架图，构建融合内外依赖的时空图卷积模型，并基于训练数据集训练，得到人体骨架动作识别模型；步骤S4：基于人体骨架动作识别模型，进行动作识别。2.根据权利要求1所述的基于融合内外依赖的人体骨架动作识别方法，其特征在于，所述步骤S2具体为：时空骨架图的构建考虑内在依赖和外在依赖，并分别使用邻接矩阵和来区分,其中n代表人体关节的总个数，如果i关节与j关节的连接关系是人体的自然物理连接，则被称为内在依赖，对应A
ij
＝1，B
ij
＝0；否则节点之间被认为隐含外在依赖，即A
ij
＝0，B
ij
＝1。3.根据权利要求1所述的基于融合内外依赖的人体骨架动作识别方法，其特征在于，所述融合内外依赖的时空图卷积模型由时空卷积层堆叠而成，每层时空卷积层分别由内外融合图卷积和时间卷积组成；所述内外融合图卷积由内在图卷积和外在图卷积融合而成。4.根据权利要求3所述的基于融合内外依赖的人体骨架动作识别方法，其特征在于，所述内在图卷积将节点邻域划分根节点、向心节点集和离心节点集，三个子集：每个子集对应一个数字标签，表征内在依赖的邻接矩阵A分解...

【专利技术属性】
技术研发人员：毛国君，王一锦，
申请(专利权)人：福建工程学院，
类型：发明
国别省市：