一种基于多流三维自适应图卷积的人体行为识别方法技术

本发明专利技术公开了一种基于多流三维自适应图卷积的人体行为识别方法，包括：1)采集包含人体的视频，构建训练集；2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；3)构建自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM、三维时空域图卷积模块GCN

【技术实现步骤摘要】
一种基于多流三维自适应图卷积的人体行为识别方法


[0001]本专利技术涉及图像模式识别和深度神经网络的
，尤其是指一种基于多流三维自适应图卷积的人体行为识别方法。

技术介绍

[0002]目前，视频中的人体行为识别是目前计算机视觉领域中最活跃的研究主题之一，它在智能视频监控、人机交互、基于内容的视频检索、虚拟现实等方面具有广泛的应用前景和潜在经济价值。
[0003]传统的行为识别算法多用RGB视频作为输入，但当RGB视频中背景动态干扰较多，光照不稳定，噪声严重时，传统行为识别算法的效果会受到影响。近年来，与传统的使用RGB视频进行识别的方法相比，基于骨架的行为识别因其对动态环境和复杂背景的适应性强而越来越受到关注。
[0004]提取视频中人体骨架关节为顶点，其在人体中的自然连接为边作为行为识别算法输入能大大降低视频中的环境干扰对算法识别率的影响。现有的基于骨架的行为识别算法输入的骨架连接是根据人体自然连接定义的，没有充分利用骨架关节之间的信息，也没有充分利用关节的前后帧信息，同时对于时间域和空间域信息的利用较为独立，没有充分将关节之间的时空信息有效结合，因此急需提出一种自适应调节骨架连接并且充分融合空间时间信息的自适应图卷积识别方法。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于多流三维自适应图卷积的人体行为识别方法，该方法通过搜集大量视频中人体行为的骨架数据，并基于自适应图卷积网络技术，充分结合了原本孤立的骨架时空域相关性信息，实现了有效识别视频中人体行为的目的。
[0006]为实现上述目的，本专利技术所提供的技术方案为：一种基于多流三维自适应图卷积的人体行为识别方法，包括以下步骤：
[0007]1)采集包含人体的视频，标注视频中人体的骨架信息和行为类别，构建训练集；
[0008]2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；
[0009]3)利用自适应空间域注意力矩阵SAM构建自适应空间域注意力图卷积模块ASAGCM，利用自适应时间域注意力矩阵TAM构建自适应时间域注意力图卷积模块ATAGCM；构建三维时空域图卷积模块GCN
‑
3d；
[0010]4)利用自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM和三维时空域图卷积模块GCN
‑
3d构建自适应图卷积层；
[0011]5)利用自适应图卷积层构建自适应图卷积网络；
[0012]6)利用自适应图卷积网络构建多流三维自适应图卷积网络；
[0013]7)利用训练集训练多流三维自适应图卷积网络；
[0014]8)利用训练后的多流三维自适应图卷积网络对视频中的人体进行行为识别。
[0015]进一步，在步骤1)中，利用摄像头拍摄包含不同人体行为的视频，其视角要求为从人体正面拍摄，并将人体放在画面正中区域；
[0016]利用OpenPose算法检测视频中的人体骨架关键点，利用分区策略构建训练集，包括以下步骤：
[0017]1.1)提取人体骨架关键点
[0018]利用OpenPose算法检测视频中的人体骨架关键点，记录第i个人体行为所有帧的关键点的坐标信息和对应的行为标签，坐标信息x
i
记录为大小T
×
V的矩阵，记录规则为：x
i
的第t行第v列元素为第i个人体行为中第t帧时第v个关键点的x坐标与y坐标乘积；行为标签记录为T
×
1的向量y
i
，遍历视频的每一帧后得到人体骨架关键点关节训练集和对应的训练集标签其中，表示实数域，N为视频中不同行为的人体总数，T为行为经历的视频帧数，V为人体骨架关键点个数；
[0019]得到人体骨架关键点关节训练集X
J
后构建人体骨架关键点骨骼训练集构建规则如下：X
B
的第i元素为X
J
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的骨骼向量，因第一个关键点没有前一序号关键点，X
B
的第一个元素为其中为X
J
的平均值；
[0020]利用人体骨架关键点关节训练集X
J
构建人体骨架关键点关节动态训练集X
JM
，构建规则如下：X
JM
的第i元素为X
J
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的关节动态向量，因第一个关键点没有前一序号关键点，X
JM
的第一元素为X
J
的第一个关键点坐标x1；
[0021]利用人体骨架关键点骨骼训练集X
B
构建人体骨架关键点骨骼动态训练集X
BM
，构建规则如下：X
BM
的第i元素为X
B
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的骨骼动态向量，因第一个关键点没有前一序号关键点，X
BM
的第一元素为X
B
的第一个关键点坐标
[0022]1.2)根据分区策略构建训练集
[0023]根据分区策略将X
J
扩展得到分区骨架关键点关节训练集将X
B
扩展得到分区骨架关键点骨骼训练集将X
JM
扩展得到分区骨架关键点关节动态训练集将X
BM
扩展得到分区骨架关键点骨骼动态训练集K
v
是子集总数；
[0024]分区策略为：选取骨架中的任一关键点为根节点，遍历所有骨架中的所有点，以根节点直接相连的邻域为分区范围，将根节点分为子集合0，分区范围内比根节点更接近骨架重心的邻节点集合即近心点为子集合1，分区范围内比根节点更远离骨架重心的邻节点集合即远心点为子集合2；分区策略公式如下：
[0025][0026]式中，label
ti
(v
tij
)表示第t帧中第i个根节点邻域中第j个点的子集标签，v
tij
为第t帧中第i个根节点邻域中的第j个点，其中，t∈[1,T]，i∈[1,V]，r
ti
为第t帧中第i个根节点到t帧骨架重心的距离，r
tj
为第t帧中第i个根节点邻域中第j个点到t帧骨架重心的距离。
[0027]进一步，在步骤2)中，自适应空间域注意力矩阵SAM的计算方式如下：首先计算输入X的第二维得到空间方差矩阵Var
s
∈K
v
×
N，其中，输入X为分区骨架关键点关节训练集分区骨架关键点骨骼训练集分区骨架关键点关节动态训练集分区骨架关键点骨骼动态训练集当中的一种，K
v
是子集总数，N为视频中不同行为的人体总数，根据空间方差矩阵Var
s
计算空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多流三维自适应图卷积的人体行为识别方法，其特征在于，包括以下步骤：1)采集包含人体的视频，标注视频中人体的骨架信息和行为类别，构建训练集；2)利用训练集构建自适应空间域注意力矩阵SAM和自适应时间域注意力矩阵TAM；3)利用自适应空间域注意力矩阵SAM构建自适应空间域注意力图卷积模块ASAGCM，利用自适应时间域注意力矩阵TAM构建自适应时间域注意力图卷积模块ATAGCM；构建三维时空域图卷积模块GCN
‑
3d；4)利用自适应空间域注意力图卷积模块ASAGCM、自适应时间域注意力图卷积模块ATAGCM和三维时空域图卷积模块GCN
‑
3d构建自适应图卷积层；5)利用自适应图卷积层构建自适应图卷积网络；6)利用自适应图卷积网络构建多流三维自适应图卷积网络；7)利用训练集训练多流三维自适应图卷积网络；8)利用训练后的多流三维自适应图卷积网络对视频中的人体进行行为识别。2.根据权利要求1所述的一种基于多流三维自适应图卷积的人体行为识别方法，其特征在于：在步骤1)中，利用摄像头拍摄包含不同人体行为的视频，其视角要求为从人体正面拍摄，并将人体放在画面正中区域；利用OpenPose算法检测视频中的人体骨架关键点，利用分区策略构建训练集，包括以下步骤：1.1)提取人体骨架关键点利用OpenPose算法检测视频中的人体骨架关键点，记录第i个人体行为所有帧的关键点的坐标信息和对应的行为标签，坐标信息x
i
记录为大小T
×
V的矩阵，记录规则为：x
i
的第t行第v列元素为第i个人体行为中第t帧时第v个关键点的x坐标与y坐标乘积；行为标签记录为T
×
1的向量y
i
，遍历视频的每一帧后得到人体骨架关键点关节训练集和对应的训练集标签其中，表示实数域，N为视频中不同行为的人体总数，T为行为经历的视频帧数，V为人体骨架关键点个数；得到人体骨架关键点关节训练集X
J
后构建人体骨架关键点骨骼训练集构建规则如下：X
B
的第i元素为X
J
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的骨骼向量，因第一个关键点没有前一序号关键点，X
B
的第一个元素为其中为X
J
的平均值；利用人体骨架关键点关节训练集X
J
构建人体骨架关键点关节动态训练集X
JM
，构建规则如下：X
JM
的第i元素为X
J
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的关节动态向量，因第一个关键点没有前一序号关键点，X
JM
的第一元素为X
J
的第一个关键点坐标x1；利用人体骨架关键点骨骼训练集X
B
构建人体骨架关键点骨骼动态训练集X
BM
，构建规则如下：X
BM
的第i元素为X
B
的第i个关键点坐标与第i
‑
1个关键点坐标相减得到的骨骼动态向量，因第一个关键点没有前一序号关键点，X
BM
的第一元素为X
B
的第一个关键点坐标1.2)根据分区策略构建训练集根据分区策略将X
J
扩展得到分区骨架关键点关节训练集将X
B
扩展得
到分区骨架关键点骨骼训练集将X
JM
扩展得到分区骨架关键点关节动态训练集将X
BM
扩展得到分区骨架关键点骨骼动态训练集K
v
是子集总数；分区策略为：选取骨架中的任一关键点为根节点，遍历所有骨架中的所有点，以根节点直接相连的邻域为分区范围，将根节点分为子集合0，分区范围内比根节点更接近骨架重心的邻节点集合即近心点为子集合1，分区范围内比根节点更远离骨架重心的邻节点集合即远心点为子集合2；分区策略公式如下：式中，label
ti
(v
tij
)表示第t帧中第i个根节点邻域中第j个点的子集标签，v
tij
为第t帧中第i个根节点邻域中的第j个点，其中，t∈[1,T]，i∈[1,V]，r
ti
为第t帧中第i个根节点到t帧骨架重心的距离，r
tj
为第t帧中第i个根节点邻域中第j个点到t帧骨架重心的距离。3.根据权利要求1所述的一种基于多流三维自适应图卷积的人体行为识别方法，其特征在于：在步骤2)中，自适应空间域注意力矩阵SAM的计算方式如下：首先计算输入X的第二维得到空间方差矩阵Var
s
∈K
v
×
N，其中，输入X为分区骨架关键点关节训练集分区骨架关键点骨骼训练集分区骨架关键点关节动态训练集分区骨架关键点骨骼动态训练集当中的一种，K
v
是子集总数，N为视频中不同行为的人体总数，根据空间方差矩阵Var
s
计算空间域变化幅度矩阵Δ
s
∈1
×
V，V为人体骨架关键点个数，其中Δ
s
第j个元素为其中C为通道数，表示Var
s
中的第i行第j列元素，最终计算自适应空间域注意力矩阵SAM，其中第m行第n列的元素为其中为Δ
s
第m个元素，为Δ
s
第n个元素，max(Δ
s
)为Δ
s
所有元素中的最大值；自适应时间域注意力矩阵TAM的计算方式如下：首先计算输入X的第三维得到空间方差矩阵Var
t
∈K
v
×
T，T为行为经历的视频帧数，根据时间方差矩阵Var
t
计算时间域变化幅度矩阵Δ
t
∈T
×
1，其中Δ
t
第j个元素...

【专利技术属性】
技术研发人员：田联房，余陆斌，杜启亮，向照夷，
申请(专利权)人：华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：