一种基于多流融合图卷积网络的行为识别方法技术

本发明专利技术属于行为识别技术领域，具体为一种基于多流融合图卷积网络的行为识别方法。本发明专利技术主要通过提取并融合多类行为信息进行行为识别，分为三个阶段进行：数据预处理、特征提取、特征融合。在数据预处理阶段，提出三种骨架规范化措施，减少人体位置、摄像机视角和人体与摄像机距离等因素对人体骨架数据表示的影响；在特征提取阶段，构建骨架的全局连接图，直接学习远距离关节点之间的相互关系；在特征融合阶段，分两阶段来融合三类信息的特征。本发明专利技术针所提出的方法更加有效的利用了多类行为的互补信息，提出的骨架规范化措施使得人体骨架的表示具有仿射不变性，降低了网络的训练难度，在公开数据集上取得了较好的结果。在公开数据集上取得了较好的结果。在公开数据集上取得了较好的结果。

【技术实现步骤摘要】
一种基于多流融合图卷积网络的行为识别方法


[0001]本专利技术属于行为识别
，具体涉及一种基于多流融合图卷积网络的行为识别方法。

技术介绍

[0002]行为识别的目标是识别出视频中人的行为，该技术在智慧安防、视频检索、智能照护、高级人机交互等领域均发挥着重要的作用，因此受到学术界和工业界的广泛关注。行为识别分为基于静态图像的行为识别和基于视频的行为识别两大研究方向，前者仅仅根据单张图像识别图像中人的行为，忽略了运动信息；而后者则是根据从视频中获取的图像序列来识别。基于视频的行为识别方法可以根据输入数据的不同分为两种类型：基于图像的行为识别方法和基于人体骨架的行为识别方法，前者的输入是图像序列，而后者的输入则是人体骨架序列。基于图像的行为识别方法，易受图像数据的背景环境，光照和视角等因素的影响，且该类方法需要较大的计算量，在实际应用中需要较高的算力。相比于基于图像的行为识别方法，基于人体骨架的行为识别方法更加鲁棒，不受背景环境的影响，且计算量更小，成为近年来研究的热点。人体骨架中包含关节点信息、骨骼信息和运动信息，这三类信息紧密联系且相互补充。然而，主流方法对多类信息的融合方式较为简单，未充分挖掘多类信息间的互补性。

技术实现思路

[0003]为解决现有技术存在的问题，本专利技术提出了一种基于多流融合图卷积网络的行为识别方法。该方法是针对现有模型没有很好的挖掘多类信息间互补性这一缺陷进行的改进。本专利技术提出的骨架规范化措施使得人体骨架的表示具有仿射不变性，降低了网络的训练难度；本专利技术针对现有方法对多类信息的融合方式较为简单、未充分挖掘多类信息间互补性的问题，所提出的方法能够更好的提取和融合多类行为特征，更加有效的利用了多类行为的互补信息，提高了行为识别的准确率。
[0004]本专利技术主要通过提取并融合多类行为信息进行行为识别，分为三个阶段进行：数据预处理、特征提取、特征融合。在数据预处理阶段，提出三种骨架规范化措施，减少人体位置、摄像机视角和人体与摄像机距离等因素对人体骨架数据表示的影响；在特征提取阶段，构建骨架的全局连接图，直接学习远距离关节点之间的相互关系；在特征融合阶段，分两阶段来融合三类信息的特征。本专利技术的技术方案具体介绍如下。
[0005]本专利技术提出一种基于多流融合图卷积网络的行为识别方法，其分为3个阶段：数据预处理、特征提取、特征融合；其中：
[0006]数据预处理阶段，利用骨架规范化模块对输入的人体骨架序列数据即关节点数据进行处理，得到规范化的人体骨架数据，然后进一步求出骨骼数据和运动数据。骨骼数据通过求得相邻关节点之间构成的向量获得，运动数据通过求得相邻帧之间的同一个关节点的位移获得。其中，人体骨架序列数据可以表示为T表示骨架序列的长度，本专利技术
中T取300，x
t
∈R
V
×
C
表示第t个骨架的关节点坐标，V表示人体骨架中关节点的数目，本专利技术中V＝14，C表示关节点坐标的维度，本专利技术中C＝3，表示每个关节点有x、y、z三个坐标。
[0007]其中，人体关节编号及其含义如下：
[0008]0：颈；1：头；2：右肩；3：右肘；4：右腕；5：左肩；6：左肘；7：左腕；
[0009]8：右臀；9：右膝；10：右踝；11：左臀；12：左膝；13：左踝。
[0010]特征提取阶段，利用时空图卷积网络分别提取关节点数据、骨骼数据和运动数据的时空特征，获得关节点特征、骨骼特征和运动特征；
[0011]特征融合阶段，利用多流特征融合网络进一步融合关节点特征、骨骼特征和运动特征，再通过分类器得到行为的预测结果；其中，利用多流特征融合网络进行融合的方法如下：
[0012]第一阶段，首先将三种特征两两拼接，将拼接后的特征输入到两个连续的图卷积单元，融合两类信息的特征；之后，将融合的特征输入到池化层；
[0013]第二阶段，池化层后连接两个全连接层，两个全连接层中有一个ReLU层，得到三个分类特征f0、f1和f2，然后融合三路特征得到总体分类特征f3，f3＝f0+f1+f2。
[0014]本专利技术中，数据预处理阶段的骨架规范化模块提出了骨架规范化方法，其包含位置规范化、视角规范化和尺度规范化三个处理步骤，具体如下：
[0015](1)位置规范化
[0016]首先对输入骨架序列进行位置规范化处理，即给定人体骨架序列其中,x
t
表示序列中的第t个骨架，T表示序列的长度，按下式更新所有关节点的坐标：
[0017][0018]其中，x
t,i
表示骨架x
t
的第i个关节点坐标，i＝0,1,
…
,13。记经过位置规范化处理后的骨架序列为X1，上式中的即为X1的第t个骨架的第i个关节点坐标。
[0019](2)视角规范化
[0020]然后对位置规范化后的骨架序列X1进行旋转变化。具体来说，即首先根据序列X的第1个骨架x1确定旋转矩阵R，公式如下：
[0021][0022]其中，向量v
x
、v
y
、v
z
由x1确定，分别计算如下：
[0023](a)根据x1的2号关节和5号关节确定水平方向向量v
x
，：
[0024]v
x
＝x
1,5
‑
x
1,2
[0025](b)根据下式确定v
y
：
[0026][0027]其中，v
1,0
表示骨架x1中1号关节点指向0号关节点的向量，即：
[0028]v
1,0
＝x
1,1
‑
x
1,0
[0029]表示v
1,0
在v
x
上的投影；
[0030](c)获得v
x
和v
y
后，再按下式求与这两个向量垂直的向量v
z
：
[0031]v
z
＝v
x
×
v
y
[0032]然后按照下式旋转X1中所有关节点的坐标：
[0033][0034]其中，的第j个关节点坐标，j＝0,1,
…
,13。记经过视角规范化处理后的骨架序列为X2，上式中的即为X2的第t个骨架的第j个关节点坐标。
[0035](3)尺度规范化
[0036]最后进行尺度规范化处理，对于骨架序列X2，首先将0号和1号关节点的距离缩放到1，即按下式计算缩放因子r：
[0037][0038]然后按下式更新X2中所有关节点的坐标：
[0039][0040]记经过尺度规范化处理后的骨架序列为X3，上式中的即为X3的第t个骨架的第k个关节点坐标。
[0041]本专利技术中，特征提取阶段中，通过时空图卷积网络来提取关节数据、骨骼数据和运动数据的时空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多流融合图卷积网络的行为识别方法，其特征在于，其分为3个阶段：数据预处理、特征提取、特征融合；其中：数据预处理阶段，利用骨架规范化模块对输入的人体骨架序列数据即关节点数据进行处理，得到规范化的人体骨架序列数据，然后进一步通过求得相邻关节点之间构成的向量获得骨骼数据，通过求得相邻帧之间的同一个关节点的位移获得运动数据；其中：人体骨架序列数据表示为T表示骨架序列的长度，T取300，x
t
∈R
V
×
C
表示第t个骨架的关节点坐标，V表示人体骨架中关节点的数目，V＝14，C表示关节点坐标的维度，C＝3，表示每个关节点有x、y、z三个坐标；其中，人体关节编号及其含义如下：0：颈；1：头；2：右肩；3：右肘；4：右腕；5：左肩；6：左肘；7：左腕；8：右臀；9：右膝；10：右踝；11：左臀；12：左膝；13：左踝；特征提取阶段，利用时空图卷积网络分别提取关节点数据、骨骼数据和运动数据的时空特征，获得关节点特征、骨骼特征和运动特征；特征融合阶段，利用多流特征融合网络进一步融合关节点特征、骨骼特征和运动特征，再通过分类器得到行为的预测结果；利用多流特征融合网络进行融合的方法如下：第一阶段，首先将三种特征两两拼接，将拼接后的特征输入到两个连续的图卷积单元，融合两类信息的特征；之后，将融合的特征输入到池化层；第二阶段，池化层后连接两个全连接层，两个全连接层中有一个ReLU层，得到三个分类特征f0、f1和f2，然后融合三路特征得到总体分类特征f3，f3＝f0+f1+f2。2.根据权利要求1所述的基于多流融合图卷积网络的行为识别方法，其特征在于，数据预处理阶段的骨架规范化模块提出了骨架规范化方法，其包含位置规范化、视角规范化和尺度规范化三个处理步骤，具体如下：(1)位置规范化首先对输入骨架序列进行位置规范化处理，即给定人体骨架序列其中,x
t
表示序列中的第t个骨架，T表示序列的长度，按下式更新所有关节点的坐标：其中，x
t,i
表示骨架x
t
的第i个关节点坐标，i＝0,1,
…
,13，记经过位置规范化处理后的骨架序列为X1，上式中的即为X1的第t个骨架的第i个关节点坐标；(2)视角规范化然后对位置规范化后的骨架序列X1进行旋转变化；具体来说，即首先根据序列X的第1个骨架x1确定旋转矩阵R，公式如下：其中，向量v
x
、v
y
、v
z
由x1确定，分别计算如下：(a)根据x1的2号关节和5号关节确定水平方向向量v
x
，：v
x
＝x
1,5
‑
x
1,2
(b)根据下式确定v
y
：
其中，v
1,0
表示骨架x1中1号关节点指向0号关节点的向量，即：v
1,0
＝x
1,1
‑
x
1,0
表示v
1,0
在v
x
上的投影；(c)获得v
x
和v
y
后，再按下式求与这两个向量垂直的向量v
z
：v
z
＝v
x
×
v
y
然后按照下式旋转X1中所有关节点的坐标：其中，的第j个关节点坐标，j＝0,1,
…
,13。记经过视角规范化处理后的骨架序列为X2，上式中的即为X2的第t个骨架的第j个关节点坐标。(3)尺度规范化最后进行尺度规范化处理，对于骨架序列X2，首...

【专利技术属性】
技术研发人员：金城，胡海苗，段梦梦，
申请(专利权)人：北京航空航天大学杭州创新研究院，
类型：发明
国别省市：