一种面向未知类别的动作预测方法技术

本发明专利技术提供了一种面向未知类别的动作预测方法，包括：将人体动作序列样本划分为历史序列、待预测序列和未来序列，将历史序列和未来序列输入运动特征提取模块，提取历史和未来运动特征；将历史运动特征和未来运动特征输入动作预测模块进行训练，构造双流动作预测网络；将历史和未来序列输入双流动作预测网络；通过运动特征提取模块，提取历史运动特征输入分类模块进行动作分类；将双流动作预测网络和分类模块结合并加入预设的字典模块，构建双流信息储存网络；将运动特征提取模块、分类模块、动作预测模块和储存完信息的字典模块结合，构造融合特征的动作预测模型；将人体动作序列样本划分历史序列输入至融合特征的动作预测模型，实现动作预测。实现动作预测。实现动作预测。

【技术实现步骤摘要】
一种面向未知类别的动作预测方法


[0001]本专利技术涉及动作预测
，特别涉及一种面向未知类别的动 作预测方法。

技术介绍

[0002]目前，人体动作预测是计算机视觉领域的一个重要课题。它在人 机交互、自动驾驶等领域有着广泛的应用。人体骨架数据具有轻量级 的特点，同时对环境背景等信息具有不变性。因此，很多学者研究基 于人体骨架的人体动作预测。
[0003]现有方法设计不同结构的深度卷积神经网络来提取人体动作序 列的历史运动特征，判断动作类别，明确动作意图，进行人体动作预 测。但是，当动作类别判断失误时，会导致动作预测的效果较差。并 且，这些方法忽略了不同动作类别的人体动作序列的历史运动特征间 存在一定的相似性。
[0004]因此，针对上述动作预测算法问题，提出一种面向未知类别的动 作预测方法。
附图说明
[0005]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分， 与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。 在附图中：
[0006]图1为本专利技术实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向未知类别的动作预测方法，其特征在于，包括：步骤1:将预设的人体动作序列样本划分为历史序列、待预测序列和未来序列，并将历史序列和未来序列输入预设的运动特征提取模块，提取历史运动特征和未来运动特征；其中，所述运动特征提取模块中包括速度计算模块，加速度计算模块，级别划分模块，融合模块，时空卷积模块，特征融合模块和特征级联模块；步骤2:将历史运动特征和未来运动特征相加后，并输入预设的动作预测模块进行训练，构造双流动作预测网络；步骤3:将历史序列和未来序列输入双流动作预测网络，训练双流动作预测网络至收敛；步骤4:通过经过训练的运动特征提取模块，提取历史运动特征输入预设的分类模块进行动作分类，训练分类模块至收敛；步骤5:将经过训练的双流动作预测网络和分类模块结合并加入预设的字典模块，构建双流信息储存网络；其中，所述双流信息储存网络的字典模块储存每一种动作的历史运动特征和未来运动特征的对应关系；步骤6:将训练好的运动特征提取模块、训练好的分类模块、训练好的动作预测模块和储存完信息的字典模块相结合，构造融合特征的动作预测模型；步骤7:将人体动作序列样本划分的历史序列输入至融合特征的动作预测模型，实现动作预测。2.如权利要求1所述的一种面向未知类别的动作预测方法，其特征在于，所述所述步骤1，包括：步骤11：通过预设的若干帧人体骨架样本，构建人体动作序列样本：V＝[X1,
…
,X
t
,
…
,X
N
]其中，V代表人体动作序列样本，t代表人体动作序列样本的第t个帧数,t∈[1,N]，N代表人体动作序列样本的总帧数，X
t
∈R
M
×
D
,R
M
×
D
代表人体动作序列样本V的第t帧人体骨架的矩阵，M代表第t帧人体骨架包含的关键点个数；D代表第t帧人体骨架中每个关键点的向量表示的维数；步骤12：将人体动作序列样本V划分为历史序列V
history
、待预测序列V
predict
和未来序列V
future
；其中，V＝{V
history
,V
predict
,V
future
}，其中，V
history
代表历史序列，h代表关于历史序列的时间索引，h∈[1,T
history
]，T
history
∈[1,T
predict
]，T
history
代表历史序列的总帧数；X
h
∈R
M
×
D
，X
h
代表历史序列的第h帧人体骨架的矩阵，X1代表历史序列的第1帧人体骨架的矩阵，代表历史序列的最后1帧人体骨
架的矩阵；V
predict
代表待预测序列，p代表关于待预测序列的时间索引，p∈[T
history
+1,T
history
+T
predict
]，T
predict
代表待预测序列的总帧数，T
predict
∈[T
predict
,T
future
]；X
p
∈R
M
×
D
，X
p
代表待预测序列的第p帧人体骨架的矩阵；代表历史序列的第1帧人体骨架的矩阵；代表历史序列的最后1帧人体骨架的矩阵；V
future
代表未来序列，f代表关于历史序列的时间索引，f∈[T
history
+T
predict
+1,T
history
+T
predict
+T
future
]，T
future
代表未来序列的总帧数，T
future
∈[T
future
,N]；X
f
∈R
M
×
D
，X
f
代表未来序列的第f帧人体骨架的矩阵；代表未来序列的第1帧人体骨架的矩阵，代表未来序列的最后1帧人体骨架的矩阵，N＝T
history
+T
predict
+T
future
；步骤13：通过速度计算模块，对历史序列进行速度特征提取，确定历史速度序列；其中，V
history_v
代表历史速度序列，vel1代表历史速度序列中的第1帧骨架的矩阵，代表未来速度序列中的第1帧骨架的矩阵，为历史速度序列V
history_v
中第h帧骨架的矩阵表示，h代表关于历史序列的时间索引，X
h
代表历史序列的第h帧人体骨架的矩阵，X
h
‑1代表历史序列的第h
‑
1帧人体骨架的矩阵，代表历史速度序列中的第T
history
帧骨架的矩阵，T
history
代表历史序列的总帧数；步骤14：通过加速度计算模块，对所述历史速度序列进行计算，确定历史加速度序列：其中，V
history_a
代表历史加速度序列，acl1代表历史加速度序列中的第1帧骨架的矩阵，acl
h
代表历史加速度序列中的第h帧骨架的矩阵，代表历史加速度序列中的第h帧骨架的矩阵，代表历史加速度序列中的第T
history
帧骨架的矩阵；步骤15：通过级别划分模块，分别将所述历史序列进行级别划分，划分为低级历史序列，中级历史序列和高级历史序列；其中，V
hp_1
代表低级历史序列，V
history
代表历史序列，V
hp_2
代表历史序列输入第一池化层得到的关于人体骨架的中级历史序列，mid
h
∈R
W
×
D
,R
W
×
D
代表关于人体骨架的中级历史序列的第h帧人体骨架的矩阵，W和D代表中级历史序列中第h帧骨架的矩阵的行数和列数，V
hp_3
代表高级历史序列，V
hp_3
是通过历史序列输入第二池化层得到的关于人体骨架的高级
历史序列，high
h
∈R
U
×
D
，U和D分别对应高级历史序列中第h帧骨架的矩阵的行数和列数；步骤16：将低级历史序列，中级历史序列和高级历史序列依次传输至对应的时空卷积模块1、融合模块1、时空卷积模块2、融合模块2、时空卷积模块3和时空卷积模块4，生成对应的历史融合特征；步骤17：将未来序列传输到步骤13
‑
步骤15，生成对应的未来融合特征；所述步骤17包括：步骤170：将未来序列传输至速度计算模块，获取对应的未来速度序列；步骤171：将所述未来速度序列传输至加速度计算模块，计算对应的未来加速度序列；步骤172：将所述未来加速度序列传输至级别划分模块，确定低级未来序列，中级未来序列和高级未来序列；步骤173：将低级未来序列，中级未来序列和高级未来序列依次传输至对应的时空卷积模块1、融合模块1、时空卷积模块2、融合模块2、时空卷积模块3和时空卷积模块4，生成对应的未来融合特征；其中，所述融合模块1包含低级别卷积层1，低级别线性层1，低级别聚集相关特征层1，低级别更新特征层1，低级别特征融合层1，中级别卷积层1，中级别线性层1，中级别聚集相关特征层1，中级别更新特征层1，中级别特征融合层1，高级别卷积层1，高级别线性层1，高级别聚集相关特征层1，高级别更新特征层1和高级别特征融合层1；步骤18：通过所述历史融合特征和未来融合特征，生成历史运动特征和未来运动特征。3.如权利要求1所述的一种面向未知类别的动作预测方法，其特征在于，所述步骤16，包括：步骤160：将低级历史序列V
hp_1
输入低级别时空卷积模块1，输出F
hp_11
；F
hp_11
代表和低级历史序列V
hp_1
对应的低级别时空卷积模块1的输出结果；步骤161：将中级历史序列V
hp_2
输入中级别时空卷积模块1，输出F
hp_12
；F
hp_12
代表和中级历史序列V
hp_2
对应的中级别时空卷积模块1的输出结果；步骤162：将高级历史序列V
hp_3
输入高级别时空卷积模块1，输出F
hp_13
；F
hp_13
代表和高级历史序列V
hp_3
对应的高级别时空卷积模块1的输出结果；步骤163：将F
hp_11
、F
hp_12
、F
hp_13
输入融合模块1，输出更新后的低级别人体骨架中所有关键点的特征、更新后的中级别人体骨架中所有关键点的特征、更新后的高级别人体骨架中所有关键点的特征；步骤164：通过H
11
、H
12
和H
13
，确定生成对应的历史融合特征。4.如权利要求3所述的一种面向未知类别的动作预测方法，其特征在于，所述步骤163，还包括：步骤A1：将F
hp_11
输入低级别卷积层1，输出G
11
；G
11
代表和低级历史序列V
hp_1
对应的低级别卷积层1的输出结果；步骤A2：将G
11
输入低级别线性层1，输出为F
11
；F
11
表示提取的低级别人体骨架中所有关键点的特征；表示提取的低级别人体骨架中第i个关键点的特征，表示提取的低级别人体骨架中第j个关键点的特征；步骤A3：针对低级别人体骨架中的第i个关键点，低级别聚集相关特征层1把剩余M
‑
1个
关键点的特征聚合到第i个关键点上，然后经过低级别聚集相关特征层1的3层全连接层，确定对应的关键点列向量；其中，[,]表示按照通道连接函数，f
11
()表示低级别聚集相关特征层1的3层全连接层函数，r
11_i
为1个关于第i个关键点的列向量，i＝1,2,
…
,M，M代表关键点的总个数；步骤A4：对低级别人体骨架中所有关键点都执行步骤A3，获取关于关键点的二维张量，R
11
的公式表达如下：R
11
＝(r
11_1
,...,r
11_i
,...,r
11_M
)，i∈[1,M]，其中，R
11
是由M个列向量组成的二维张量；步骤A5：将R
11
输入低级别更新特征层1，输出关键点的特征H
11
，低级别更新特征层1用来更新特征，低级别更新特征层1由3层全连接层构成，更新特征的公式表达如下：H
11
＝g
11
([F
11
,R
11
])其中，[,]表示按照通道连接函数，g
11
()表示关于低级别更新特征层得到3层全连接层函数，H
11
为更新后的低级别人体骨架中所有关键点的特征；步骤A6：将F
hp_12
输入中级别卷积层1，输出G
12
；G
12
代表和中级历史序列V
hp_2
对应的中级别卷积层1的输出结果；步骤A7：将G
12
输入中级别线性层1，输出为F
12
；F
12
表示提取的中级别人体骨架中所有关键点的特征；表示提取的中级别人体骨架中第i个关键点的特征，表示提取的中级别人体骨架中第j个关键点的特征；步骤A8：针对中级别人体骨架中的第i个关键点，中级别聚集相关特征层1把剩余M
‑
1个关键点的特征聚合到第i个关键点上，然后经过中级别聚集相关特征层1的3层全连接层，确定对应的关键点列向量；其中，[,]表示按照通道连接函数，f
12
()表示中级别聚集相关特征层1的3层全连接层函数，r
12_i
为1个关于第i个关键点的列向量，i＝1,2,
…
,M，M代表关键点的总个数；步骤A9：对中级别人体骨架中所有关键点都执行步骤A8，获取关于中级别人体骨架关键点的二维张量，R
12
的公式表达如下：R
12
＝(r
12_1
,...,r
12_i
,...,r
12_M
)，i∈[1,M]，其中，R
12
是由M个列向量组成的二维张量；步骤A10：将R
12
输入中级别更新特征层1，输出关键点的特征H
12
，中级别更新特征层1用来更新特征，中级别更新特征层1由3层全连接层构成，更新特征的公式表达如下：H
12
＝g
12
([F
12
,R
12
])其中，[,]表示按照通道连接函数，g
12
()表示关于低级别更新特征层得到3层全连接层函数，H
12
为更新后的低级别人体骨架中所有关键点的特征；步骤A11：将F
hp_12
输入中级别卷积层1，输出G
12
；G
12
代表和中级历史序列V
hp_2
对应的中级别卷积层1的输出结果；步骤A12：将G
12
输入中级别线性层1，输出为F
12
；F
12
表示提取的中级别人体骨架中所有关键点的特征；表示提取的中级别人体骨架中第i个关键点的特
征，表示提取的中级别人体骨架中第j个关键点的特征；步骤A13：针对中级别人体骨架中的第i个关键点，中级别聚集相关特征层1把剩余M
‑
1个关键点的特征聚合到第i个关键点上，然后经过中级别聚集相关特征层1的3层全连接层，确定对应的关键点列向量；其中，[,]表示按照通道连接函数，f
12
()表示中级别聚集相关特征层1的3层全连接层函数，r
12_i
为1个关于第i个关键点的列向量，i＝1,2,
…
,M，M代表关键点的总个数；步骤A14：对中级别人体骨架中所有关键点都执行步骤A8，获取关于中级别人体骨架关键点的二维张量，R
12
的公式表达如下：R
12
＝(r
12_1
,...,r
12_i
,...,r
12_M
)，i∈[1,M]，其中，R
12
是由M个列向量组成的二维张量；步骤A15：将R
12
输入中级别更新特征层1，输出关键点的特征H
12
，中级别更新特征层1用来更新特征，中级别更新特征层1由3层全连接层构成，更新特征的公式表达如下：H
12
＝g
12
([F
12
,R
12
])其中，[,]表示按照通道连接函数，g
12
()表示关于中级别更新特征层得到3层全连接层函数，H
12
为更新后的中级别人体骨架中所有关键点的特征；步骤A16：将F
hp_13
输入高级别卷积层1，输出G
13
；G
13
代表和高级历史序列V
hp_3
对应的高级别卷积层1的输出结果；步骤A17：将G
13
输入高级别线性层1，输出为F
13
；F
13
表示提取的高级别人体骨架中所有关键点的特征；表示提取的高级别人体骨架中第i个关键点的特征，表示提取的高级别人体骨架中第j个关键点的特征；步骤A18：针对高级别人体骨架中的第i个关键点，高级别聚集相关特征层1把剩余M
‑
1个关键点的特征聚合到第i个关键点上，然后经过高级别聚集相关特征层1的3层全连接层，确定对应的关键点列向量；其中，[,]表示按照通道连接函数，f
13
()表示高级别聚集相关特征层1的3层全连接层函数，r
13_i
为1个关于第i个关键点的列向量，i＝1,2,
…
,M，M代表关键点的总个数；步骤A19：对高级别人体骨架中所有关键点都执行步骤A8，获取关于高级别人体骨架关键点的二维张量，R
13
的公式表达如下：R
13
＝(r
13_1
,...,r
13_i
,...,r
13_M
)，i∈[1,M]，其中，R
13
是由M个列向量组成的二维张量；步骤A15：将R
13
输入高级别更新特征层1，输出关键点的特征H
13
，高级别更新特征层1用来更新特征，高级别更新特征层1由3层全连接层构成，更新特征的公式表达如下：H
13
＝g
13
([F
13
,R
13
])其中，[,]表示按照通道连接函数，g
13
()表示关于高级别更新特征层得到3层全连接层函数，H
13
为更新后的中级别人体骨架中所有关键点的特征。5.如权利要求4所述的一种面向未知类别的动作预...

【专利技术属性】
技术研发人员：杨剑宇，邢慧琴，黄瑶，
申请(专利权)人：苏州大学，
类型：发明
国别省市：