一种面向人体骨架的羽毛球运动预测方法和装置制造方法及图纸

一种面向人体骨架的羽毛球运动预测方法和装置，其方法包括：获取羽毛球运动中人体骨架位置序列数据；基于骨架位置序列数据构建自适应运动关联图邻接矩阵；对骨架位置序列数据进行差分运算，获取骨架速度与加速度序列数据；将三组骨架序列数据分别送入双流图时空卷积神经网络中以获取深层次的运动时空特征，并将三个分支的高维运动特征进行融合；将融合后的运动特征信息与骨架位置序列的最后一帧数据输入到运动预测网络中，得到预测的骨架位置序列。本发明专利技术针对羽毛球运动状态下关节点间的运动关联性来获取运动模式的深层语义信息，挖掘数据的高阶运动学信息并合理充分地提取特征，还原了符合客观事实的递进的预测过程，提高了运动预测的精度。高了运动预测的精度。高了运动预测的精度。

【技术实现步骤摘要】
一种面向人体骨架的羽毛球运动预测方法和装置


[0001]本专利技术涉及体育运动领域和计算机视觉领域中动作预测技术，具体涉及一种面向人体骨架的羽毛球运动预测方法和装置。

技术介绍

[0002]人体运动预测一直是人机交互领域中的研究热点。其中，骨架动作是一种人体动作的表达方式。近年来，随着各式深度相机设备的发展，捕捉人体骨架动作变得简单方便。相较于使用视频数据表达人体动作，骨架数据具有抗噪能力强，数据冗余度低等优势。
[0003]早期，基于人体运动的序列性和非线性，研究者们利用各种概率模型，如潜变量模型、马尔可夫模型等方法，来实现基于人体骨架数据的运动预测任务。但是概率模型方法依赖复杂的数学模型，缺乏自适应性，预测精度也难以满足应用需求。深度学习采用端到端的数据驱动方法自主学习重要的人体运动表征信息，有效避免了概率模型方法中复杂、繁琐的建模过程，在人体运动预测研究领域展现出出色性能优势。
[0004]卷积神经网络与循环神经网络常被用于提取人体骨架动作深层特征。然而，这些方法只能在时间域上或者浅层空间域上对人体骨骼运动进行建模，无法挖掘人体各关节点空间上的深层次依赖关系。
[0005]图卷积网络(Graph Convolutional Network，GCN)是近年来提出的一种将图像领域中的卷积神经网络扩展到图结构数据上进行卷积运算的方法。能有效利用节点间的连接关系，提取相邻节点间的特征联系。因此，有研究者提出以人体骨架关节为节点，骨骼为边构建图结构数据，通过图卷积网络聚合相邻关节点的特征，获取骨架运动空间领域上更深层次的语义信息。然而，基于骨架物理连接关系构成的图结构数据的图卷积方法只能识别到关节点间局部的联系，而对于羽毛球运动中的人体骨架，骨架连接上较远的关节点可能会存在着更强的联系。例如，并步上网时，同侧的手与脚是协同运动的，而基于骨架连接图的图卷积难以学习到连接距离较远的手与脚之间的联系，进而无法捕获到这一协同信息。此外，现有方法局限于基于骨架位置信息的人体运动预测建模，忽略了高阶物理量的运动学特征信息，难以提供多层次人体运动趋势信息。

技术实现思路

[0006]为解决传统运动预测方法忽视关节运动联系，数据利用局限于位置特征等技术问题，本专利技术提出一种面向人体骨架的羽毛球运动预测方法和装置。
[0007]本专利技术使用了一种融合传统骨架连接图卷积和用于挖掘远距离关节点间运动联系的运动关联图卷积的双流图卷积网络结构，以及用于提升运动学表征挖掘能力的三分支网络结构，有效获取了多层次、高阶的运动学特征信息，提高了运动预测精度。
[0008]本专利技术解决其技术问题所采用的技术方案是：
[0009]本专利技术的第一个方面涉及一种面向人体骨架的羽毛球运动预测方法，包括以下步骤：
[0010]步骤1)从深度相机获取的羽毛球运动下人体骨架序列中选取每个时刻下人体骨架的21个关节点在三维空间下的坐标数据作为输入的骨架位置序列数据；
[0011]步骤2)基于骨架位置序列数据构建自适应运动关联图邻接矩阵；
[0012]步骤3)对骨架位置序列数据进行差分运算，获取骨架速度序列数据与骨架加速度序列数据特征；
[0013]步骤4)将三组骨架序列数据分别送入双流图时空卷积神经网络中以获取深层次的运动时空特征，并将三个分支输出的高维运动特征进行融合。
[0014]步骤5)将步骤4中获取的运动特征信息与骨架位置序列的最后一帧数据输入到运动预测网络中，得到预测的人体骨架位置序列，完成预测过程。
[0015]进一步，在所述步骤1)中，21个关节点分别指一个下颌关节，一个颈椎关节，两个肩关节，两个肘关节，两个腕关节，两个掌指关节，一个胸椎关节，一个腰椎关节，一个骶髂关节，两个髋关节，两个膝关节，两个踝关节，两个跖趾关节。
[0016]在所述步骤2)中，所述的运动关联图包括：邻接矩阵表示为A
mc
，第i个关节点在所有观测帧中的位置特征向量表示为X
i
，运动关联图的邻接矩阵的计算过程为：
[0017]V
i
＝f
v
(X
i
)
ꢀꢀꢀ
(1)
[0018]E
i,j
＝f
e
([V
i
,V
j
])
ꢀꢀꢀ
(2)
[0019][0020]G
i
＝f
g
(J
i
)
ꢀꢀꢀ
(4)
[0021]H
i
＝f
h
(J
i
)
ꢀꢀꢀ
(5)
[0022][0023]其中，f
v
(
·
)表示对单个关节点三维位置特征的深度映射运算，f
e
(
·
)表示对两个不同关节点特征间联系的聚合运算，f
j
(
·
)表示对关节点特征的更新操作，f
g
(
·
)与f
h
(
·
)表示两种不同的关节点特征的深度映射运算，exp(
·
)表示以自然数e为底的指数函数，[
·
，
·
]表示向量拼接操作，V
i
表示第i个关节点三维位置特征的深度映射表达，E
i,j
表示聚合了第i个关节点和第j个关节点之间的相对特征，J
i
表示聚合了第i个关节点与其他所有关节点间相对特征后更新的特征表达，G
i
与H
i
分别表示两种不同的关节点特征的深度映射表达，与分别表示特征向量H
j
与H
k
的转置，N表示关节点个数，本专利技术中实际为21。
[0024]邻接矩阵A
mc
中的元素均被归一化在0到1之间，矩阵中第i行第j列的元素值代表第j个关节点相对于第i个关节点的运动关联性强度系数。A
mc
进行自适应，在模型训练过程中会被自动调整。
[0025]在所述的步骤3)中对骨架位置序列数据进行差分运算的方法具体表现为：对于输入的骨架位置序列数据，将相邻两帧位置数据做差分运算，获得骨架速度序列数据；再将相邻两帧速度数据做差分运算，获得骨架加速度序列数据，具体计算过程表达如下：
[0026]Δ
α+1
X
(t)
＝Δ
α
X
(t)
‑
Δ
α
X
(t
‑
1)
ꢀꢀꢀ
(7)
[0027]其中，Δ
α
代表α阶的差分运算符，Δ0X
(t)
、Δ1X
(t)
和Δ2X
(t)
分别表示t时刻骨架本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人体骨架的羽毛球运动预测方法，其特征在于，所述方法包括以下步骤：步骤1)1从深度相机获取的羽毛球运动下人体骨架序列中选取每个时刻下人体骨架的21个关节点在三维空间下的坐标数据作为输入的骨架位置序列数据；步骤2)1基于骨架位置序列数据构建自适应运动关联图邻接矩阵；步骤3)1对骨架位置序列数据进行差分运算，获取骨架速度序列数据与骨架加速度序列数据特征；步骤4)1将三组骨架序列数据分别送入双流图时空卷积神经网络中以获取深层次的运动时空特征，并将三个分支输出的高维运动特征进行融合；步骤5)1将步骤4中获取的运动特征信息与骨架位置序列的最后一帧数据输入到运动预测网络中，得到预测的人体骨架位置序列，完成预测过程。2.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法，其特征在于：在所述的步骤1)中，21个关节点分别指一个下颌关节，一个颈椎关节，两个肩关节，两个肘关节，两个腕关节，两个掌指关节，一个胸椎关节，一个腰椎关节，一个骶髂关节，两个髋关节，两个膝关节，两个踝关节，两个跖趾关节。3.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法，其特征在于：在所述的步骤2)中，所述的运动关联图包括：邻接矩阵表示为A
mc
，第i个关节点在所有观测帧中的位置特征向量表示为X
i
，运动关联图的邻接矩阵的计算过程为：V
i
＝f
v
(X
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)E
i,j
＝f
e
([V
i
,V
j
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)G
i
＝f
g
(J
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)H
i
＝f
h
(J
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，f
v
(
·
)表示对单个关节点三维位置特征的深度映射运算，f
e
(
·
)表示对两个不同关节点特征间联系的聚合运算，f
j
(
·
)表示对关节点特征的更新操作，f
g
(
·
)与f
h
(
·
)表示两种不同的关节点特征的深度映射运算，exp(
·
)表示以自然数e为底的指数函数，[
·
，
·
]表示向量拼接操作，V
i
表示第i个关节点三维位置特征的深度映射表达，E
i,j
表示聚合了第i个关节点和第j个关节点之间的相对特征，J
i
表示聚合了第i个关节点与其他所有关节点间相对特征后更新的特征表达，G
i
与H
i
分别表示两种不同的关节点特征的深度映射表达，与分别表示特征向量H
j
与H
k
的转置，N表示关节点个数；邻接矩阵A
mc
中的元素均被归一化在0到1之间，矩阵中第i行第j列的元素值代表第j个关节点相对于第i个关节点的运动关联性强度系数；A
mc
进行自适应，在模型训练过程中会被自动调整。
4.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法，其特征在于：在所述的步骤3)中对骨架位置序列数据进行差分运算的方法具体表现为：对于输入的骨架位置序列数据，将相邻两帧位置数据做差分运算，获得骨架速度序列数据；再将相邻两帧速度数据做差分运算，获得骨架加速度序列数据，具体计算过程表达如下：Δ
α+1
X
(t)
＝Δ
α
X
(t)
‑
Δ
α
X
(t
‑
1)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，Δ
α
代表α阶的差分运算符，Δ0X
(t)
、Δ1X
(t)
和Δ2X
(t)
分别表示t时刻骨架点的位置、速度和加速度特征。5.如权利要求1所述的一种面向人体骨架的羽毛球运动预测方法，其特征在于：在所述的步骤4)中的双流图时空卷积运算模块包括：对于单帧骨架特征的双流图卷积(TS
‑
GCN)、对相邻多帧的时间卷积以及残差模块，t时刻的骨架特征表示为X
(t)
，TS
‑
GCN的运算过程表示为：示为：示为：其中，A
mc
表示权利要求4中所述的运动关联图邻接矩阵，A
sc
表示骨架关节点物理结构上连接的归一化邻接矩阵，W
mc
与W
sc
分别表示基于运动关联图的图卷积操作与基于骨架连接图的图卷积操作时所用的权重值，与分别表示运动关联图卷积操作后与骨架连接图卷积操作后更新的骨架特征表达，λ
mc
表示骨架关节点之间的总体运动关联强度参数，表示TS
‑
GCN操作后的骨架特征表达，ReLU(
·
)表示非线性激活函数，其表达式为：ReLU(x)＝max(x,0)
ꢀꢀꢀꢀꢀꢀꢀ
(11)其中，max(
...

【专利技术属性】
技术研发人员：张文安，沈浩铭，杨旭升，胡佛，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：