一种基于图关系交互学习的人体动作预测方法及装置制造方法及图纸

本发明专利技术提出一种基于图关系交互学习的人体动作预测方法，包括，获取训练数据集，所述训练数据集包括人体动作序列；构建图关系交互学习网络，其中，图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；通过训练数据集对图关系交互学习模型进行训练，其中，训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；获取待预测数据，将待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。本发明专利技术实现了更精确的人体动作预测。更精确的人体动作预测。更精确的人体动作预测。

【技术实现步骤摘要】
一种基于图关系交互学习的人体动作预测方法及装置


[0001]本专利技术属于图像处理领域。

技术介绍

[0002]人体运动预测(HMP)研究旨在赋予机器预测能力，使它们能够在与人类互动时提前调整自己的行为。因此，它在人机交互、自动驾驶和虚拟现实等各个领域都发挥着至关重要的作用。
[0003]人体运动预测是机器人领域和计算机视觉领域的热门经典话题，是基于过去的视频画面输入信息或人体关节点姿态序列，生成人物虚拟姿态序列或预测未来一段时间内的动作姿态序列。该任务输入输出的人体姿态序列的表征方式多种多样，例如2D图像姿态、3D空间坐标点以及点云等等。
[0004]基于GCN的身体关节关系建模方法最近在HMP中显示出巨大的前景。人体姿态序列本质上是时间序列，但每一帧姿态还包含个体关节的空间位置信息。从可用的姿态序列中提取有效且有用的结构和运动信息已成为研究人员的重点，因为它对于预测的成功至关重要。
[0005]为了处理这两种关系，许多工作采用双支路结构来分别处理空间和时间信息。这些支路通常被称为空间支路和时间支路，它们使用维度转置等操作分别处理空间和时间特征，然后在网络的末端直接融合这两组特征。然而，由于双支路特征的不匹配，这种方法通常会导致最终融合结果不理想。此外，空间和时间特征的解耦策略可能无法充分发挥其潜力。

技术实现思路

[0006]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007]为此，本专利技术的目的在于提出一种基于图关系交互学习的人体动作预测方法，用于实现了更精确的人体动作预测。
[0008]为达上述目的，本专利技术第一方面实施例提出了一种基于图关系交互学习的人体动作预测方法，包括：
[0009]获取训练数据集，所述训练数据集包括人体动作序列；
[0010]构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；
[0011]通过所述训练数据集对所述图关系交互学习模型进行训练，其中，所述训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；
[0012]获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。
[0013]另外，根据本专利技术上述实施例的一种基于图关系交互学习的人体动作预测方法还可以具有以下附加的技术特征：
[0014]进一步地，在本专利技术的一个实施例中，所述双支路对称残差图卷积网络GCN，包括：
[0015]n个堆叠图卷积块GCB，其中，所述GCB公式为：
[0016]H
l+1
＝σ(A
l
H
l
W
l
)
[0017]其中，所述GCB公式表示输入为的第l个GCB的输出，A
l
为邻接矩阵，W
l
为权重矩阵，σ(
·
)是激活函数。
[0018]进一步地，在本专利技术的一个实施例中，所述双支路对称残差图卷积网络GCN结构的第一支路和第二支路分别用于处理原始位姿序列和速度序列；
[0019]其中，所述双支路对称残差图卷积网络GCN结构的第一支路采用人体动作序列作为输入，P
t
表示第t帧中的原始关节位置；
[0020]其中，所述双支路对称残差图卷积网络GCN结构的第二支路采用所述人体动作序列的关节速度表示作为输入，其中中第t帧的速度信息V
t
表示为：
[0021]V
t
＝P
t+1
‑
P
t
，
[0022]其中，P
t
表示第t帧中的原始关节位置，P
t+1
表示第t+1帧关节位置。
[0023]进一步地，在本专利技术的一个实施例中，还包括：
[0024]通过线性层将人体动作序列的关节位置和所述人体动作序列的关节速度映射到相同的隐藏维度R
B
×
K
×
H
，其中B是批量大分别对位置
‑
速度特征进行建模小；
[0025]通过所述第一支路和所述第二支路分别对所述关节位置和所述关节速度进行特征建模，在所述第二支路中引入位置表征，将所述关节速度的特征恢复到位置空间；
[0026]通过连接模块将所述关节位置的特征和所述关节速度的特征进行拼接，拼接后的特征的大小为R
B
×
K
×
2H
，将R
B
×
K
×
2H
通过线性层映射到需要的输出维度
[0027]进一步地，在本专利技术的一个实施例中，所述参数流包括层内交互模块和跨层交互模块；
[0028]其中所述层内交互模块表示为，
[0029]Interaction
‑
P
‑
AM＝(1
‑
α)
·
P
‑
AM+α
·
V
‑
AM，
[0030]Interaction
‑
V
‑
AM＝(1
‑
β)
·
V
‑
AM+β
·
P
‑
AM，
[0031]Interaction
‑
P
‑
AM和Interaction
‑
V
‑
AM是交互的邻接矩阵，α和β是交互用于控制参数交互程度的权重，P
‑
AM表示来自第一支路的邻接矩阵组，V
‑
AM来自第二支路的邻接矩阵组；
[0032]所述跨层交互模块表示为，
[0033]Interaction
‑
P
‑
AM
′
＝(1
‑
α
′
)
·
Interaction
‑
P
‑
AM+α
′
·
Interaction
‑
V
‑
AM
[0034]Interaction
‑
V
‑
AM
′
＝(1
‑
β
′
)
·
Interaction
‑
V
‑
AM+β
′
·
Interaction
‑
P
‑
AM
[0035]Interaction
‑
P
‑
AM
′
和Interaction
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于图关系交互学习的人体动作预测方法，其特征在于，包括以下步骤：获取训练数据集，所述训练数据集包括人体动作序列；构建图关系交互学习网络，其中，所述图关系交互学习网络采用双支路对称残差图卷积网络GCN结构，双支路GCN之间的连接类型包括数据流和参数流；通过所述训练数据集对所述图关系交互学习模型进行训练，其中，所述训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数；获取待预测数据，将所述待预测数据输入训练完成的图关系交互学习网络，获取人体动作预测结果。2.根据权利要求1所述的方法，其特征在于，所述双支路对称残差图卷积网络GCN，包括：n个堆叠图卷积块GCB，其中，所述GCB公式为：H
l+1
＝σ(A
l
H
l
W
l
)，其中，所述GCB公式表示输入为的第l个GCB的输出，A
l
为邻接矩阵，W
l
为权重矩阵,σ(
·
)是激活函数。3.根据权利要求1所述的方法，其特征在于，所述双支路对称残差图卷积网络GCN结构的第一支路和第二支路分别用于处理原始位姿序列和速度序列；其中，所述双支路对称残差图卷积网络GCN结构的第一支路采用人体动作序列作为输入，P
t
表示第t帧中的原始关节位置；其中，所述双支路对称残差图卷积网络GCN结构的第二支路采用所述人体动作序列的关节速度表示作为输入，其中中第t帧的速度信息V
t
表示为：V
t
＝P
t+1
‑
P
t
，其中，P
t
表示第t帧中的原始关节位置，P
t+1
表示第t+1帧关节位置。4.根据权利要求3所述的方法，其特征在于，还包括：通过线性层将人体动作序列的关节位置和所述人体动作序列的关节速度映射到相同的隐藏维度R
B
×
K
×
H
，其中B是批量大分别对位置
‑
速度特征进行建模小；通过所述第一支路和所述第二支路分别对所述关节位置和所述关节速度进行特征建模，在所述第二支路中引入位置表征，将所述关节速度的特征恢复到位置空间；通过连接模块将所述关节位置的特征和所述关节速度的特征进行拼接，拼接后的特征的大小为R
B
×
K
×
2H
，将R
B
×
K
×
2H
通过线性层映射到需要的输出维度5.根据权利要求1所述的方法，其特征在于，所述参数流包括层内交互模块和跨层交互模块；其中所述层内交互模块表示为，Interaction
‑
P
‑
AM＝(1
‑
α)
·
P
‑
AM+α
·
V
‑
AM，Interaction
‑
V
‑
AM＝(1
‑
β)
·
V
‑
AM+β
·
P
‑
AM，Interaction<...

【专利技术属性】
技术研发人员：唐进，顾宝轩，尹建芹，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：