一种基于时序图卷积网络的三维手臂姿态估计方法技术

本发明专利技术公开了一种基于时序图卷积网络的三维手臂姿态估计方法，首先构建三维手臂姿态数据集，并按一定比例划分为训练集和测试集；进一步地，构建人体手臂无向拓扑图，通过邻接矩阵对该图结构进行表达；基于不同通道应用不同权值矩阵的方式设计通道语义局部图卷积来提升图卷积表达能力；基于多头注意力机制，并不再局限于逐元素点积操作，设计自适应全局图卷积模块，增强对输入的自适应能力；进一步地，综合两个图卷积模块设计SAG模块，将其与基于时序卷积的VideoPose3d网络相结合，实现从单目RGB视频序列中的二维关节估计人体三维姿态信息，并优于主流模型。并优于主流模型。并优于主流模型。

【技术实现步骤摘要】
一种基于时序图卷积网络的三维手臂姿态估计方法


[0001]本专利技术属于深度学习、姿态估计领域，具体涉及一种基于时序图卷积网络的三维手臂姿态估计方法。

技术介绍

[0002]人体三维姿态估计技术的发展，不仅可以使计算机更好地理解人的意图和动作，实现自然的人机交互，还能应用于行为分析、虚拟现实等领域。常用的人体三维姿态获取方式需要借助可穿戴设备或深度相机等昂贵的外部硬件。随着计算机视觉技术的发展，无需昂贵的硬件设施，通过身边普通摄像设备，采集通用RGB视频图像信息，即可实现相应人体姿态获取。
[0003]基于单目RGB视觉的三维姿态估计任务中，早期学者们利用卷积神经网络的全连接层结构直接从二维关节信息中推理出三维姿态，但在未知深度值的状态下，根据透视原理，存在同一二维姿态信息对应多个三维姿态的深度模糊问题。近年来，研究者们使用时间卷积网络捕获图片帧间的时序关系，以解决由于缺失深度信息而导致歧义三维姿态结果的出现，但该网络忽略了关节的空间结构信息，因此一些学者利用图卷积网络学习相邻关节之间的相互影响。而在人类的运动动作中，尤其是手臂的配合协作中，往往隐含着某些远距离的配合关系，这些关系对确立准确合理三维手臂姿态十分重要。
[0004]针对单目RGB图像中缺乏深度信息引发的深度模糊现象，传统方法未能对隐式特征信息进行充分利用，以最大限度地减小误差；针对人体手臂的末端关节，可能受运动幅度大、易受遮挡等因素影响，传统方法出现推理误差较大的问题。因此，提出一种基于时序图卷积网络的三维手臂姿态估计方法从单目RGB视频序列中的二维关节估计人体三维姿态信息，并解决上述问题。

技术实现思路

[0005]为解决现有技术的不足，从录制的人类运动视频中的人体手臂二维关节信息估计三维手臂姿态信息，实现最大限度地减小姿态推理误差，增强姿态估计稳定性的目的，本专利技术采用如下的技术方案：
[0006]一种基于时序图卷积网络的三维手臂姿态估计方法，包括如下步骤：
[0007]步骤1：构建三维手臂姿态数据集，包括手臂关节的二维坐标及深度值；
[0008]步骤2：构建手臂无向拓扑图，引入手臂关节运动链关系及关节间的相关语义信息；
[0009]步骤3：构建基于时序图卷积网络的三维手臂姿态估计模型，包括如下步骤：
[0010]步骤3.1：设计通道语义局部图卷积模块，基于无向拓扑图的关节节点构建权重矩阵，为每个通道应用不同权重矩阵，进而解决输入特征矩阵的不同输入通道，同一节点的权重相同导致特征捕获不足的问题，提升图卷积表达能力；
[0011]步骤3.2：设计自适应全局图卷积模块，建立关节节点间的作用关系，进而解决忽
略手臂间配合等远端依赖关系的问题，增强图整体语义信息的提取效果，避免以叠加多层卷积神经网络的形式捕获长距离特征信息的低效性；
[0012]步骤3.3：设计时序卷积算法框架，通过接入并行的通道语义局部图卷积模块和自适应全局图卷积模块，将二维数据信息以各关节独立坐标的形式输入，即在时序框架内全程保持各关节独立特征信息，以VideoPose3d网络的时域膨胀卷积结构为基础，将数据压缩降至一维向量作为输入，经过多个膨胀空洞卷积层提取时域信息；在多个膨胀空洞卷积层之间设置切片操作，将模块输入前的特征裁剪至与模块输出特征尺寸一致，进而完成残差连接；
[0013]步骤4：通过所述三维手臂姿态数据集，训练所述三维手臂姿态估计模型，采用损失函数评价三维手臂姿态估计值与真实值的相似程度；
[0014]步骤5：通过所述三维手臂姿态数据集，验证训练好的所述三维手臂姿态估计模型的预测结果。
[0015]进一步地，所述步骤1中三维手臂姿态数据集的构建，是通过深度相机获取多个动作的视频序列，包含RGB图像序列和深度图序列，标注RGB图像序列中人体手臂关节的二维坐标信息；通过相机参数将采集的深度图由深度相机视点转换为彩色相机视点，再根据彩色相机坐标系下所标注的二维像素坐标得到深度值；利用径向畸变、切向失真等相机参数，进行内部校准，通过指定像素坐标计算源相机焦点引出的三维射线，而后通过已获取深度值，查找此射线的确切三维位置，进而得到对应的三维坐标；将三维手臂姿态数据集划分训练集和测试集，训练集用于所述三维手臂姿态估计模型的训练，测试集用于所述三维手臂姿态估计模型预测结果的验证。
[0016]进一步地，所述步骤2中，将一个图片帧的手臂无向拓扑图结构定义为G＝(V,E)，其中V代表手臂关节点，E代表连接关节点的边；通过邻接矩阵对该图结构进行表达，图中存在某一节点v
i
∈V，e
ij
∈(v
i
,v
j
)为该节点与另一节点v
j
∈V连接的边，当边e
ij
∈E连接关系存在时，邻接矩阵A的元素a
ij
＝1，反之边连接关系不存在时，a
ij
＝0；再将该邻接矩阵与单位对角矩阵求和，以补充自身节点的影响。
[0017]进一步地，所述步骤S3.1中，将邻接矩阵关于手部关节的作用域范围进行拓展，提升模型对末端手部关节的表达能力；设计通道语义局部图卷积模块如下：
[0018][0019]A
′
＝A+A
hs
[0020]其中，X
(l)
为第l层网络图节点输入特征矩阵，X
(l+1)
为该层图节点输出特征矩阵，为可学习的参数转换矩阵，用于对图节点的表示形式进行转换，为参数转换矩阵W的第c个行向量，||代表通道维度拼接，C
l
、C
l+1
为输入、输出维度，表示学习权重矩阵，K为图节点个数，即关节数目，c为通道，
⊙
代表逐元素点积操作，softmax为非线性变换归一化操作，σ为ReLU激活函数；为邻接矩阵，可视其为权重矩阵的掩码，其元素a
ij
表示图节点v
j
是否在节点v
i
的子集中，即v
i
、v
j
是否存在连接关系，A
hs
代表拓展的手部关节二阶邻接矩阵，A
′
表示拓展后的邻接矩阵。
[0021]进一步地，所述步骤3.2中，设计自适应全局图卷积模块如下：
[0022][0023][0024]其中，x为输入特征，y为输出特征，i为当前位置的索引，j为遍历全局位置索引，f函数用于计算i、j间的依赖关系，g函数代表j位置的输入特征，C(x)为归一化因子，θ(x
i
)＝W
θ
x
i
与为高斯函数的两种嵌入，W
θ
与为高斯嵌入函数的参数变换矩阵，此处使用上述参量计算高斯嵌入空间中的高斯距离，以表示节点间的作用关系。
[0025]进一步地，所述步骤3.2中，为解决逐元素积操作限制了模型表达的灵活性的问题，输入数据的自适应调整如下：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序图卷积网络的三维手臂姿态估计方法，其特征在于包括如下步骤：步骤1：构建三维手臂姿态数据集，包括手臂关节的二维坐标及深度值；步骤2：构建手臂无向拓扑图，引入手臂关节运动链关系及关节间的相关语义信息；步骤3：构建基于时序图卷积网络的三维手臂姿态估计模型，包括如下步骤：步骤3.1：设计通道语义局部图卷积模块，基于无向拓扑图的关节节点构建权重矩阵，为每个通道应用不同权重矩阵；步骤3.2：设计自适应全局图卷积模块，建立关节节点间的作用关系；步骤3.3：设计时序卷积算法框架，通过接入并行的通道语义局部图卷积模块和自适应全局图卷积模块，将二维数据信息以各关节独立坐标的形式输入，经过多个膨胀空洞卷积层提取时域信息；步骤4：通过所述三维手臂姿态估计模型对所述三维手臂姿态数据集进行特征提取，采用损失函数评价估计值与真实值的相似程度，训练所述三维手臂姿态估计模型；步骤5：通过所述三维手臂姿态数据集，验证训练好的所述三维手臂姿态估计模型对手臂姿态的预测结果。2.根据权利要求1所述的一种基于时序图卷积网络的三维手臂姿态估计方法，其特征在于：所述步骤1中三维手臂姿态数据集的构建，是通过深度相机获取多个动作的视频序列，包含RGB图像序列和深度图序列，标注RGB图像序列中人体手臂关节的二维坐标信息；将采集的深度图由深度相机视点转换为彩色相机视点，再根据彩色相机坐标系下所标注的二维像素坐标得到深度值；利用相机参数，进行内部校准，通过指定像素坐标计算源相机焦点引出的三维射线，而后通过已获取深度值，查找此射线的确切三维位置，进而得到对应的三维坐标；将三维手臂姿态数据集划分训练集和测试集，训练集用于所述三维手臂姿态估计模型的训练，测试集用于所述三维手臂姿态估计模型预测结果的验证。3.根据权利要求1所述的一种基于时序图卷积网络的三维手臂姿态估计方法，其特征在于：所述步骤2中，将一个图片帧的手臂无向拓扑图结构定义为G＝(V,E)，其中V代表手臂关节点，E代表连接关节点的边；通过邻接矩阵对该图结构进行表达，图中存在某一节点v
i
∈V，e
ij
∈(v
i
,v
j
)为该节点与另一节点v
j
∈V连接的边，当边e
ij
∈E连接关系存在时，邻接矩阵A的元素a
ij
＝1，反之边连接关系不存在时，a
ij
＝0；再将该邻接矩阵与单位对角矩阵求和，以补充自身节点的影响。4.根据权利要求3所述的一种基于时序图卷积网络的三维手臂姿态估计方法，其特征在于：所述步骤S3.1中，将邻接矩阵关于手部关节的作用域范围进行拓展；设计通道语义局部图卷积模块如下：A
′
＝A+A
hs
其中，X
(l)
为第l层网络图节点输入特征矩阵，X
(l+1)
为该层图节点输出特征矩阵，为可学习的参数转换矩阵，用于对图节点的表示形式进行转换，为参数转换矩阵W的第c个行向量，||代表通道维度拼接，C
l
、C
l+1
为输入、输出维度，表示学习权重矩阵，K为图节点个数，即关节数目，c为通道，
⊙
代表逐元素点积操作，softmax为非线
性变换归一化操作，σ为ReLU激活函数；为邻接矩阵，其元素a
ij
表示图节点v
j
是否在节点v
i

【专利技术属性】
技术研发人员：王进，王远航，刘华雨，张海运，陆国栋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：