一种基于身体部位分组的对称语义图卷积姿态估计方法技术

本发明专利技术公开了一种基于身体部位分组的对称语义图卷积姿态估计方法，包括如下步骤：S1、输入二维人体关节点及其连接关系，构建关节点图结构的对称语义图卷积层和非局部层；S2、根据身体躯干，进行身体部位分组，分别得到各躯干的局部及非局部特征和全身的局部及非局部特征，并对得到的特征进行融合计算；S3、基于对称语义图卷积层、非局部层和身体部位分组，构建身体部位分组的对称语义图卷积姿态估计网络模型；S4、使用Human3.6M数据集对所述对称语义图卷积姿态估计网络模型进行训练，将待估计的二维人体关节点输入经过训练的对称语义图卷积姿态估计网络模型，输出估计的三维人体关节点。本发明专利技术可应用于电影动画、虚拟现实、运动动作分析等领域，且方法效果更优，泛化能力提升。升。升。

【技术实现步骤摘要】
一种基于身体部位分组的对称语义图卷积姿态估计方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于身体部位分组的对称语义图卷积姿态估计方法。

技术介绍

[0002]人体姿态估计在许多计算机视觉任务上已经得到广泛应用，如虚拟现实、人机交互和行为识别等领域。得益于深度学习的迅速发展，从图像估计三维人体姿态在性能上获得了明显提升，成为当前研究热点。
[0003]已有的3D姿态估计估计的方法有两类，一是从图像中直接预测出3D姿态，二是先预测出2D姿态，再回归出3D姿态。第一类方法可以从图像中得到大量信息，但模型受图像背景以及人体着装等因素影响很大，且模型所需学习特征具有复杂性。第二类方法降低了总体工作复杂程度，网络模型更加容易学习到2D到3D空间的映射，同时得益于2D姿态估计研究的成熟，这类模型更加主流。
[0004]《一种基于图卷积网络的三维人体姿态估计方法》(CN112712019A)提供的基于图卷积网络的三维人体姿态估计方法具有能提高三维人体姿态回归性能、减少网络参数使用的优点，但是模型泛化能力有待提升。现有研究存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于身体部位分组的对称语义图卷积姿态估计方法，其特征在于，所述对称语义图卷积姿态估计方法包括如下步骤：S1、输入电影动画、虚拟现实或运动动作中二维人体关节点及其连接关系，构建关节点图结构的对称语义图卷积层和非局部层；S2、根据身体躯干，进行身体部位分组，分别得到各躯干的局部及非局部特征和全身的局部及非局部特征，并对得到的特征进行融合计算；S3、基于对称语义图卷积层、非局部层和身体部位分组，构建身体部位分组的对称语义图卷积姿态估计网络模型；S4、使用Human3.6M数据集对所述对称语义图卷积姿态估计网络模型进行训练，将待估计的二维人体关节点输入经过训练的对称语义图卷积姿态估计网络模型，输出估计的三维人体关节点。2.根据权利要求1所述的一种基于身体部位分组的对称语义图卷积姿态估计方法，其特征在于，所述步骤S1中使用二维人体关节点及其连接关系，构建关节点图结构的对称语义图卷积层过程如下：令X
(l)
和X
(l+1)
分别表示图结构中节点经过第l层卷积前、后的特征，则对称图卷积的形式为：X
(l+1)
＝σ(WX
(l)
A
sym
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)其中，σ()表示激活函数，W表示可学习的权重参数，A
sym
是对图的邻接矩阵A对称归一化后得到的矩阵，表示如下：其中，A是图的邻接矩阵，D是度矩阵；通过在对称图卷积的基础上添加了一个可学习的加权矩阵M，构建得到对称语义图卷积层，所述对称语义图卷积层的计算公式表达如下：X
(l+1)
＝σ(WX
(l)
ρ
i
(M
⊙
A
sym
))
ꢀꢀꢀꢀꢀꢀ
(3)其中，ρ
i
()是Softmax非线性函数，用于对节点i的矩阵进行归一化，
⊙
表示矩阵对应的元素相乘运算。3.根据权利要求2所述的一种基于身体部位分组的对称语义图卷积姿态估计方法，其特征在于，所述步骤S1中使用二维人体关节点及其连接关系，构建关节点图结构的非局部层的过程如下：将非局部层的运算定义为：其中，W
x
表示可学习的权重参数W的归一化因子，K表示节点个数，i表示所要计算的目标节点的索引，j表示除i之外的节点的索引；分别表示节点i,j的输入特征；表示节点i的输出特征；f(,)是可学习的二元函数，用于计算两个输入特征的相似度；g()是可学习的一元函数，用于对输入特征进行变换。
4.根据权利要求3所述的一种基于身体部位分组的对称语义图卷积姿态估计方法，其特征在于，所述步骤S2中，把人体关节点分解成左肢组、右肢组、全身组，各组通过独立子网络增强局部关系，然后采用晚融合的特征融合方式，先学习每个组中的特征...

【专利技术属性】
技术研发人员：毛爱华，张翘楚，王梓旭，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：