一种二路特征交错融合网络的3D人体姿态估计方法技术

本发明专利技术提供了3D人体姿态估计技术领域的一种二路特征交错融合网络的3D人体姿态估计方法，包括如下步骤：步骤S10、创建同级关节的第一邻接矩阵以及跨关节的第二邻接矩阵；步骤S20、基于所述第一邻接矩阵以及第二邻接矩阵创建一局部联系特征提取规则；步骤S30、创建一全局联系特征提取规则；步骤S40、利用所述局部联系特征提取规则以及全局联系特征提取规则进行特征提取后，进行交错汇总，并回归计算出3D人体骨架，完成3D人体姿态估计。本发明专利技术的优点在于：极大的提升了3D人体姿态估计的精度。极大的提升了3D人体姿态估计的精度。极大的提升了3D人体姿态估计的精度。

【技术实现步骤摘要】
一种二路特征交错融合网络的3D人体姿态估计方法


[0001]本专利技术涉及3D人体姿态估计
，特别指一种二路特征交错融合网络的3D人体姿态估计方法。

技术介绍

[0002]3D(三维)人体姿态估计是计算机理解人体行为的关键技术,近年来3D人体姿态估计技术被广泛应用到虚拟现实、动作识别、智能视频分析和机器人等领域。
[0003]由于人可以感知3D世界，而计算机要实现智能，也要能理解3D世界。在进行人体姿态估计时，由于一个2D人体姿态可能对应多个3D人体姿态，计算机仅从2D人体姿态是无法理解具体哪个3D人体姿态为现实世界的姿态，而计算机如果通过建模，模拟出3D人体姿态，那么理解3D人体姿态的问题就转化成建模够不够精确的问题。
[0004]近年来，2D人体姿态估计取得巨大成就，使得3D人体姿态估计也取得一些进展，比如广泛使用2D人体姿态进一步提升3D人体姿态的精度。例如Martinez等人在论文“A simple yet effective baseline for 3d human pose estimation”中巧妙地使用全连接层将2D人体关键点坐标回归出3D人体姿态的位置信息，这个基线方法的误差小于以往方法，也推动2D人体姿态被广泛使用于3D人体姿态估计；将图卷积用于2D到3D的提升是在zhao等人在论文“Semantic Graph Convolutional Networks for 3D Human Pose Regression”提出了一个语义图卷积，是将CNN的思想扩展到图卷积，关键思想是学习图中隐含的先验边的信道加权，后将其与核矩阵进行结合，并且设计了一个SemGCN网络架构将语义图卷积与nonlocal相结合，使得网络架构可以提高人体结构图中未明确表示的局部以及全局节点关系。
[0005]然而，上述论文所提方法虽然在一定程度上提升了建模的精度，但其提取的特征还是不够丰富，误差也难以再进一步降低。因此，如何提供一种二路特征交错融合网络的3D人体姿态估计方法，实现提升3D人体姿态估计的精度，成为一个亟待解决的问题。

技术实现思路

[0006]本专利技术要解决的技术问题，在于提供一种二路特征交错融合网络的3D人体姿态估计方法，实现提升3D人体姿态估计的精度。
[0007]本专利技术是这样实现的：一种二路特征交错融合网络的3D人体姿态估计方法，包括如下步骤：
[0008]步骤S10、创建同级关节的第一邻接矩阵以及跨关节的第二邻接矩阵；
[0009]步骤S20、基于所述第一邻接矩阵以及第二邻接矩阵创建一局部联系特征提取规则；
[0010]步骤S30、创建一全局联系特征提取规则；
[0011]步骤S40、利用所述局部联系特征提取规则以及全局联系特征提取规则进行特征提取后，进行交错汇总，并回归计算出3D人体骨架，完成3D人体姿态估计。
[0012]进一步地，所述步骤S10具体为：
[0013]将人体的左腕关节、右腕关节、左踝关节、右踝关节归类为同级关节，将左肘关节、右肘关节、左膝关节、右膝关节归类为同级关节，将左肩关节、右肩关节、左臀关节、右臀关节归类为同级关节；
[0014]将各所述同级关节内的关节进行相互连接，将各所述同级关节间的关节进行自连接，得到第一邻接矩阵；
[0015]将人体的所有关节进行相互连接得到的矩阵排除所述第一邻接矩阵得到第二邻接矩阵。
[0016]进一步地，所述步骤S20中，所述局部联系特征提取规则具体包括：
[0017]步骤S21、创建一输入维数和输出维数均为16
×
128的第一语义卷积，用于对输入第二邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征
[0018]步骤S22、创建一输入维数和输出维数均为16
×
128的第二语义卷积，用于对输入第一邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征
[0019]步骤S23、创建一输入维数和输出维数均为16
×
128的第三语义卷积，用于对输入第二邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征
[0020]步骤S24、创建一输入维数和输出维数均为16
×
128的第四语义卷积，用于对输入第一邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征
[0021]步骤S25、将所述特征以及特征按照1:p进行聚合汇总得到作为局部联系特征提取规则提取的特征X
‑
，其中p∈[0,1]。
[0022]进一步地，所述步骤S30具体包括：
[0023]步骤S31、通过Linear函数将输入的第一特征的维数从2048维降至1024维后，先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算得到第二特征；
[0024]步骤S32、通过Linear函数将所述第二特征的维数从1024维恢复至2048维后，先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算得到第三特征；
[0025]步骤S33、利用残差连接方式将所述第一特征与第三特征相加，得到全局联系特征提取规则提取的特征X
+
。
[0026]进一步地，所述步骤S40具体包括：
[0027]步骤S41、创建一输入维数为2
×
128输出维数为16
×
128的第五语义卷积，利用所述第五语义卷积将2D姿态的16个关节的坐标先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征利用所述局部联系特征提取规则对特征进行计算得到特征
[0028]步骤S42、将2D姿态的16个关节的坐标，通过Linear函数转换成通道数为32的数
据，输出特征利用所述全局联系特征提取规则对特征进行计算得到特征
[0029]步骤S43、创建一局部联系规则以及一全局联系规则；所述局部联系规则先进行语义卷积的计算，再进行局部联系特征提取规则的计算；所述全局联系规则先进行Linear函数计算，再进行全局联系特征提取规则计算；
[0030]步骤S44、将所述特征和特征分别利用局部联系规则和全局联系规则进行计算，得到特征和特征将所述特征和特征分别利用局部联系规则和全局联系规则进行计算，得到特征和特征将所述特征和特征分别利用局部联系规则和全局联系规则进行计算，得到特征和特征
[0031]步骤S45、将所述特征和特征先后输入SE模块和大小为1
×
1的一维卷积进行计算，得到预测关节三维坐标以及预测3D姿态骨长
[0032]步骤S46、利用坐标均方误差损失函数对所述预测关节三维坐标进行回归3D坐标损失计算：
[0033][0034]其中L
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种二路特征交错融合网络的3D人体姿态估计方法，其特征在于：包括如下步骤：步骤S10、创建同级关节的第一邻接矩阵以及跨关节的第二邻接矩阵；步骤S20、基于所述第一邻接矩阵以及第二邻接矩阵创建一局部联系特征提取规则；步骤S30、创建一全局联系特征提取规则；步骤S40、利用所述局部联系特征提取规则以及全局联系特征提取规则进行特征提取后，进行交错汇总，并回归计算出3D人体骨架，完成3D人体姿态估计。2.如权利要求1所述的一种二路特征交错融合网络的3D人体姿态估计方法，其特征在于：所述步骤S10具体为：将人体的左腕关节、右腕关节、左踝关节、右踝关节归类为同级关节，将左肘关节、右肘关节、左膝关节、右膝关节归类为同级关节，将左肩关节、右肩关节、左臀关节、右臀关节归类为同级关节；将各所述同级关节内的关节进行相互连接，将各所述同级关节间的关节进行自连接，得到第一邻接矩阵；将人体的所有关节进行相互连接得到的矩阵排除所述第一邻接矩阵得到第二邻接矩阵。3.如权利要求1所述的一种二路特征交错融合网络的3D人体姿态估计方法，其特征在于：所述步骤S20中，所述局部联系特征提取规则具体包括：步骤S21、创建一输入维数和输出维数均为16
×
128的第一语义卷积，用于对输入第二邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征步骤S22、创建一输入维数和输出维数均为16
×
128的第二语义卷积，用于对输入第一邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征步骤S23、创建一输入维数和输出维数均为16
×
128的第三语义卷积，用于对输入第二邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征步骤S24、创建一输入维数和输出维数均为16
×
128的第四语义卷积，用于对输入第一邻接矩阵的特征先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算，输出特征步骤S25、将所述特征以及特征按照1:p进行聚合汇总得到作为局部联系特征提取规则提取的特征X
‑
，其中p∈[0,1]。4.如权利要求1所述的一种二路特征交错融合网络的3D人体姿态估计方法，其特征在于：所述步骤S30具体包括：步骤S31、通过Linear函数将输入的第一特征的维数从2048维降至1024维后，先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算得到第二特征；步骤S32、通过Linear函数将所述第二特征的维数从1024维恢复至2048维后，先后进行BatchNorm函数、ReLu函数以及Dropout函数的计算得到第三特征；
步骤S33、利用残差连接方式将所述第一特征与第三特征相加，得到全局联系特征提取规则提取的特征X
...

【专利技术属性】
技术研发人员：骆炎民，白桂湖，林躬耕，
申请(专利权)人：福建省公田软件股份有限公司，
类型：发明
国别省市：