基于分组回归模型的人体三维关节点预测方法技术

本发明专利技术公开一种基于分组回归模型的人体三维关节点预测方法，包括以下步骤：采集人体2d关节点检测数据；将2d关节点坐标输入到相同结构的回归网络中并得到不同组的3d关节位置并将所得的关键三维位置合并为整体关节向量；通过BiLSTM构建关节点自约束网络和关节组自约束网络，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；通过损失函数计算3d预测关节与3d关节之间的欧氏距离。本发明专利技术结合人体四肢关节运动独立性的特点采用分组回归的结构，将四肢和躯干划分入不同关节组中，分别预测各组内关节点的3d位置，同时为使预测结果更贴近真实人体姿态，利用BiLSTM设计人体关节自约束网络用于调整预测结果，提升准确度。

Prediction Method of Human Three-Dimensional Joint Points Based on Grouped Regression Model

【技术实现步骤摘要】
基于分组回归模型的人体三维关节点预测方法
本专利技术属于人体姿态估计技术，具体涉及一种基于分组回归模型的人体三维关节点预测方法。
技术介绍
3d人体姿态估计是计算机视觉领域的一个具有挑战性的课题，可应用于虚拟现实、动作识别和人机交互等领域。其难点在于：所采集的图像为二维信号，难以提取人体的深度信息。早期的方法利用轮廓、形状、SIFT、HOG等多种不变特征重建人体姿态，虽容易实现但具有算法复杂度高、效率较低等缺陷。近年来，深度学习的理论被应用到3d人体姿态估计中，取得了较好的成果。其中主要包括两种方法:1.学习端到端的网络，其原理是：直接将2d图像作为输入，预测3d关节位置。如Li等人提出一种多任务的卷积网络结构，通过共享卷积层，并将卷积结果用于关节点的预测和检测任务，该方法受限于较为基础和简易的网络结构，预测结果与真实数据存在一定的误差；Pavlakos等人将2d关节检测的方法扩展到3d姿态预测中，以三维体素来表示3d关节位置，网络的输出结果为3维的关节高斯热图，但该方法需要存储和计算大量的参数，对机器的要求较高，训练时间较长。并且，端到端的网络能够获取图片中的丰富信息，但3d真实数据的获取难度较大，现有的数据集都基于实验室环境内收集的，训练出的模型不适应于室外活动场景；合成的图片达不到真实图片的效果，基于合成图片训练出来的模型在真实图片中的预测性能较差。2.基于2d关节点定位的3d姿态估计。首先从输入的图像中提取二维的人体姿态，然后将二维姿态提升到三维空间。如Moreno-Noguer将三维人体姿态估计问题转化为两个欧氏距离矩阵之间的回归问题，分别对2d和3d人体关节的两两距离进行编码，利用网络学习2d距离矩阵到3d距离矩阵的回归过程。Zhou等人设计能分步训练的统一模型，该模型能够在训练好的2d关节探测模型的基础上再次训练用于预测3d关节位置。Martinez等人通过结合现有的网络优化技术设计良好的回归网络，仅仅将二维姿态作为输入就可以得到精确的三维姿态。Fang等人利用双向循环网络结构设计了语法网络，学习人体关节之间的约束，调节回归网络的预测结果，但由于该方法中回归网络获得的3d关节精确度不高，导致该语法网络对预测结果的调节能力有限。此类方案注重探究从2d到3d的映射关系，却忽略了人体自身关节的运动特性。由于人体的四肢运动具有独立性，例如，左手在作出一个固定的姿势时，右手仍然可以任意的摆动，不会受到左手的干扰。同时人体的四肢运动具有一定的协调性，例如在行走的过程中，人类习惯迈出左腿的同时将右手向前摆动。此外，人体关节运动还存在自身约束，如四肢的长度，手肘和膝盖部位关节的旋转角度等。综上，现有的技术方案既不能符合实际人体四肢运动特性，其所得过程需要计算和存储大量数据，花销和时间成本均很大，同时最终效果不真实可靠。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供基于分组回归模型的人体三维关节点预测方法，本专利技术结合人体四肢关节运动独立性的特点采用分组回归的结构，将四肢和躯干划分入不同关节组中，分别预测各组内关节点的3d位置，同时为使预测结果更贴近真实人体姿态，利用BiLSTM设计人体关节自约束网络用于调整预测结果，提升准确度。技术方案：本专利技术的一种基于分组回归模型的人体三维关节点预测方法，包括以下步骤：(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据；(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；(3)关节约束网络，通过BiLSTM构建关节点自约束网络和关节组自约束网络，关节点自约束网络以单关节点作为输入，关节组自约束网络以单组关节作为输入，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。上述步骤(3)中，两个自约束网络均是利用BiLSTM搭建的双向循环网络，这两个网络的输入和输出都是3d人体关节点，目的是为了利用循环网络学习人体关节的固有约束，从而自发的调整3d关节位置，但是两个自约束循环网路中单步输入的数据规模不一样。进一步的，所述步骤(1)的具体内容为：通过stackedhourglass网络结构获取2d关节点检测数据，然后通过Human3.6M数据集进行微调。Stackedhourglass网络结构的网络图为由粗到细再到粗的堆叠沙漏的结构，能够非常有效的提取图片中的特征，其输出是2d关节高斯热图，根据热图的峰值来确定2的关节位置。所述微调是调整stackedhourglass网路结构的中的相关参数，如权重和偏置等，本专利技术用过微调使得在human3.6中预测的2d关节更精准。进一步的，所述步骤(2)的具体内容为：(2.1)将相关性强的关节点分在同组，并对各组采用回归网络独立训练，即根据数据集提供的关节点的顺序，将关节点共分为5组，并且按照树状结构从父节点到子节点的顺序进行排列：group_1(r.leg):1→2→3(1)group_2(l.reg):4→5→6(2)group_3(torso):7→8→9→10(3)group_4(l.arm):11→12→13(4)group_5(r.arm):14→15→16(5)(2.2)然后重复地将整体的2d关节输入到5个相同结构的回归网络中，分别得到不同组的3d关节位置；(2.3)将五组关节点的三维位置合并成整体的关节向量，作为分组回归网络预测的结果Yreg。分组回归的函数表达形式如下：(g1,g2,g3,g4,g5)＝R(y2d)(6)Yreg＝M1(g1,g2,g3,g4,g5)(7)y2d表示为2d关节点的输入，g1,g2,g3,g4,g5分别表示为不同组的3d关节点输出，R表示回归网络，M1表示将各组关节点合并的过程。进一步的，所述步骤(3)的具体内容为：由于步骤(3)分组回归得到的五组关节数据维度不一致，在将其作为关节组自约束网络的输入之前对将group1、group2、group4、group5分别再次追加一个父节点；随后将五组关节数据融合成5×12的向量Ygroup；同时，两个BiLSTM的内部隐藏单元的个数均为128，并且两个BiLSTM的输出都通过一个输出层降低至48维得到3d关节位置，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节Yres；其公式如下所示：Ygroup＝M2(g1,g2,g3,g4,g5)(8)Yres＝w1(f1(Yreg))+w2(f2(Ygroup))(9)M2表示分组数据的按分组进行合并的过程，f1和f2分别表示关节点自约束网络和关节组自约束网络，w1和w2则分别表示两个BiLSTM的输出层的权重。进一步的，所述两个自约束网络输出的3d关节点进行累加的方法为：进一步的，所述步骤(4)中通过损失函数计算欧氏距离的公式为：Yres和Ygroup∈R16×3分别表示关节点自约束网络和关节组自约束网络的输出结果；N表示为单批次训练数据的数量，设定为64，学习率初始设定为1e-3并随着训练本文档来自技高网...

【技术保护点】
1.一种基于分组回归模型的人体三维关节点预测方法，其特征在于：包括以下步骤：(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据；(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；(3)关节约束网络，通过BiLSTM构建关节点自约束网络和关节组自约束网络，关节点自约束网络以单关节点作为输入，关节组自约束网络以单组关节作为输入，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。

【技术特征摘要】
1.一种基于分组回归模型的人体三维关节点预测方法，其特征在于：包括以下步骤：(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据；(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；(3)关节约束网络，通过BiLSTM构建关节点自约束网络和关节组自约束网络，关节点自约束网络以单关节点作为输入，关节组自约束网络以单组关节作为输入，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。2.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(1)的具体内容为：通过stackedhourglass网络结构获取2d关节点检测数据，然后通过Human3.6M数据集进行微调。3.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(2)的具体内容为：(2.1)将相关性强的关节点分在同组，并对各组采用回归网络独立训练，即根据数据集提供的关节点的顺序，将关节点共分为5组，并且按照树状结构从父节点到子节点的顺序进行排列：group_1(r.leg):1→2→3(1)group_2(l.reg):4→5→6(2)group_3(torso):7→8→9→10(3)group_4(l.arm):11→12→13(4)group_5(r.arm):14→15→16(5)(2.2)然后重复地将整体的2d关节输入到5个相同结构的回归网络中，分别得到不同组的3d关节位置；(2.3)将五组关节点的三维位置合...

【专利技术属性】
技术研发人员：王华彬，何学胜，贺莹，秦愿，徐晗，张首平，李宁森，陶亮，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34