一种利用2D人物图像构造3D人物姿态的方法及装置制造方法及图纸

本发明专利技术公开了一种利用2D人物图像构造3D人物姿态的方法及装置，涉及3D姿态估计技术领域，包括以下步骤：步骤S1、构建生成对抗网络；步骤S2、通过生成器推理出关节位置的相对深度，并获得3D人体骨骼；步骤S3、利用生成的3D人体骨骼，进行随机2D投影，并与实际的2D姿势样本一起送到判别器；步骤S4、判别器从2D投影中学习知识，并使生成器最终生成逼真的3D人体骨骼。该利用2D人物图像构造3D人物姿态的方法及装置，提出了一种弱监督学习算法，能够根据2D姿势估计3D人体骨骼姿态，相较于现有方法，不需要通过3D数据明确地学习先验或利用明确的2D‑3D对应关系，而是通过仅观察2D姿势来生成3D人体骨骼，不需要大量标注数据集支撑训练。

【技术实现步骤摘要】

本专利技术涉及3d姿态估计，具体为一种利用2d人物图像构造3d人物姿态的方法及装置。

技术介绍

1、3d姿态估计，即3dhpe技术，它的主要目标是在三维空间中估计人体关键点的位置。现有技术中，3dhpe的应用非常广泛，比如人机交互、运动分析、康复训练等领域均有其应用。除此之外，3dhpe还可以为其他计算机视觉任务提供骨骼结构方面的信息。但根据2d图像估计3d姿态是一个具有不确定性因素的问题，同一个2d姿态可能存在多个不同的3d姿态，并且基于单目图像的方法，还存在自遮挡、物体遮挡、深度的不确定性等问题。

2、目前，根据人体图片识别出关键关节定位的技术已经较为成熟，但是3d姿态估计的参差不齐，高质量的3d姿态估计从随机角度进行重新投影，重新投影符合正确2d姿态，低质量的3d姿态估计从随机角度进行重新投影，重新投影不符合正确2d姿态，因此，如何在多人且存在遮挡的情况下，利用有限的图片，进行关节的3d位置还原，进一步推断出姿态和动作意图，还需要进一步的研究的探索。

3、现有技术中，根据2d关节位置图片估计人体3d姿势一般有两种方法：第一种方本文档来自技高网...

【技术保护点】

1.一种利用2D人物图像构造3D人物姿态的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种利用2D人物图像构造3D人物姿态的方法，其特征在于，所述步骤S1中，生成对抗网络包括两个主要组成部分：

3.根据权利要求1所述的一种利用2D人物图像构造3D人物姿态的方法，其特征在于，所述步骤S2中，生成器的输出是每个点xi的深度偏移oi，公式定义如下：

4.根据权利要求1所述的一种利用2D人物图像构造3D人物姿态的方法，其特征在于，所述步骤S3中，反向投影的具体操作如下：根据输入xi的和推理出的zi，计算出3D的点Xi＝[zixi,ziyi,zi]...

【技术特征摘要】

1.一种利用2d人物图像构造3d人物姿态的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种利用2d人物图像构造3d人物姿态的方法，其特征在于，所述步骤s1中，生成对抗网络包括两个主要组成部分：

3.根据权利要求1所述的一种利用2d人物图像构造3d人物姿态的方法，其特征在于，所述步骤s2中，生成器的输出是每个点xi的深度偏移oi，公式定义如下：

4.根据权利要求1所述的一种利用2d人物图像构造3d人物姿态的方法，其特征在于，所述步骤s3中，反向投影的具体操作如下：根据输入xi的和推理出的zi，计算出3d的点xi＝[zixi,ziyi,zi],yi是点xi的纵深，且必须采用透视投影而非近似投影，所述透视投影包括但不限于正交投影或平行透视投影。

5.根据权利要求1所述的一种利用2d人物图像构造3d人物姿态的方法，其特征在于，所述步骤s3中，随机投影层的具体操作如下：使用随机生成的相机方向，将生成的3d人体骨骼，投影到2d姿势，再将其馈送到判别器，随机旋转3d点并应用透视投影来获得2d投影，并定义r为随机旋转的矩阵，t＝[0,0,d],得到

6.根据权利要求1所述的一种利用2d人物图像构造3d人物姿态的方法，其特征在于，所述步骤s3中，判别器的输入是生成的2d...

【专利技术属性】
技术研发人员：王斌，龙真真，刘德生，金帅，
申请(专利权)人：中科晶锐苏州科技有限公司，
类型：发明
国别省市：