基于对抗式相对深度约束网络的三维人体姿态估计方法技术

本发明专利技术公开了一种基于对抗式相对深度约束网络的三维人体姿态估计方法，包括步骤：1)输入人体16个关节点的二维像素坐标，并归一化预处理；2)输入二维像素坐标到深度预测网络，输出人体16个关节点的深度值；3)利用深度值与二维像素坐标来重构关节点的三维坐标；4)输入三维人体姿态到生成式对抗网络的判别器进行真实性误差计算，利用三维人体姿态与图像对应的各关节点间的相对深度信息进行相对深度误差计算；5)将生成式对抗网络的判别器计算的真实性误差与相对深度误差相加得到总误差，并反馈到深度预测网络，得到更加准确的三维人体姿态。本发明专利技术解决了室外三维人体姿态数据缺少和生成式对抗网络方法的结果与图片各关节点间的相对深度关系不符合的问题。

【技术实现步骤摘要】
基于对抗式相对深度约束网络的三维人体姿态估计方法
本专利技术涉及三维人体姿态估计的
，尤其是指一种基于对抗式相对深度约束网络的三维人体姿态估计方法。
技术介绍
三维人体姿态估计是指从图像中估计出图像中人体的各个主要关节点的三维坐标，用于表示图像中人体三维姿态的过程。近年来，随着当前技术进步驱动从而不断增加的新应用场景，三维人体姿态估计在人机交互、动作估计、动画和虚拟现实等方面有着广泛的应用价值，成为一个基本而具有挑战性的课题。由于深度学习的发展和二维人体姿态数据的易获取，二维人体姿态估计领域得到很大的进展突破。然而，在三维人体姿态估计方面，由于三维人体姿态数据采集工作比较困难且成本较高，可用于网络学习的三维人体姿态数据较少。现有的三维人体姿态数据大多数是在室内通过精密的仪器进行人工采集。因此现有三维人体姿态估计方法，由于缺少大量丰富的室外三维人体姿态数据，在室外图像中表现欠佳。由于二维姿态估计的成熟发展，以及三维人体姿态数据的难采集。现有的三维人体姿态估计的方法趋向于，从二维人体姿态中，通过弱监督的方法来估计三维人体姿态。本文档来自技高网...

【技术保护点】
1.基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于，包括以下步骤：/n1)输入人体16个关节点的二维像素坐标，并进行归一化预处理；/n2)输入人体16个关节点归一化预处理后的二维像素坐标到深度预测网络中，输出人体16个关节点的深度值；/n3)利用16个关节点的深度值与二维像素坐标来重构关节点的三维坐标，得到重构的三维人体姿态；/n4)输入重构的三维人体姿态到生成式对抗网络的判别器进行真实性误差计算，同时利用重构的三维人体姿态与图像对应的各关节点间的相对深度信息进行相对深度误差计算；/n5)将生成式对抗网络的判别器计算的真实性误差与相对深度误差相加得到总误差，并反馈到深度预测网络，...

【技术特征摘要】
1.基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于，包括以下步骤：
1)输入人体16个关节点的二维像素坐标，并进行归一化预处理；
2)输入人体16个关节点归一化预处理后的二维像素坐标到深度预测网络中，输出人体16个关节点的深度值；
3)利用16个关节点的深度值与二维像素坐标来重构关节点的三维坐标，得到重构的三维人体姿态；
4)输入重构的三维人体姿态到生成式对抗网络的判别器进行真实性误差计算，同时利用重构的三维人体姿态与图像对应的各关节点间的相对深度信息进行相对深度误差计算；
5)将生成式对抗网络的判别器计算的真实性误差与相对深度误差相加得到总误差，并反馈到深度预测网络，约束深度预测网络预测出更准确的深度值，从而重构得到更加准确的三维人体姿态。


2.根据权利要求1所述的基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于：在步骤1)中，对于每个人体，每个关节点的二维像素坐标减去该人体的16个关节点的二维像素坐标的均值，然后除以该人体的16个关节点的二维像素坐标的标准差，从而获得归一化预处理后的二维像素坐标。


3.根据权利要求1所述的基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于：在步骤2)中，将上一步得到的各关节点归一化预处理后的二维像素坐标，输入到由三个模块组成的深度预测网络中进行人体16个关节点深度值的预测，包括以下步骤：
2.1)将各关节点归一化预处理后的二维像素坐标，输入到特征提取模块中提取特征，该特征提取模块由一层包含1024个神经元的全连接层和一层线性整流激活函数层组成；
2.2)将特征提取模块提取的特征输入到残差网络模块中进行特征学习，该残差网络模块由两个残差块组成，每个残差块是将神经网络上一层的输出值输入到一层包含1024个神经元的全连接层和一层线性整流激活函数层输出初步特征值，接着将初步特征值输入到一层包含1024个神经元的全连接层输出进一步的特征值，然后将进一步的特征值与输入到残差块的输入值相加，最后将相加得到的特征值输入到一层线性整流激活函数层，输出残差块特征值到神经网络的下一层；
2.3)将残差网络模块的输出特征输入到深度值回归模块，该深度值回归模块由一层包含16个神经元的全连接层构成，深度值回归模块输入残差网络模块的输出特征，输出人体16个关节点的深度值。


4.根据权利要求1所述的基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于：在步骤3)中，利用16个关节点的深度值与二维像素坐标来重构关节点的三维坐标，具体如下：
假设人体某一关节点的二维像素坐标为(u,v)，其中u为该关节点在图像的横向坐标，v为该关节点在图像的纵向坐标；假设该关节点在上一步预测得到的深度值为H，图像对应的焦距为f，则该关节点的三维坐标为将每个关节点的三维坐标重构，能够重构人体16个关节点的三维坐标，人体16个关节点的三维坐标组成人体的三维姿态。


5.根据权利要求1所述的基于对抗式相对深度约束网络的三维人体姿态估计方法，其特征在于：在步骤4)中，输入重构的三维人体姿态到生成式对抗网络的判别器进行真实性误差计算，同时利用重构的三维人体姿态与图像对应的各关节点间的相对深度信息进行相对深度误差计算，包括以下步骤：
4.1)...

【专利技术属性】
技术研发人员：刘阳温，李桂清，韦国栋，聂勇伟，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44