一种基于神经运动控制的高物理真实感人体运动捕捉方法技术

本发明专利技术提出一种基于神经运动控制的高物理真实感人体运动捕捉方法。该方法首先提出一种基于物理引擎的采样分布先验网络，训练得到准确的采样分布先验。其次提出一种场景接触约束，输入单视角视频通过优化框架获得人体参考运动。最后，利用训练完成的采样分布先验，从人体参考运动和物理角色当前状态中估计采样分布，进而使用采样控制的方法在不可微的物理引擎中实现高物理真实感的人体运动捕捉。本发明专利技术所提出的基于神经运动控制的人体捕捉框架使用物理引擎提供硬物理约束，避免了传统人体运动捕捉中的穿模、抖动等物理不真实的现象，采集方便，成本较低，易于实现。易于实现。易于实现。

【技术实现步骤摘要】
一种基于神经运动控制的高物理真实感人体运动捕捉方法


[0001]本专利技术涉及属于计算机视觉及计算机图形学领域；尤其涉及一种基于神经运动控制的高物理真实感人体运动捕捉方法。

技术介绍

[0002]人体运动捕捉在人机交互、个人健康管理和人类行为理解等方面有着多种应用。随着无标记运动捕捉的迅速发展，市场对人体运动捕捉的要求不断提高。现有的大量工作可以通过网络回归或者优化的方法，从单视角视频和图像中以运动学的方式捕捉准确人体姿态。然而由于视觉歧义性，基于运动学进行单视角运动捕捉，会出现一系列非自然现象，例如穿模、抖动以及脚步的不合理滑动等。部分方法通过简单且可微分的物理模型，在重建框架中添加物理约束。然而这类方法存在较大的近似误差；其余方法采用不可微的物理引擎和深度强化学习方法进行估计。但训练一个理想的策略需要复杂的配置过程，并且训练得到的策略对环境变化十分敏感。此外，传统基于采样控制的方法需要准确的参考运动，生成合理的采样分布非常耗时且存在随机误差。因此，采用基于采样的神经运动控制方法，实现在场景地形复杂、人体体型多变、动作姿态多样的情况下的人体运动捕捉，将有望推动解决当前人体运动捕捉技术应用落地的痛点问题。

技术实现思路

[0003]为解决上述问题，本专利技术公开了一种基于神经运动控制的高物理真实感人体运动捕捉方法。该方法首先提出一种基于物理引擎的采样分布先验网络，训练得到准确的采样分布先验。其次提出一种场景接触约束，输入单视角视频通过优化框架获得人体参考运动。最后，利用训练完成的采样分布先验，从人体参考运动和物理角色当前状态中估计采样分布，进而使用采样控制的方法在不可微的物理引擎中实现高物理真实感的人体运动捕捉。
[0004]本专利技术所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，包括以下步骤：
[0005]S1.人体运动学模型与人体动力学模型建模：人体运动学模型是可蒙皮的人体骨架，具有51个关节自由度，骨架姿态使用关节旋转进行表示。人体动力学模型具有与人体运动学模型相同的结构，每个关节带有质量、摩擦力等动力学参数，可以在不可微物理引擎中进行物理仿真。给定人体骨骼长度，根据运动学树结构可以自动生成人体运动学模型和人体动力学模型。人体动力学模型的动力学参数不随人体体型进行变化。
[0006]S2.人体参考运动及物理角色状态定义：人体参考运动是由人体运动学模型拟合到输入视频的人体特征得到，每帧拟合后的人体参考姿态参数组成完整的人体参考运动，其中第t帧的人体参考姿态参数表示为人体参考骨架姿态参数包括3维模型平移、3维模型全局旋转和51维关节旋转，总维度为57维。物理角色状态是人体动力学模型经过仿真后，从物理引擎中读取的参数，其中包含模拟姿态参数q和速度参数模拟姿态
参数与人体参考骨架姿态参数构成相同，速度参数包括3维根节点线速度，3维根节点角速度和51维关节角速度，物理角色状态总维度为114维。
[0007]S3.采样分布先验神经网络训练：从现有运动学人体数据集中获取数据，离线运行协方差矩阵自适应进化策略，生成采样分布，用于监督分布编码器的预训练。预训练完成后，接入二分支的解码器，对编码器网络参数进行进一步优化训练，直至网络收敛。将训练完成的编码器网络作为采样分布先验，用于后续的人体运动捕捉。
[0008]S4.人体参考运动及人体体型估计：使用现有人体二维姿态估计方法从输入视频中获取人体二维姿态。构建场景接触约束，优化人体运动学模型姿态参数，获取人体参考运动
[0009]S5.高物理真实感人体运动捕捉：从人体参考运动中读取第t帧的人体参考姿态读取第t
‑
1帧物理角色的状态s
t
‑1，将参考姿态和物理状态输入采样分布先验，输出采样分布Q(μ
t
,σ
t
)。从估计得到的分布中采样k个参考姿态的修正值分别与人体参考姿态相加构成人体目标姿态将k个人体目标姿态输入物理引擎进行仿真，对每个仿真结果进行评价，选取损失函数值最小的仿真结果，作为t时刻物理角色状态，重复步骤S5进行下一帧的运动捕捉。执行完所有视频帧后，每帧物理角色的模拟姿态参数 q
t
构成完整运动作为输出。
[0010]进一步地，步骤S3的具体方法包括：
[0011]S31：训练数据准备：从现有运动学人体数据集中选取连续的两帧：t
‑
1时刻、t时刻，通过对选取姿态进行差分，计算t
‑
1时刻的人体关节速度，进而将t
‑
1时刻的人体姿态和速度作为物理角色的状态，以第t帧的人体姿态作为参考姿态。构建标准正态分布作为初始采样分布，将对应的物理角色状态、参考姿态以及从初始分布采样的参考姿态修正值进行物理仿真，使用协方差矩阵自适应策略优化初始分布，优化完成的分布依次处理完数据集内所有数据，所估计分布即为用于预训练网络参数的监督数据；由于差分获取的结果与现实仿真有偏差，为了增强数据的真实性，在物理角色状态中加入随机噪声来模拟真实情况；
[0012]其中物理仿真包括以下步骤，且后文提及物理仿真与此步骤相同：
[0013]S311：将参考姿态和采样得到的参考姿态修正值相加，得到目标姿态；
[0014]S312：以目标姿态作为设定值，结合当前的物理角色状态，使用PD控制计算得到关节力矩；
[0015]S313：将关节力矩应用于物理角色的关节上，使用物理引擎执行物理仿真；
[0016]S314：读取仿真结果；
[0017]S32：分布编码网络预训练：构建6层全连接的编码网络，输出为32维的均值和方差；将估计得到的均值和方差组成正态分布；使用离线协方差矩阵自适应策略生成的分布作为监督，训练网络直至收敛。以Kullback
‑
Leibler散度作为约束，其损失函数公式为：
[0018][0019]其中是由协方差矩阵自适应进化策略得到的分布，是由编码网络估计得到的分布，KL为Kullback
‑
Leibler 散度。
[0020]S33：训练收敛后，由于协方差矩阵自适应进化策略具有随机误差，其生成的标注中存在噪声，预训练后的模型难以回归准确的采样分布。本专利技术提出一种包括姿态解码网络和物理模拟分支的二分支解码器，用于辅助编码器训练得到准确的参数。其中姿态解码网络具有4层全连接层，从目标姿态中回归模拟后的人体姿态；物理模拟分支也接收目标姿态，经过仿真后获得模拟姿态。由于物理模拟分支不可微，其获得的模拟姿态作为监督，作用于姿态解码网络估计得到的人体姿态上，促使姿态解码网络回归得到与物理仿真相同的结果。其损失函数为：
[0021][0022]其中，为姿态解码网络回归得到的人体姿态，和j
t
分别为回归得到的人体姿态和模拟人体姿态通过前向运动学获取的关节位置，‖
·
‖2为二范数。
[0023]此外，为了让编码器回归正确的分布，重建约束进一步被用于约束估计得到的人体姿态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经运动控制的高物理真实感人体运动捕捉方法，其特征在于：包括以下步骤：S1.人体运动学模型与人体动力学模型建模；S2.人体参考运动及物理角色状态定义；S3.采样分布先验神经网络训练；S4.人体参考运动及人体体型估计；S5.高物理真实感人体运动捕捉。2.根据权利要求1所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，其特征在于：所述S2中：人体参考运动是由人体运动学模型拟合到输入视频的人体特征得到，每帧拟合后的人体参考姿态参数组成完整的人体参考运动，其中第t帧的人体参考姿态参数表示为人体参考骨架姿态参数包括3维模型平移、3维模型全局旋转和51维关节旋转，总维度为57维；物理角色状态是人体动力学模型经过仿真后，从物理引擎中读取的参数，其中包含模拟姿态参数q和速度参数模拟姿态参数与人体参考骨架姿态参数构成相同，速度参数包括3维根节点线速度，3维根节点角速度和51维关节角速度，物理角色状态总维度为114维。3.根据权利要求1所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，其特征在于：S3.从现有运动学人体数据集中获取数据，离线运行协方差矩阵自适应进化策略，生成采样分布，用于监督分布编码器的预训练；预训练完成后，接入二分支的解码器，对编码器网络参数进行进一步优化训练，直至网络收敛。将训练完成的编码器网络作为采样分布先验，用于后续的人体运动捕捉。4.根据权利要求4所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，其特征在于：所述S3的具体方法包括：S31：训练数据准备：从现有运动学人体数据集中选取连续的两帧：t
‑
1时刻、t时刻，通过对选取姿态进行差分，计算t
‑
1时刻的人体关节速度，进而将t
‑
1时刻的人体姿态和速度作为物理角色的状态，以第t帧的人体姿态作为参考姿态。构建标准正态分布作为初始采样分布，将对应的物理角色状态、参考姿态以及从初始分布采样的参考姿态修正值进行物理仿真，使用协方差矩阵自适应策略优化初始分布，优化完成的分布依次处理完数据集内所有数据，所估计分布即为用于预训练网络参数的监督数据；由于差分获取的结果与现实仿真有偏差，为了增强数据的真实性，在物理角色状态中加入随机噪声来模拟真实情况。5.根据权利要求4所述的一种基于神经运动控制的高物理真实感人体运动捕捉方法，其特征在于：其中物理仿真包括以下步骤：S311：将参考姿态和采样得到的参考姿态修正值相加，得到目标姿态；S312：以目标姿态作为设定值，结合当前的物理角色状态，使用PD控制计算得到关节力矩；S313：将关节力矩应用于物理角色的关节上，使用物理引擎执行物理仿真；S314：读取仿真结果；S32：分布编码网络预训练：构建6层全连接的编码网络，输出为32维的均值和方差；将估计得到的均值和方差组成正态分布；使用离线协方差矩阵自适应策略生成的分布作为监督，训练网络直至收敛；以Kullback
‑
Leibler散度作为约束，其损失函数公式为：
其中是由协方差矩阵自适应进化策略得到的分布，是由编码网络估计得到的分布，KL为Kullback
‑
Leibler散度；S33：训练收敛后，由于协方差矩阵自适应进化策略具有随机误差，其生成的标注中存在噪声，预训练后的模型难以回归准确的采样分布；提出一种包括姿态解码网络和物理模拟分支的二分支解码器，用于辅助编码器训练得到准确的参数；其中姿态解码网络具有4层全连接层，从目标姿态中回归模拟后的人体姿态；物理模拟分支也接收目标姿态，经过仿真后获得模拟姿态；由于物理模拟分支不可微，其...

【专利技术属性】
技术研发人员：王雁刚，黄步真，潘亮，杨源，
申请(专利权)人：东南大学，
类型：发明
国别省市：