一种基于轨迹约束的人体模型姿态和形状优化方法和系统技术方案

本申请实施例提出的一种基于轨迹约束的人体模型姿态和形状优化方法和系统，包括接收到的视频帧序列中提取带有多尺度信息的空间特征；采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。采用轨迹优化项来鼓励人与场景的交互，产生更真实的人体场景交互。互。互。

【技术实现步骤摘要】
一种基于轨迹约束的人体模型姿态和形状优化方法和系统


[0001]本申请涉及计算机视频处理领域，尤其涉及一种基于轨迹约束的人体模型姿态和形状优化方法和系统。

技术介绍

[0002]从单目视频精确估计三维人体运动需要对运动学（无物理力的身体运动）和动力学（有物理力的运动）进行建模。人体动力学，即带有物理力的人体运动模型，在三维人体姿势估计中相对较少受到关注，而运动学是一个没有物理力的运动模型。
[0003]现有用于单目视频三维人体姿势估计的最先进方法都仅基于运动学。运动学方法往往无法产生物理上合理的运动，通常会生成具有明显伪影的身体上不可信的运动：身体部位（如脚）穿透地面；估计的对象是抖动和过度振动的；脚在与地面静态接触时来回滑动。所有这些物理伪影极大地限制了运动学姿态估计方法的应用。

技术实现思路

[0004]本申请提出了一种基于轨迹约束的人体模型姿态和形状优化方法和系统，结合人体与环境交互信息进一步提升人体重建的质量和精度。
[0005]本申请提出的一种基于轨迹约束的人体模型姿态和形状优化方法，包括：S11，采用卷积神经网络作为编码器，从接收到的视频帧序列中提取带有多尺度信息的空间特征；S12，采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；S13，利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；S14，使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；S15，使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。
[0006]可选的，所述S11包括：S111，采用特征对齐金字塔网络进行密集图像预测；S112，采用在预训练的残差网络作为骨干网络进行空间特征提取。
[0007]可选的，所述S13包括：S131，网络中的回归器采用连续表示法，姿势参数θ中的三维旋转角表示法。
[0008]可选的，所述S14包括：步骤S141，使用脚与地面接触检测器估计当前人体运动状态。
[0009]可选的，所述S15包括：S151，基于物理的轨迹模型通过学习轨迹的残差修正值来优化；
S152，利用人体模板姿态序列和所有图像视频帧序列构建损失函数，训练网络模型；S153，训练完成后，将任意一段视频帧序列导入通过训练好的模型，完成三维人体模型姿势和形状重建。
[0010]另一方面，本申请还提出了基于轨迹约束的人体模型姿态和形状优化系统，所述系统包括：特征提取单元，用于采用卷积神经网络作为编码器，从接收到的视频帧序列中提取带有多尺度信息的空间特征；关系获取单元，用于采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；参数回归单元，用于利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；状态估计单元，用于使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；优化重建单元，用于使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。
[0011]可选的，所述特征提取单元包括：图像预测子单元，用于采用特征对齐金字塔网络进行密集图像预测；特征获取子单元，用于采用在预训练的残差网络作为骨干网络进行空间特征提取。
[0012]可选的，所述参数回归单元用于：采用连续表示法，姿势参数θ中的三维旋转角表示法。
[0013]可选的，所述状态估计单元包括：状态估计子单元，用于使用脚与地面接触检测器估计当前人体运动状态。
[0014]可选的，所述优化重建单元包括：参数优化子单元，用于基于物理的轨迹模型通过学习轨迹的残差修正值来优化；模型训练子单元，用于利用人体模板姿态序列和所有图像视频帧序列构建损失函数，训练网络模型；重建子单元，用于训练完成后，将任意一段视频帧序列导入通过训练好的模型，完成三维人体模型姿势和形状重建。
[0015]有益效果：使用基于物理的轨迹优化来优化产生运动学运动的力，投影到物理上合理的运动，使得轨迹优化产生的运动在物理上是合理。结合人体与环境交互信息进一步提升人体重建的质量和精度。
附图说明
[0016]为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例提出的基于轨迹约束的人体模型姿态和形状优化方法的流程示意图；图2为本申请实施例提出的处理过程示例；图3为本申请实施例提出的基于轨迹约束的人体模型姿态和形状优化系统的结构示意图。
具体实施方式
[0018]为使本申请的结构和优点更加清楚，下面将结合附图对本申请的结构作进一步地描述。
[0019]本申请涉及了基于轨迹约束的人体模型姿态和形状优化方法，借助时空全局关系建模模块对时序进行编码，进而利用人体网格恢复网络作为参数回归器，回归三维人体参数化模板参数和相机参数，完成三维人体模型姿势和形状重建。
[0020]实施例一，如图1和图2所示，本申请提出的优化方法包括：S11，采用卷积神经网络作为编码器，从接收到的视频帧序列中提取带有多尺度信息的空间特征；S12，采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；S13，利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；S14，使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；S15，使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。
[0021]在实施中，在脚与地面接触检测器中通过二维关键点轨迹优化来捕捉时间信息。在卷积神经网络中将可能预测的二维图片序列作为输入，使用回归人体模板三维人体参数化模板参数，并添加轨迹约束，最终将二维关键点轨迹与投影的三维轨迹相匹配，利用运动轨迹进行遮挡跟踪。
[0022]另外还经过特征对齐金字塔网络提取多尺度信息的空间特征，学习像素的变换偏移以上下文对齐上采样的复杂语义特征；同时加入时空全局关系建模模块对时序进行编码，捕获远程依赖关系。
[0023]具体的， 在执行步骤S11之前，需要进行视频帧序列的获取过程，具体为：选取视频帧序列，记作，其中为序列长度，也称为图像序列数目，表示第张图像，即第i帧。
[0024]其中，从视频帧序列中选取后续步骤训练的数据，包括混合的二维和三维数据集，5000段带有二维真值的视频数据集，8000段使用二维关键点检测器得到的伪标签数据集。
[0025]对于三维数据集，使用2000段带有参数化人体模板真值的视频数据。
[0026]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轨迹约束的人体模型姿态和形状优化方法，其特征在于，所述方法包括：S11，采用卷积神经网络作为编码器，从接收到的视频帧序列中提取带有多尺度信息的空间特征；S12，采用时空全局关系建模模块对对空间特征中的时序参数进行编码，获取编码中存在的远程依赖关系；S13，利用人体网格恢复网络作为参数回归器，对视频帧序列中的三维人体参数化模板参数和相机参数进行回归；S14，使用脚与地面接触检测器基于视频帧序列内每帧图像中二维关键点信息对人体运动状态进行估计；S15，使用基于物理的轨迹模型，结合学习轨迹的残差修正值对估计值进行优化，完成三维人体模型姿势和形状重建。2.根据权利要求1所述的一种基于轨迹约束的人体模型姿态和形状优化方法，其特征在于，所述S11包括：S111，采用特征对齐金字塔网络进行密集图像预测；S112，采用在预训练的残差网络作为骨干网络进行空间特征提取。3.根据权利要求1所述的一种基于轨迹约束的人体模型姿态和形状优化方法，其特征在于，所述S13包括：S131，网络中的回归器采用连续表示法，姿势参数θ中的三维旋转角表示法。4.根据权利要求1所述的一种基于轨迹约束的人体模型姿态和形状优化方法，其特征在于，所述S14包括：步骤S141，使用脚与地面接触检测器估计当前人体运动状态。5.根据权利要求1所述的一种基于轨迹约束的人体模型姿态和形状优化方法，其特征在于，所述S15包括：S151，基于物理的轨迹模型通过学习轨迹的残差修正值来优化；S152，利用人体模板姿态序列和所有图像视频帧序列构建损失函数，训练网络模型；S153，训练完成后，将任意一段视频帧序列导入通过训练好的模型，完成三维人体模型姿势和形状重建。6.一种基于轨迹约束的人体模型姿态和形状优化系统，其特征在于，所述...

【专利技术属性】
技术研发人员：戴翘楚，吴翼天，曹静萍，
申请(专利权)人：杭州倚澜科技有限公司，
类型：发明
国别省市：