一种基于关键标记点的人体姿态稀疏重建方法技术

本发明专利技术公开了一种基于关键标记点的人体姿态稀疏重建方法，该方法对于数据库中人体运动数据提取出与关键标记点对应的关节点信息构建k-d树索引，然后对每帧输入的控制信号，在数据库中查找与之最为匹配的近邻，由它们构成恢复字典，利用稀疏表达的优化框架并将前一帧恢复的结果纳入当前帧的平滑约束中，恢复出全身的运动姿态，恢复出来的缺失的关键点信息足够自然，并在时序上没有抖动。

【技术实现步骤摘要】

本专利技术涉及三维图形学和虚拟现实领域，尤其涉及一种人体姿态稀疏重建方法。
技术介绍
人体运动捕获技术已被广泛应用到动画制作，电影特效，计算机游戏等娱乐领域，带来巨大的经济效益。尽管目前各种商业捕获系统已经能够以很高的时空分辨率进行跟踪和记录人体运动，但是由于需要非常高成本的软件、设备和数据采集过程(穿戴很麻烦，商用设备通常需要用户穿戴40 -50个仔细贴放的反光标记点，或者18个磁力或惯性传感器)，另外，它们通常会对表演的演员和采集环境有特殊的要求与限制，导致它们不适合家用。在一些家庭娱乐应用中并不需要捕获到十分精确的人体姿态，往往只需要知道当前表演交互的用户是走、是跑、是蹲抑或是跳，只需要知道手和脚位于空间中的大概区域而并不关心手指、脚趾、肘部、膝盖的精确坐标，此时，使用精密的商用捕获设备就显然是杀鸡用牛刀。对低成本的非精密的运动捕获系统的需求日益强烈，使得能够通过很少的传感器就提取出用户有意义的运动信息的系统变得很具有吸引力，因为它们极大地减少了设备脱戴的时间和数据采集过程的复杂度。这些系统实现的具体技术手段虽然各有不同，但是主体上的思想就是利用捕获的低维控制信号来恢复出人体姿态。因此，如何利用低维度的控制信号恢复出尽可能自然真实的高维度运动姿态就称为一个极具挑战性的问题。利用低维的控制信号来捕获全身运动的时候，有许多维度是没有受到约束的，这些维度的数据要么需要根据逆向运动学的方法被计算出来，要么需要根据数据库中数据被合成或者重建出来。传统的逆向运动学(Inverse Kinematics),在已知人体末端节点位置的情况下，利用运动学公式解欠定的非线性系统来计算出人体所有关节点的参数配置，纵使加了人体测量学方面的约束，逆向运动学的求解计算过程仍然是非常复杂，而且最终计算出来的姿态可能不够自然。这时，以事先捕获的运动数据为支撑的数据驱动的方法就显现出了威力。近年来，基于数据驱动的去噪方法逐渐兴起，这些方法利用已捕获的纯净的运动数据作为数据库支持，以当前输入的控制信号作为查询条件，查找与之最为匹配的近邻姿态，利用这些近邻姿态进行重构，各个方法的差异主要体现在如何重构上面。这种方法使得运动数据可以重复利用，进一步降低了工业成本和提高了运动捕获的性价比。
技术实现思路
本专利技术是通过以下技术方案来实现的:提供一种基于关键标记点的三维人体运动姿态稀疏重建方法，包括如下步骤:( I)下载纯净人体运动数据库；(2)使用运动捕获设备捕获人体运动数据:我们希望使用尽可能少的关节点信息来恢复出全身的姿态，从人的直觉来看，四肢和头部都至少需要保留一个末端节点，另外我们需要跟踪贴于臀部的根节点的全局位置和朝向，以方便对输入信号进行平移和旋转。因此，使用Vicon运动捕获系统对贴于人体这六个关键关节处的反光标记点的轨迹信息进行捕捉；(3)对步骤I获得的数据进行预处理:将步骤I中数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移、旋转变换；平移变换主要是将运动数据的位于臀部的root节点移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面(由身体上贴的marker点所拟合出来的平面)的法向量与全局坐标系中的x坐标对齐，保证所有处理后的姿态具有相同的位置和朝向；记下变换矩阵Mtrans，其反变换为MnI ;(4)对步骤3输出的平移和旋转后的运动数据构建索引:为了使得输入的控制信号能够在数据库中快速查找到与之最为匹配的运动姿态，我们对经过步骤3处理后的数据，提取出这些姿态与输入控制信号相对应的关节点信息，即头部、左手腕、右手腕、左脚跟以及右脚跟5个关节点，共15维度的数据构建k-d树索引。(5)在数据库中查找与输入控制信号最匹配的运动姿态:对于t时刻输入的控制信号λ G RW其中k为控制关节点的数目，3*k中的3表示X，y, Z三个坐标维度；我们在数据库中利用k-d树查找与之最为接近的η个特征向量本文档来自技高网...

【技术保护点】
一种基于关键标记点的三维人体运动姿态稀疏重建方法，其特征在于，包括如下步骤：步骤1：下载纯净人体运动数据库；步骤2：使用运动捕获设备捕获低维控制点信号：对贴于人体六个关键关节处的反光标记点的轨迹信息进行捕捉，这六个关节点为：根节点、头节点、左手腕、右手腕、左脚跟和右脚跟，分别对应于运动数据中的ROOT、HEAD、LWRIST、RWRIST、LHEEL和RHEEL关节点；步骤3：对步骤1中获得的数据库中的数据进行预处理：将步骤1中下载的数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移和旋转变换；平移变换主要是将运动数据的位于臀部的ROOT节点移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面的法向量与全局坐标系中的x坐标对齐，保证所有处理后的姿态具有相同的位置和朝向；记下变换矩阵Mtrans，其反变换为Mtrans-1;步骤4：对步骤3输出的平移和旋转变换后的运动数据构建索引：对经过步骤3处理后的数据，提取对应于HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点数据作为索引构建k‐d树；令表示数据库中姿态集合，m为数据库的帧数，d表示人体运动数据的维度；矩阵P表示数据库运动矩阵：P=[p1,p2,...,pm]；定义Φ操作为提取矩阵对应的非零行向量拼成子矩阵，定义掩码矩阵其与HEAD、LWRIST、RWRIST、LHEEL、RHEEL关节点相关的维度元素都为1，其他行元素为0；则数据库特征矩阵其中k=5×3=15表示控制信号和k‐d树的维度，最后对D构建k‐d树索引；步骤5：在数据库中查找与步骤2中捕获的关节点控制信号最匹配的运动姿态：对于第t帧的输入的控制信号其中k为控制关节点的数目，3*k中的3表示x,y,z三个坐标维度；在数据库中利用k?d树查找与之最为接近的n个特征向量定义这n个近邻特征组成的矩阵为恢复字典这些特征对应的数据库姿态子矩阵为步骤6：对步骤2捕获的关节点信息进行基于近邻姿态的线性回归，恢复出局部坐标系下运动姿态：由于目标在于使得恢复出来的姿态由Pt中的姿态线性组成，于是问题转化为求解重建系数ωt，使得恢复的姿态系数求解公式为能量最小化方程，定义为：ωt^=argminωt(Econtrol(ωt)+λ2Esmooth(ωt)),其中，为要求解的重建系数，Econtrol(ωt)表示控制项，即保证恢复出来的姿态要尽可能满足低维控制信号的约束要求，Esmooth(ωt)表示平滑项，如果仅仅考虑当前的控制信号的约束，可能会使得恢复的帧与帧间出现高频的抖动，通过将前一帧恢复出来的姿态加入约束，可以保证平滑性要求，λ2表示平滑项的权重；定义：Econtrol(ωt)||Dst*ωt-yt||22+λ1||ωt||1,其中，yt为当前时刻低维控制信号，Dst为由少量关节点数据构成的控制恢复字典，λ1表示稀疏项系数，在保证恢复出来的姿态对应的少量关节点与控制信号尽可能接近的同时，保证重建系数的稀疏性；定义：其中，为前一帧恢复出来的全身姿态，Pt表示由控制信号索引到的近邻姿态构成的姿态恢复字典，通过前一帧姿态，可以对非控制关节点进行约束；将这两项代入公式，即可得到完整的公式：其中，可以进行合并而得到：使用方向交替算法对上面的公式进行求解，其中稀疏正则项参数λ1设置为0.1，平滑项参数λ2设置为0.2；求解出来的重构系数乘以重构字典，即可得到恢复出局部坐标系下运动姿态；步骤7：根据步骤2中捕获的根节点信息，对恢复出来的姿态进行平移和旋转得 到它在全局坐标系下的位置，即为最终恢复出来的人体姿态。FDA00002811784700012.jpg,FDA00002811784700013.jpg,FDA00002811784700017.jpg,FDA00002811784700014.jpg,FDA00002811784700015.jpg,FDA00002811784700016.jpg,FDA00002811784700021.jpg,FDA00002811784700022.jpg,FDA00002811784700023.jpg,FDA00002811784700025.jpg,FDA00002811784700027.jpg,FDA00002811784700028.jpg,FDA00002811784700029.jpg,FDA000028117847000210.jpg,FDA000028117847000211.jpg...

【技术特征摘要】
1.一种基于关键标记点的三维人体运动姿态稀疏重建方法，其特征在于，包括如下步骤: 步骤1:下载纯净人体运动数据库； 步骤2:使用运动捕获设备捕获低维控制点信号:对贴于人体六个关键关节处的反光标记点的轨迹信息进行捕捉，这六个关节点为:根节点、头节点、左手腕、右手腕、左脚跟和右脚跟，分别对应于运动数据中的ROOT、HEAD、LWRIST、RWRIST、LHEEL和RHEEL关节点；步骤3:对步骤I中获得的数据库中的数据进行预处理:将步骤I中下载的数据库的数据从BVH格式转化为TRC格式，同时对每个姿态进行平移和旋转变换；平移变换主要是将运动数据的位于臀部的ROOT节点移动到全局坐标系的原点去，而旋转变换是将身体躯干所在的平面的法向量与全局坐标系中的X坐标对齐，保证所有处理后的姿态具有相同的位置和朝向；记下变换矩阵Mtrans，其反变换为1/=5 ；步骤4:对步骤3输出的平移和旋转变换后的运动数据构建索引:对经过步骤3处理后的数据，提取对应于HEAD、LffRIST, RffRIST, LHEEL, RHEEL关节点数据作为索引构建k - d树表示数据库中姿态集合，m为数据库的帧数，d表示人体运动数据的维度；矩阵P表示数据库运动矩阵:P=[Pl，P2,, Pffl];定义Φ操作为提取矩阵对应的非零行向量拼成子矩阵，定义掩码矩阵M e做其与HEAD、LWRIST、RWRIST、LHEEL...

【专利技术属性】
技术研发人员：肖俊，林海，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：