【技术实现步骤摘要】
一种三维实时人体姿态重建方法
本专利技术涉及计算机的
，特别是涉及一种三维实时人体姿态重建方法。
技术介绍
人体运动的捕捉和跟踪是计算机视觉和图形学中的热点问题。它主要研究如何从输入深度数据流中快速重建准确的人体几何模型和人体运动序列。已有的人体姿态重建方法可大致分为基于模型的方法与非基于模型的方法两大类。非基于模型的方法：该类方法通常在不考虑人体先验信息的情况下，通过特征点检测方法识别图像中的人体姿态。缺点是忽略了前一时刻对当前时刻人体运动姿态的影响，即忽略了人体运动是空间和时间变化的连续过程的本质。基于模型的方法(或称为数据驱动的方法)基于模型的方法需要预先扫描的三维模型，并且预先构建运动姿态先验。三维扫描仪的成本很高，处理扫描的数据非常耗时，并且存在错误累积与无法跟踪长时间运动的问题。典型的方法包括：数据驱动方法通过从捕获的运动数据中获取准确的人体姿态重建结果。比如：已有方法通过从深度图像中检测特征点来估计每个图像中的人体姿态，由于数据库中的模型是标准的三维人体模型，因此当参与者体型与数据库中的标...
【技术保护点】
1.一种三维实时人体姿态重建方法，其特征在于，包括：/nS1，使用4台深度相机拍摄深度图像，深度图像的像素点表示为x，深度图像的像素点对应的深度值和三维点分别为d(x)和p；/nS2，4台深度相机通过PCI数据接口连接计算机，计算机同步驱动4台深度相机完成数据采集工作；/nS3，4台深度相机分别位于正方形的人体运动捕获场景的4个边角，其中美相邻2台深度相机基于棋盘格和立体视觉的标定方法；/nS4，对4台深度相机捕获的深度图像的原始三维点进行预处理去噪；/nS5，从运动捕获开源数据库中挑选运动序列并建立三维人体姿态数据库Q，并且在建立三维人体姿态数据库Q中进行运动重定向技术的...
【技术特征摘要】
1.一种三维实时人体姿态重建方法，其特征在于，包括：
S1，使用4台深度相机拍摄深度图像，深度图像的像素点表示为x，深度图像的像素点对应的深度值和三维点分别为d(x)和p；
S2，4台深度相机通过PCI数据接口连接计算机，计算机同步驱动4台深度相机完成数据采集工作；
S3，4台深度相机分别位于正方形的人体运动捕获场景的4个边角，其中美相邻2台深度相机基于棋盘格和立体视觉的标定方法；
S4，对4台深度相机捕获的深度图像的原始三维点进行预处理去噪；
S5，从运动捕获开源数据库中挑选运动序列并建立三维人体姿态数据库Q，并且在建立三维人体姿态数据库Q中进行运动重定向技术的骨架归一化；
S6，使用4台深度相机拍摄真实人体的A姿态图像，并且通过基于骨架驱动的方法对真实人体的A姿态图像的人体几何模型做姿态维度的变形，然后将精细个体化人体几何模型自动估计问题形式通过化为非线性优化问题以进行迭代优化求解；
S7，通过三维姿态数据库与精细个体化人体几何模型的多目深度相机进行三维人体运动姿态跟踪。
2.如权利要求1所述的一种三维实时人体姿态重建方法，其特征在于，还包括：
同步捕获相邻2台的深度相机的多组包含棋盘格的红外图像对，使用角点检测算法从捕获的红外图像中提取棋盘格角点集合，基于立体视觉算法估计出该2台深度相机红外摄像头的内、外参数矩阵；
以其中1台深度相机所在坐标系为世界坐标系，其光心为世界坐标原点，将其余3台深度相机基于标定获得的外参数矩阵对齐到世界坐标系；
基于三维平面拟合技术估计出场景中的地板平面，基于三维圆柱体包围盒自动减除背景像素点，该包围盒的底平面平行于估计出的地板平面，底面中心点为采集场景中心点，以剩下的前景三维深度点云分布中心点为起始点，通过设置合适的三维深度点间距离阈值，求出三维空间中最大的连通区，完成三维深度点云去噪。
3.如权利要求1所述的一种三维实时人体姿态重建方法，其特征在于，所述S6中，
人体几何模型用模型网格顶点集合的长向量si表示，人体几何模型数据库表示为S＝{si,i＝1…,N}，使用主成分分析技术建立人体几何模型的全局线性先验模型，形式化为：
其中，β是人体几何模型的低维参数向量，Pβ,k是前k维主成分向量构成的矩阵，是数据库中人体几何模型的均值向量；
将人体骨架各关节中心Ji坐标分别表示为其各自近邻人体几何模型顶点坐标集合的加权线性组合，并求出几何模板模型下的顶点权重w，表示为：
其中，V是内嵌骨架关节i的近邻模型顶点集合，wi,j是内嵌骨架关节i相对其近邻顶点集合中第j个顶点的权重，是内嵌骨架关节i的近邻顶点集合中第j个顶点坐标，Ji是内嵌骨架关节i的坐标；
通过定义空间包围盒方式获得人体内嵌骨架关节中心各关节中心的近邻人体几何模型顶点集合；
顶点权重w的求解根据人体几何模板模型及其内嵌人体骨架，估计几何模型顶点，将其形式化为带约束的线性最小二乘问题，表示为：
是模板模型内嵌骨架关节i相对其近邻模板模型顶点集合中第j个顶点的权重，是模板模型内嵌骨架关节i的近邻模板模型顶点集合中第j个顶点坐标，是模板模型内嵌骨架关节i的坐标；变量和均为已知变量，变量wi,j是待求变量；使用非负最小二乘算法对顶点权重w进行求解；
根据公式(2)，当给定个体化人体几何模型顶点坐标和顶点权重wi,j时，可求出当前新人体几何模型内嵌骨架关节坐标
通过三维深度点云P，人体几何模型数据库S和人体姿态数据库Q，求个体化人体几何模型，个体化人体几何模型的参数化为人体姿态参数向量和人体几何模型参数向量表示为：
其中，E1和E2是迭代最近点能量项，E3是人体骨骼长度对称能量项，E4是人体几何模型先验能量项，E5是人体姿态先验能量项；变量λ1,…λ5分别是各能量项的权重；
其中，“点到点”距离，指的是人体几何模型顶点vi(q,β)与空间欧氏距离最近的捕获三维深度点之间的距离，“点到点”距离能量项E1，表示为：
其中，“点到面”距离，指的是人体几何模型顶点vi(q,β)的法线与捕获三维深度点云交点的切平面之间的距离，“点到面”距离能量项E2，表示为：
为保证人体几何模型重建结果的合理性，引入了人体骨骼长度对称能量项，表示为：
E3＝∑{(m,n)}∈{(M,N)}||lm-ln||2---(7)；
其中，{(M,N)}是对称骨骼段集合，lm,ln分别是具有对称性的左、右骨骼段长度；
设全局空间中的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。