基于多体素块的手几何运动重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于多体素块的手几何运动重建方法及装置，其中，方法包括以下步骤：根据首帧的深度数据获取人手骨架，并对多体素块进行初始化；通过多体素块中已重建好的手模型对手进行运动估计，以得到新的深度数据；将新的深度数据融合到多体素块中，更新手的几何模型，以同时重建手的运动和几何模型。该方法能够同时重建人手的几何模型和运动信息，避免了传统人手运动重建过程中对参数化模型的依赖，增强了人手重建技术的鲁棒性并拓展人手重建技术的应用范围，推动人手重建技术的发展。

Hand geometry motion reconstruction method and device based on multi voxel block

The invention discloses a method and device for hand geometric motion reconstruction based on multi-voxel blocks. The method comprises the following steps: acquiring the skeleton of the hand according to the depth data of the first frame, initializing the multi-voxel blocks, estimating the motion of the hand through the reconstructed hand model of the multi-voxel blocks, and obtaining a new depth. The new depth data are fused into multi-voxel blocks to update the geometric model of the hand to reconstruct the motion and geometric model of the hand simultaneously. This method can simultaneously reconstruct the geometric model and motion information of human hand, avoid the dependence on parametric model in the process of traditional human hand motion reconstruction, enhance the robustness of human hand reconstruction technology, expand the application scope of human hand reconstruction technology, and promote the development of human hand reconstruction technology.

【技术实现步骤摘要】
基于多体素块的手几何运动重建方法及装置
本专利技术涉及计算机视觉及图形学
，特别涉及一种基于多体素块的手几何运动重建方法及装置。
技术介绍
手的重建是计算机图形学领域中一个重要且基础的问题，在虚拟/增强现实、人机交互和人工智能领域内有着广泛的应用。例如，在虚拟现实领域中，通过重建人手的几何和运动，实现人手与虚拟物体之间的交互，增强人在虚拟环境中的真实感；在人机交互领域，近年来兴起的手势识别技术通过跟踪手的运动，将手特定的运动映射到指令集，可以代替传统的键盘和鼠标进行指令的下达，实现便携，智能的人机交互；在人工智能领域，通过实时采集和重建手的运动，并结合机器学习的方法可以实现手语的自动翻译。正是由于手的重建技术具有非常广泛的应用前景，因此具有极高的科研和应用价值。然而，现有技术仍然存在缺陷，无法在重建手运动的同时重建真实且个性化的人手几何模型，限制了人手重建技术的应用范围。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于多体素块的手几何运动重建方法，能够增强人手重建技术的鲁棒性并拓展人手重建技术的应用范围。本专利技本文档来自技高网...

【技术保护点】
1.一种基于多体素块的手几何运动重建方法，其特征在于，包括以下步骤：根据首帧的深度数据获取人手骨架，并对多体素块进行初始化；通过所述多体素块中已重建好的手模型对手进行运动估计，以得到新的深度数据；以及将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型。

【技术特征摘要】
1.一种基于多体素块的手几何运动重建方法，其特征在于，包括以下步骤：根据首帧的深度数据获取人手骨架，并对多体素块进行初始化；通过所述多体素块中已重建好的手模型对手进行运动估计，以得到新的深度数据；以及将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型。2.根据权利要求1所述的基于多体素块的手几何运动重建方法，其特征在于，所述根据首帧深度数据获取人手骨架，并对多体素块进行初始化，进一步包括：使用所述多个体素块分别对人手的手掌和手指进行重建；利用所述首帧获得的人手骨架获取预设姿态下的骨架，并得到首帧人手骨架相对于所述预设姿态骨架的运动；利用所述预设姿态的人手骨架获取每个体素块的尺寸；将所述预设姿态的人手骨架嵌入到所述多体素块中，并为所述每个体素计算最近的两根手骨；以及利用首帧手骨架的运动驱动多体素，以将所述首帧的深度数据融合到所述多体素块中，获得人手的初始模型。3.根据权利要求1所述的基于多体素块的手几何运动重建方法，其特征在于，所述将所述新的深度数据融合到所述多体素块中，更新手的几何模型，以同时重建手的运动和所述几何模型，进一步包括：利用前一帧的人手运动作为初始值，并驱动当前预设姿态下的多体素块的tsdf场，以获得运动后的tsdf场；通过将当前深度数据约束到所述运动后tsdf场过零点，以求解人手的运动；以及利用所述人手的运动驱动体素块中的体素，将所述当前深度数据融合到所述多体素块中，更新人手模型。4.根据权利要求3所述的基于多体素块的手几何运动重建方法，其特征在于，体素的运动可表示为：T(x)＝SE3(normalize(w1·dq(p1)+w2·dq(p1))，其中，dq(p)为手骨p的运动由对偶四元数表示，normalize()是对对偶四元数进行归一化，SE3()是将对偶四元数转化为变换矩阵T。5.根据权利要求4所述的基于多体素块的手几何运动重建方法，其特征在于，所述多体素块中人手模型的更新为：其中，{S(x)，W(x)}为体素中存储的tsdf值和其置信度，μ表示截断长度，η为：进一步地，其中，xc为运动之后体素的相机坐标，Tc为世界坐标系到相机坐标系之间的变换，...

【专利技术属性】
技术研发人员：徐枫，张浩，刘烨斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11