手部运动重建方法和装置制造方法及图纸

本发明专利技术提出一种手部运动重建方法和装置，其中，方法包括：获取手部深度数据集，其中，手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数，以便于根据高斯分布函数进行手部运动重建。本发明专利技术解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB‑D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。

Method and device of hand motion reconstruction

The invention provides a hand motion reconstruction method and device, wherein the method comprises: acquiring a hand depth data set, wherein each hand depth data in the hand depth data set contains the hand depth picture information and the corresponding hand skeleton coordinates; controlling the preset hand model to adjust the posture according to each hand depth data in the hand depth data set, and acquiring the posture The attitude parameters of the hand model are fitted after the state adjustment, and the Gauss distribution function of the attitude parameters of the hand model is fitted according to the corresponding depth data of each hand, so as to facilitate the hand motion reconstruction according to the Gauss distribution function. The invention solves the technical problem that the human hand in the prior art is flexible and complex, and the interaction with the object is often accompanied by serious occlusion. Through the RGB \u2011 D data of isomorphic single view point, more accurate 3D reconstruction results can be obtained, and better interactive reconstruction results of the object and the hand can be obtained under the simpler hardware conditions.

【技术实现步骤摘要】
手部运动重建方法和装置
本专利技术涉及计算机视觉领域
，尤其涉及一种手部运动重建方法和装置。
技术介绍
在三维动态重建领域中，人手的三维重建是一个十分热门的问题。由于人手的动作复杂灵活且常伴有自遮挡的问题，精确的手部动态重建具有很大的挑战性。而手作为人与外界物理接触的主要途径，手部重建在虚拟现实，人机交互等领域有着较大的应用。通常，人与外界无时无刻不在进行着各种的交互，其中最为频繁的就是手部与外界的物理交互。如果能够较好地重建手部与外界的交互过程，对与理解人与外界的交互的深层含义有着较大的帮助，在工业上，也对于人工智能、计算机交互、VR游戏等领域有着较大的作用。但是人手的活动较为灵活复杂，与物体交互过程中又常常伴随着非常严重的遮挡问题，如何从单视点重建手部与外界的交互是一个具有挑战性的问题。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种手部运动重建方法，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。本专利技术的第二个目的在于提出一种手部运动重建装置。本专利技术的第三个目的在于提出一种计算机设备。本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。为达上述目的，本专利技术第一方面实施例提出了一种手部运动重建方法，包括：获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。本专利技术实施例的手部运动重建方法，解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB-D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。本专利技术的实施例中，所述控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数，包括：获取所述手部深度数据集中满足预设条件的第一手部深度数据；根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；通过梯度下降迭代算法和所述第一手部深度数据中的手部骨架坐标，构建所述第一姿态参数的回归矩阵；确定所述手部深度数据集中除所述第一手部深度数据之外的第二手部深度数据，根据所述回归矩阵和所述第二手部深度数据对应的手部骨架坐标计算所述预设手部模型的拟合骨架坐标；根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数。本专利技术的实施例中，所述获取所述手部深度数据集中满足预设条件的第一手部深度数据，包括：确定所述每个手部深度数据对应的参考姿态参数；计算所述参考姿态参数与预设初始姿态参数的差值；确定小于预设阈值的差值对应的手部深度数据为所述第一手部深度数据。本专利技术的实施例中，所述手部运动重建方法，还包括：基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像；根据所述连续多帧图像提取所述用户手部的第一彩色信息和第一深度信息，以及所述物体的第二彩色信息和第二深度信息；根据所述第二彩色信息和第二深度信息获取所述物体的运动状态信息；根据所述第一深度信息提取所述用户手部的第一关键点的深度信息；根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息；根据所述第一关键点的深度信息、所述第二关键点的深度信息、所述第一彩色信息和所述运动状态信息模拟所述物体与所述用户手部的交互动画。本专利技术的实施例中，所述根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息，包括：根据所述第一关键点的深度信息和预设算法确定所述第二关键点的估算深度信息；根据所述高斯分布函数计算所述估算深度信息的置信度；检测所述置信度是否大于预设阈值，若不大于所述预设阈值，则修改所述估算深度信息，直至所述置信度大于所述预设阈值，将修改后的所述估算深度信息作为所述第二关键点的深度信息。本专利技术的实施例中，在所述基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像之前，包括：获取所述RGB-D相机中RGB模组的内参和外参；获取所述RGB模组和所述RGB-D相机中深度模组同时拍摄的人体动作图像；根据预设函数和所述同时拍摄的人体动作图像修正所述内参和外参。为达上述目的，本专利技术第二方面实施例提出了一种手部运动重建装置，包括：第一获取模块，用于获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制模块，用于控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态；第二获取模块，用于获取姿态调整后的拟合手部模型的姿态参数；重建模块，用于根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。本专利技术的实施例中，所述第二获取模块，包括：确定单元，用于根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；计算单元，用于根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数。本专利技术实施例手部运动重建装置，通过第一获取模块、控制模块、第二获取模块和重建模块，解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB-D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例第一方面所述的手部运动重建方法。为了实现上述目的，本专利技术第四方面实施例提出了一种非临时性计算机可读存储介质，所述计算机程序被处理器执行时实现如上述实施例第一方面所述的手部运动重建方法。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例所提供的一种手部运动重建方法的流程示意图；图2为本专利技术实施例所提供的另一种手部运动重建方法的流程示意图；图3为本专利技术实施例提供的一种手部运动重建装置的结构示意图；图4为本专利技术实施例提供的另一种手部运动重建装置的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的手部运动重建方法和装置。图1为本专利技术实施例所提供的一种手部运动重建方法的流程示意图。针对上述实施例，本专利技术实施例提供了一种手部运动重建方法，如图1所示，该手部运动重建方法包括以下步骤本文档来自技高网...

【技术保护点】
1.一种手部运动重建方法，其特征在于，包括以下步骤：获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。

【技术特征摘要】
1.一种手部运动重建方法，其特征在于，包括以下步骤：获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。2.如权利要求1所述的方法，其特征在于，所述控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数，包括：获取所述手部深度数据集中满足预设条件的第一手部深度数据；根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；通过梯度下降迭代算法和所述第一手部深度数据中的手部骨架坐标，构建所述第一姿态参数的回归矩阵；确定所述手部深度数据集中除所述第一手部深度数据之外的第二手部深度数据，根据所述回归矩阵和所述第二手部深度数据对应的手部骨架坐标计算所述预设手部模型的拟合骨架坐标；根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数。3.如权利要求2所述的方法，其特征在于，所述获取所述手部深度数据集中满足预设条件的第一手部深度数据，包括：确定所述每个手部深度数据对应的参考姿态参数；计算所述参考姿态参数与预设初始姿态参数的差值；确定小于预设阈值的差值对应的手部深度数据为所述第一手部深度数据。4.如权利要求1所述的方法，其特征在于，还包括：基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像；根据所述连续多帧图像提取所述用户手部的第一彩色信息和第一深度信息，以及所述物体的第二彩色信息和第二深度信息；根据所述第二彩色信息和第二深度信息获取所述物体的运动状态信息；根据所述第一深度信息提取所述用户手部的第一关键点的深度信息；根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息；根据所述第一关键点的深度信息、所述第二关键点的深度信息、所述第一彩色信息和所述运动状态...

【专利技术属性】
技术研发人员：刘烨斌，李梦成，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11