手部动作捕捉方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种手部动作捕捉方法、装置、电子设备及存储介质，所述手部动作捕捉方法包括：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于手部的部位的标签信息；利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。采用本申请，可利用第一标记对象的空间位置以及标签信息，生成手部的基准手部模型，有助于后续捕捉手部动作。手部动作。手部动作。

【技术实现步骤摘要】
手部动作捕捉方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种手部动作捕捉方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机技术、传感器技术以及虚拟现实产业的高速发展，运动捕捉技术的发展异常迅速并且应用范围日益广泛，尤其是在体育行业、游戏制作、动画制作以及影视特效制作等诸多领域中起着举足轻重的作用，其形成了一种新型的艺术与技术的相互渗透和融合的方式，并将成为未来的一种发展趋势。
[0003]现有的光学捕捉技术假设人体的每根骨骼都是刚体，基于此假设重建出演员的骨骼模型，该假设下，只能将标记点放置到人体的骨节点处。
[0004]针对于手部捕捉，因此现有的光学捕捉技术存在以下缺点，首先无法重建出与演员手部匹配的三维手部模型，无法自定义放置标记点的位置，其次，手指的骨骼有肌肉附着，且骨节点很小，与刚体的假设相违背。基于以上原因，现有的光学捕捉技术无法很好地捕捉手部动作。

技术实现思路

[0005]在运动捕捉领域中，针对手部动作的捕捉是重要挑战之一，迄今为止没有精度较高的手部姿态捕捉方案。现有的手部捕捉方案主要有两种，为惯性捕捉与光学捕捉。惯性捕捉需要手部穿戴带有惯性设备的手套，演员活动手指时，获取手部各个关节的角速度、线性加速度等信息，然后进行积分重建演员手指每一个关节的绝对位置和方向数据。惯性捕捉缺点为只能通过积分获取演员的手部姿态；惯性捕捉获取的角速度、加速度通常有一定噪声，所以随着录制时间的增加，积分造成的误差累积会越来越大。因此惯性捕捉无法进行长时间录制。另外，人体手部关节小，通常很难在每一个关穿戴惯性传感器，导致没法捕捉手指每一个关节的信息，造成捕捉精度下降。
[0006]针对于身体的光学捕捉，在身体各个关节处放置标记点，通过多个红外摄像头获取该标记点的三维坐标，从而获取演员的模型，进而实时获取演员表演的技术。目前手势捕捉无法直接照搬光学捕捉下的身体捕捉方案，原因为手部无法像身体一样在各个关节都放置标记点。手部关节较多，且各个关节都很小，因此每个关节都放置标记点是不现实的，并且贴过多标记点会影响手部表演。在上述情况下，只能在手部放置部分标记点，在放置部分标记点的情况下，存在下列问题，捕捉时，由于手部关节较多，自由度较高，会有多种手势都能满足标记点的实际三维坐标，比如在大拇指、食指放置标记点，手势比数字5，手势比数字8时大拇指、食指的姿势是相同的。这样，在捕捉时，捕捉的结果是不可控的(如在上面例子中，可能捕捉输出手势是5，也可能捕捉输出手势8)，捕捉的动作序列也可能存在不连贯的情况(如可能存在捕捉中手势5突然变成手势8的情况)。
[0007]针对于上述问题，本申请实施例提供一种手部动作捕捉方法、装置、电子设备及存
储介质，用于至少解决以上提及的问题。
[0008]本申请实施例还提供一种手部动作捕捉方法，所述方法包括：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息；利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。
[0009]本方法实施例存在以下有益效果，标记点无需放置在手部的骨节点处，也无需必须精确到某个固定位置，节省时间。并且能够重建出与手部匹配的三维手部模型。
[0010]可选地，所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述手部动作的手部动作参数。
[0011]可选地，所述利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型包括：通过使所述手部做出特定手部动作，设置所述初始手部姿态模型中的手部动作参数；在所述手部动作参数确定的情况下，获取第一标记对象在所述手部做出所述特定手部动作的情况下的所述空间位置以及所述标签信息；利用所述手部动作参数、所述空间位置以及所述标签信息，对所述初始手部姿态模型的形状参数进行调整，生成与所述手部对应的所述基准手部姿态模型。
[0012]可选地，在生成与所述手部对应的所述基准手部姿态模型后还包括：响应于所述手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作。
[0013]本方法实施例可以在捕捉手部动作时，通过先验手部动作模型控制捕捉的结果，使捕捉的结果不存在歧义性，同时也可以保证捕捉的动作序列是连贯的。可以利用第一标记对象的当前空间位置以及当前标签信息，实现高精度的手部动作捕捉。
[0014]可选地，所述方法，还包括：确定第一标记对象在所述手部的分布情况；在预先设置的手部动作库中选择满足所述分布情况的至少一个手部动作；在确定所述至少一个手部动作不存在有歧义的手部动作的情况下，利用所述至少一个手部动作确定为所述先验手部动作；利用所述先验手部动作建立所述先验手部动作模型。
[0015]可选地，获取第一标记对象的当前标签信息包括：获取所述当前标签信息的预测空间位置和所述第一标记对象的当前空间位置；在确定所述第一标记对象的当前空间位置处于所述当前标签信息的预测空间位置的预设范围内的情况下，将所述第一标记对象与所述当前标签信息进行匹配，获得匹配关系，其中，所述预设范围是根据对所述手部的手部动作轨迹预测所设定的范围；根据所述匹配关系，确定所述第一标记对象对应的所述当前标签信息。
[0016]可选地，所述利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作包括：在所述基准手部姿态模型的形状参数确定的情况下，通过在所述先验手部动作模型的约束下通过不断调整所述手部动作参数使所有所述标签信息的虚拟空间位置与所有所述标签信息对应的所述第一标记对象的空间位置距离之和最小，获取所述当前手部姿态模型，以用于捕捉所述手部的姿态。
[0017]可选地，所述方法，还包括：确定与所述手部执行互动的互动道具；通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息；利用所述道具空间位置以及道具标签信息，对与所述互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉所述互动道具的运动。
[0018]可选地，所述通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息包括：从所述道具标记对象中按照预设选择方式选择第一道具标记对象；获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为所述道具空间位置；获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为所述道具标签信息。
[0019]可选地，所述空间位置包括第一标记对象在用于捕捉所述手部的捕捉空间对应的空间坐标系内的坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部动作捕捉方法，其特征在于，包括：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息；利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。2.如权利要求1所述的方法，其特征在于，所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述手部动作的手部动作参数。3.如权利要求2所述的方法，其特征在于，所述利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型包括：通过使所述手部做出特定手部动作，设置所述初始手部姿态模型中的手部动作参数；在所述手部动作参数确定的情况下，获取第一标记对象在所述手部做出所述特定手部动作的情况下的所述空间位置以及所述标签信息；利用所述手部动作参数、所述空间位置以及所述标签信息，对所述初始手部姿态模型的形状参数进行调整，生成与所述手部对应的所述基准手部姿态模型。4.如权利要求1至3中的任一权利要求所述的方法，其特征在于，在生成与所述手部对应的所述基准手部姿态模型后还包括：响应于所述手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作。5.如权利要求4所述的方法，其特征在于，还包括：确定第一标记对象在所述手部的分布情况；在预先设置的手部动作库中选择满足所述分布情况的至少一个手部动作；在确定所述至少一个手部动作不存在有歧义的手部动作的情况下，利用所述至少一个手部动作确定为所述先验手部动作；利用所述先验手部动作建立所述先验手部动作模型。6.如权利要求4所述的方法，其特征在于，获取第一标记对象的当前标签信息包括：获取所述当前标签信息的预测空间位置和所述第一标记对象的当前空间位置；在确定所述第一标记对象的当前空间位置处于所述当前标签信息的预测空间位置的预设范围内的情况下，将所述第一标记对象与所述当前标签信息进行匹配，获得匹配关系，其中，所述预设范围是根据对所述手部的手部动作轨迹预测所设定的范围；根据所述匹配关系，确定所述第一标记对象对应的所述当前标签信息。7.如权利要求4所述的方法，其特征在于，所述利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作包括：在所述基准手部姿态模型的形状参数确定的情况下，通过在所述先验手部动作模型的约束下通过不断调整所述手部动作参数使所有所述标签信息的虚拟空间位置与所有所述
标签信息对应的所述第一标记对象的空间位置距离之和最小，获取所述当前手部姿态模型...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海墨舞科技有限公司，
类型：发明
国别省市：