用于交互反馈的手部跟踪制造技术

描述了一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据。所述装置具有跟踪器，其被配置为根据捕捉到的传感器数据来计算手的三维(3D)模型的姿态参数的值，姿态参数包括所述手的多个关节中的每一个的位置和取向。物理引擎存储关于至少一个虚拟实体的数据。物理引擎被配置为至少基于所述姿态参数的值和关于手的3D模型的数据，来计算在所述虚拟实体与所述用户的手的3D模型之间的交互。反馈引擎被配置为触发关于计算出的交互的针对用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一个或多个。

【技术实现步骤摘要】
【国外来华专利技术】用于交互反馈的手部跟踪
技术介绍
用户能够使用他们的手控制一个或多个虚拟实体的系统可以使用户以自然方式操作游戏系统、增强现实系统、虚拟现实系统和其他。人类习惯于用他们的手与物理对象交互，并且从小就学会以相当的技巧和灵活性来做到这一点。
技术实现思路
下面给出了本公开的简要概述，以便为读者提供基本的理解。本
技术实现思路
并非旨在标识所要求保护的技术方案的关键特征或基本特征，也不旨在用于限制所要求保护的技术方案的范围。其唯一目的是以简化形式呈现本文所公开的概念的选择，作为稍后呈现的更详细描述的序言。描述了一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据。所述装置具有跟踪器，其被配置为根据捕捉到的传感器数据来计算手的三维(3D)模型的姿态参数的值，所述姿态参数包括所述手的多个关节中的每一个关节的位置和取向。物理引擎存储关于至少一个虚拟实体的数据。物理引擎被配置为至少基于所述姿态参数的值和关于手的3D模型的数据，来计算在所述虚拟实体与所述用户的手的3D模型之间的交互。反馈引擎被配置为触发关于计算出的交互的针对用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一个或多个.通过参考结合附图考虑的以下详细描述，可以更好地理解许多伴随的特征，因为相同的特征将变得更好理解。附图说明根据附图阅读以下详细描述将更好地理解本描述，在附图中：图1是佩戴虚拟现实耳机以便演奏虚拟钢琴的人的示意图；图2是虚拟手演奏虚拟钢琴的示意图；图3是虚拟手对虚拟实体进行变形的示意图；图4是附着到用户的真实手上的虚拟小雕像的示意图；图5是跟踪器、物理引擎和反馈引擎的示意图，由此用户用他或她的手控制下游系统；图6是图5的跟踪器、物理引擎和反馈引擎处的方法的流程图；图7是在跟踪器处的操作方法的流程图；图8是跟踪器性能的图表；图9是校准形状参数的方法的流程图；图10示出了其中实现手部跟踪器、物理引擎和反馈引擎的实施例的示例性的基于计算的设备。相似的附图标记用于表示附图中的相似部分。具体实施方式以下结合附图提供的详细描述旨在作为对本示例的描述，而不旨在表示可以构建或利用本示例的唯一形式。描述阐述了示例的功能以及构建和操作该示例的操作序列。然而，相同或等同的功能和序列可以通过不同的示例来完成。描述了一种使用户能够使用他或她的手准确地操纵一个或多个虚拟实体的装置。捕捉传感器数据，如深度图像、彩色图像、原始飞行时间数据、扫描仪数据以及其他。传感器数据用于准确跟踪三维(3D)手部模型的多个关节的姿态参数。结合物理引擎，这可以以自然、直观的方式对一个或多个虚拟实体进行精细操纵。虚拟实体是对象、人员、动物、表面或其他实体的全部或部分的计算机生成的表示。物理引擎是通过使用描述刚体动力学、软体动力学、流体动力学等中的任何一个或多个的规则或准则来计算物理系统的模拟的计算机软件和/或硬件/固件。刚体动力学是在力的作用下互接主体(如物体、表面)系统的运动的表示，其中主体是刚性的，这意味着它们在施加力的作用下不会变形。软体动力学是在力的作用下系统互连主体(如物体、表面)的运动的表示，其中主体是柔软的，这意味着它们在施加的力的作用下变形。图1是佩戴虚拟现实耳机100以便用替身手部108演奏虚拟钢琴106的用户102的示意图。虽然图1关于虚拟现实耳机100进行了讨论，但是该技术不限于虚拟现实，如以下关于图5更详细解释的那样。在该示例中，使用计算设备实现的虚拟现实系统与耳机100集成或在另一计算设备处，另一计算设备与耳机进行有线或无线通信。位于房间中的捕捉设备110捕捉用户102和他的手部104的传感器数据。用户102已经定位了他的手部104并且正在移动他的手指，就好像他在演奏位于他前面的钢琴键盘。捕捉设备110是能够捕捉描绘用户102的数据的任何传感器。非穷举的实例列表是：深度相机、原始飞行时间传感器、深度扫描仪、激光测距仪、彩色相机、视频相机、网络相机、医学成像设备或其他捕捉设备。本例中的捕捉设备110被安装在房间中。然而，也可以使用头戴式捕捉设备或体佩式捕捉设备。在一些例子中有多于一个捕捉设备可用。跟踪器从捕捉设备110接收传感器数据，并且计算手部的3D模型的姿态参数的值。在一些示例中，3D模型是通用的手。在其他示例中，手的3D模型被校准以拟合个体用户102的手的形状。对于个体手来说，姿态参数包括手的多个关节中的各个关节的位置和取向。物理引擎使用姿态参数的值来渲染虚拟钢琴106和替身手部108。由于姿态参数的值的准确性和细节，所述装置经由手指和手部104的运动和接合而实现虚拟钢琴106和替身手部108的精细尺度的、自然的操纵。在一些示例中，根据传感器数据计算3D模型的形状参数，并且这进一步增强了控制的准确性。图2是虚拟手演奏虚拟钢琴106的示意图。在这个例子中，手的3D模型是操纵模型，它是具有关联骨架的模型。在图2的示例中，骨架以及骨架的至少一些关节200、204是可见的，但是模型的表面(例如，光滑表面或多边形网格表面)不可见。物理引擎具有手的3D模型的知识，并且将它接收到的姿态参数值应用于3D模型。其使用描述对象如何交互(例如，如何施加摩擦力，如何施加重力等)的多个规则来计算3D手模型(应用有姿态参数值)与虚拟钢琴106之间的交互。在图2的示例中，物理引擎使用刚体动力学。然而，在参照图3所描述的一些示例中使用软体动力学。物理引擎将关于计算出的交互的数据发送到反馈引擎(下面更详细地描述)。反馈引擎触发向用户提供关于计算出的交互的反馈。例如，反馈在图2的情况下是视觉和听觉反馈。反馈引擎触发图形引擎来呈现虚拟键盘和替身手。反馈引擎触发扬声器以输出正在演奏的键的声音。图3是虚拟手300使虚拟实体306变形的示意图，虚拟实体306是在其表面上具有多个小突起的可变形球体。虚拟手被显示为具有关联骨架的被摆好姿势的3D操纵光滑表面模型，其中骨架中的单个关节200可见。该模型被摆好姿势，因为姿态参数值已经应用于模型，该模型将虚拟手放入所示的位置和取向(与通用或默认位置和取向相对)。虚拟手在虚拟环境中，使得手的阴影302可见。用户正在操作创建图3中可见的显示的虚拟现实系统。一个或多个捕捉设备捕捉到达以拔出虚拟球体306的表面上的突起之一的用户的手的传感器数据。随着用户拔出突起之一，虚拟球体如图所示变形。发生这种情况是因为物理引擎使用针对虚拟球体30的软体动力学以及被跟踪的姿态参数值。物理引擎根据姿态参数值和3D模型计算虚拟手300和虚拟球体306之间的交互。在图1和图2的示例中，使用虚拟现实系统。增强现实系统也是可能的。例如，图4是附着到用户的真实手上的虚拟小雕像的示意图。在该示例中，用户佩戴增强现实耳机，该增强现实耳机包括捕捉描绘用户的手的传感器数据的捕捉设备。用户能够看到她自己的双手400，并且还能够看到在她手掌中的虚拟现实小雕像402。通过使用增强现实耳机呈现虚拟现实小雕像402的显示来创建虚拟现实小雕像402。使用物理引擎计算虚拟现实小雕像，以便考虑与真实手的3D模型的交互，该3D模型的姿态参数值被计算，如本文所述。在一些示例中，增强现实系统被配置为使得虚拟现实小雕像被呈现在用户的手400上，而不管用户的真实手指和真实手400的移动。以这本文档来自技高网...

【技术保护点】
1.一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据；跟踪器，其被配置为根据所述捕捉到的传感器数据来计算所述手的三维模型的姿态参数的值，所述姿态参数包括所述手的多个关节中的每个关节的位置和取向；物理引擎，其存储关于至少一个虚拟实体的数据；其中所述物理引擎被配置为至少基于所述姿态参数的所述值和关于所述手的所述三维模型的数据，来计算所述虚拟实体与所述用户的所述手的所述三维模型之间的交互；以及反馈引擎，其被配置为触发关于计算出的所述交互的、针对所述用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一种或多种。

【技术特征摘要】
【国外来华专利技术】2015.12.29 US 14/982,9111.一种装置，包括：存储器，其被配置为接收描绘操作控制系统的用户的至少一只手的捕捉到的传感器数据；跟踪器，其被配置为根据所述捕捉到的传感器数据来计算所述手的三维模型的姿态参数的值，所述姿态参数包括所述手的多个关节中的每个关节的位置和取向；物理引擎，其存储关于至少一个虚拟实体的数据；其中所述物理引擎被配置为至少基于所述姿态参数的所述值和关于所述手的所述三维模型的数据，来计算所述虚拟实体与所述用户的所述手的所述三维模型之间的交互；以及反馈引擎，其被配置为触发关于计算出的所述交互的、针对所述用户的反馈，所述反馈是视觉反馈、听觉反馈、触觉反馈中的任何一种或多种。2.根据权利要求1所述的装置，其中所述物理引擎被配置为使用一个或多个球体来计算所述交互，所述一个或多个球体近似所述手的所述三维模型，所述姿态参数的所述值已经被应用于所述手的所述三维模型。3.根据权利要求1所述的装置，其中所述物理引擎被配置为使用所述手的所述三维模型来计算所述交互，其中所述手的所述三维模型是具有包括所述多个关节的关联骨架的模型。4.根据任一前述权利要求所述的装置，其中所述跟踪器被配置为根据所述捕捉到的传感器数据计算所述三维模型的形状参数的值，使得所述三维模型被校准成所述用户的手的个体形状。5.根据任一前述权利要求所述的装置，其中所述跟踪器被配置为通过计算用于将所述手的所述三维模型拟合到与所述捕捉到的传感器数据相关的数据的优化来计算所述姿态参数的值，其中表示所述数据与所述模型之间的对应性的变量与所述姿态参数一起联合地被包含于所述优化中。6.根据权利要求5所述的装置，其中所述三维模型是所述手的被操纵的光滑表面模型。7.根据权利要求5或权利要求6所述的装置，其中所述跟踪器被配置为使用基于梯度的优化过程来计算所述优化。8.根据任一前述权...

【专利技术属性】
技术研发人员：J·D·J·朔顿，A·W·菲兹吉邦，J·J·泰勒，R·M·班克斯，D·斯威尼，R·科里什，A·J·塞伦，E·A·索托，A·H·托帕利安，B·卢夫，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US