用户界面呈现和交互制造技术

本发明专利技术涉及用户界面呈现和交互。公开了涉及用户界面中用户经由深度相机与其进行交互的按压式和/或拉取式用户界面元素的各种实施例。一个实施例提供计算设备，该计算设备被配置成：显示包括一个或多个交互式用户界面元素的用户界面的图像；从深度相机接收包括人类目标的场景的一个或多个深度图像；从深度相机接收包括人类目标的场景的一个或多个深度图像；以及，显示人类目标的部分作为位于用户界面内的光标的呈递，并且还向显示器提供光标投射在交互式用户界面元素中的一个或多个上的阴影的呈递。计算设备还被配置成将人类目标手的移动转换成光标，使得人类目标手的移动导致所选的交互式用户界面元素经由该光标的相应启动。

【技术实现步骤摘要】

本专利技术涉及与用户界面进行交互的技木。
技术介绍
计算机技术使得人类能够以各种方式与计算机进行交互。一种这样的交互可在人类使用诸如鼠标、跟踪垫和游戏控制器之类的各种输入设备来启动计算设备的用户界面上的按钮时发生
技术实现思路
在此公开了涉及用户界面中用户经由深度相机与其进行交互的按压式和/或拉取式用户界面元素的各种实施例。例如，所公开的ー个实施例提供计算设备，该计算设备被配置成向显示器提供包括ー个或多个交互式用户界面元素的用户界面的图像；从深度相机接收包括人类目标的场景的ー个或多个深度图像；以及，向显示器提供人类目标的部分作为位于用户界面内的光标的呈递(rendering)，并且也向显示器提供光标投射到交互式用户界面元素中的一个或多个上的阴影的呈递。计算设备还被配置成将人类目标的手的移动转换成光标，使得人类目标的手的移动导致所选的交互式用户界面元素经由该光标的相应启动。提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进ー步描述的ー些概念。本
技术实现思路
并不_在标识所要求保护主题的关键特征或必要特征，也不_在用于限制所要求保护主题的范围。此外，所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。附图说明图I示出了根据本专利技术的实施例的用户界面的使用环境。图2示意性地示出根据本专利技术的实施例的用骨架数据来建模所观察的场景中的人类目标。图3示出了交互式用户界面元素的ー实施例，并且还示出了光标手与该交互式用户界面元素相间隔的一实施例。图4示出图3的光标手与交互式用户界面元素相接触。图5示出了图3的光标手正与图3的实施例的交互式用户界面元素进行交互。图6示出了用户界面空间中用于经由用户界面光标将阴影投射在用户界面上的虚拟照明安排的一实施例的示意性图示。图7示出了用户界面空间中用于经由用户界面光标将阴影投射在用户界面上的虚拟照明安排的另一个实施例的示意性图示。图8示出了描绘操作用户界面的方法的一实施例的流程图。图9示出了计算系统的ー实施例的框图。具体实施例方式图I示出了计算设备102，该计算设备102可以用于玩各种不同的游戏、播放ー个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图I还示出了诸如电视机或计算机监视器之类的可用于向用户呈现游戏视觉和/或其他输出图像的显示设备104。作为使用计算设备102的ー个示例，显示设备104可用于以由深度相机112所获得的人类目标110的手108的图像的呈递的形式来可视地呈现如图I所示的用户界面光标106。在这个示例中，人类目标110经由手108的移动来控制光标手106。通过这种方式,人类目标110可例如通过按压和/或拉取诸如按钮(其中之一被示为按钮114)之类的交互式元素来与用户界面113进行交互。在一些实施例中，其中人类跟踪系统可跟踪手指移动，人类目标110可能能够控制光标手106的各个手指的移动。为了帮助人类目标110将手108的运动更直观地转换成光标手106，计算设备102可被配置成呈递光标手106在用户界面113上的一个或多个阴影116以提供与光标手106相对于按钮的位置有关的深度和位置信息。參考图9更详细地讨论了深度相机112。尽管在此是在光标处于通过目标玩家的深度图像来呈递的手的形式的上下文中公开的，但应该理解光标可采用任何其他合适的形式，并且可跟踪或建模任何其他合适的身体部位，诸如大腿(例如，针对以斜靠的身体位置来玩的游戏)或人类目标的其他部位。此外，在一些实施例中，根据本专利技术，可将人类目标的身体的较大部位的呈递以及其阴影显示为用户界面中的光标和光标阴影。这可帮助例如向人类目标提供他们需要向前迈步以与用户界面元素进行交互的反馈。正如手的阴影可帮助用户确定他们手的位置一样，投射整个身体的阴影可帮助用户调整他们身体的位置。此外，这种阴影可出于审美的理由而被投射。另外，在一些实施例中，也可将人类目标正拿着的物体呈递为光标的一部分。此外，在一些实施例中，光标可具有更多的概念形式，诸如箭头或其他简单的形状。人类目标110在此被示为所观察的场景内的游戏玩家。经由深度相机112来跟踪人类目标110，使得人类目标110的移动可被计算设备102解释成可用于移动光标手106以选择和启动用户界面元素以及可用于影响计算设备102正执行的游戏或其他程序的控制。换言之，人类目标Iio可使用他或她的移动来控制游戏。 深度相机112还可用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标110的移动来控制。图I中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景g在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。此处描述的方法和过程可以结合到各种不同类型的计算系统。图I示出了计算设备102、显示设备104和深度相机112形式的非限制性示例。以下參考图9更详细地描述这些组件。图2显示了简明的处理流水线，其中图I的人类目标110被建模成虚拟骨架(或人类目标110的其他表示，诸如化身)，该虚拟骨架可用于呈递要在显示设备104上显示和/或用作用于控制游戏、应用和/或操作系统的其他方面的控制输入的光标手106的图像。可以理解，与图2中所描绘的那些步骤相比，处理流水线可包括附加的步骤和/或替换步骤，而不背离本专利技术的范围。还应当注意，一些实施例可只从深度图像建模骨架的一部分。此外，一些实施例可利用诸如手跟踪或甚至只是运动跟踪之类的跟踪系统以用于如此处所描述的用户界面交互。如图2所示，人类目标110可通过深度相机112来成像。深度相机112可为每ー像素确定所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用基本上任何深度寻·找(depth finding)技术。參考图9更详细地讨论了示例深度寻找技木。 为每个像素确定的深度信息可用于生成深度图204。这样的深度图204可采用任何合适的数据结构的形式，包括但不限于包括所观察的场景的每个像素的深度值的矩阵。在图2中，深度图204被示意性地示为人类目标110的轮廓的像素化网格。这ー 例示是出于理解简明的目的、而不是出于技术准确性的目的。可以理解，深度图一般包括所有像素(不仅是对人类目标20进行成像的像素)的深度信息，并且深度相机112的视角不会得到图2中所描绘的轮廓。虚拟骨架202可从深度图204导出，以提供人类目标110的机器可读表示。換言之，从深度图204导出虚拟骨架202以对人类目标110建模。虚拟骨架202可以按任何合适的方式从深度图204中导出。例如，在某些实施例中，可将ー个或多个骨架拟合算法应用于深度图204。应该理解，本专利技术与任何合适的骨架建模技术兼容。虚拟骨架202可包括多个关节，每ー关节对应于人类目标110的一部分。在图2中，虚拟骨架202被示为具有多个关节的线条画。应该理解，这种图示是出于理解简明的目的，而不是出于技术准确性的目的。根据本专利技术的虚拟骨架可包括基本上任何数量的关节，每个关节都可与基本上任何数量的參数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解，虚拟骨架可采取如下数据结构的形式该数据结构包括多本文档来自技高网...

【技术保护点】

【技术特征摘要】
2011.02.25 US 13/035,2991.ー种计算系统(900)，包括 逻辑子系统(902);以及 数据保持子系统(904)，它包括存储于其中的可由所述逻辑子系统执行的指令以 向显示器提供(802)包括ー个或多个交互式用户界面元素(804)的用户界面的图像； 从深度相机接收(806)包括人类目标的场景的ー个或多个深度图像； 向所述显示器提供(808)所述人类目标的部分作为位于所述用户界面内的光标的呈递，并且还向所述显示器提供(816)所述光标投射在所述交互式用户界面元素中的ー个或多个上的阴影的呈递；以及 将所述人类目标的手的移动转换(828)成所述光标，使得所述人类目标的手的移动导致所选的交互式用户界面元素经由所述光标的相应启动。2.如权利要求I所述的计算设备，其特征在于，所述指令还可被执行来在所述光标朝着所述所选的交互式用户界面元素移动时，显示所述光标与所述光标在所述所选的交互式用户界面元素上的阴影的会聚。3.如权利要求I所述的计算设备，其特征在于，所述指令还可被执行来在所述阴影在由虚拟点光源和虚拟定向光源中的一个或多个引起时呈递所述阴影。4.如权利要求I所述的计算设备，其特征在于，所述指令还可被执行来以通过所述人类目标的手的深度图像来呈递的手的形式来显示所述光标。5.如权利要求I所述的计算设备，其特征在于，所述指令还可被执行来向ニ维显示器和三维显示器中的ー个或多个提供所述用户界面的图像、光标手和阴影。6.如权利要求I所述的计算设备，其特征在于...

【专利技术属性】
技术研发人员：J·安德森，R·福布斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：