通过化身与用户界面交互制造技术

公开了关于通过由化身提供的反馈来与用户界面进行交互的实施例。一个实施例提供了一种方法，包括接收深度数据、在深度数据中定位人、以及将人之前的物理空间映射成显示设备的屏幕空间。所述方法还包括形成代表该人的化身的图像、将包括交互式用户界面控件的用户界面的图像输出到显示器、以及将化身的图像输出到显示设备使得化身面向所述用户界面控件。所述方法还包括通过所述深度数据检测人的动作、形成化身根据人的动作与用户界面控件进行交互的动画呈现、以及输出化身与用户界面控件进行交互的动画呈现。

【技术实现步骤摘要】

本专利技术涉及计算机技术，更具体地，涉及用户界面交互技术。
技术介绍
计算机系统越来越多地被配置成接受来自自然用户界面(NUI)的输入，自然用户界面允许用户通过自然、本能的动作来与计算机系统交互。例如，计算系统可被配置成接受由诸如深度传感相机之类的相机所检测的用户动作形式的用户输入。分析来自相机的图像以在图像中定位人，并在时间上追踪那些人的动作。随后可使用滤波器来确定所检测的动作是否是被认可的用户输入。
技术实现思路
此处揭示了关于通过由呈现在显示器上的化身所提供的反馈来与自然用户界面进行交互的各实施例。例如，一个公开的实施例提供了一种呈现用户界面的方法，其中所述方法包括接收来自深度传感相机的深度数据、在深度数据中定位人、以及将人之前的物理空间映射为显示设备的屏幕空间。所述方法还包括形成代表该人的化身的图像、将包括交互式用户界面控件的用户界面的图像输出到显示设备、以及将化身的图像输出到所述显示设备使得化身看上去面向所述用户界面控件。所述方法还包括通过所述深度数据检测人的动作、形成根据人的动作化身与用户界面控件进行交互的动画呈现、以及将所述化身与用户界面控件进行交互的动画呈现输出到所述显示器。提供本
技术实现思路
以便以简化形式介绍将在以下的具体实施方式中进一步描述的概念精选。本
技术实现思路
并不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限定所要求保护主题的范围。此外，所要求保护的主题不限于解决在本专利技术的任一部分中提及的任何或所有缺点的实现。附图说明图1示出了包括作为输入设备的相机的计算系统的示例使用环境的实施例，并且还例示了正与根据本公开的用户界面的实施例进行交互的人。图2示出计算系统的一实施例的框图。图3例示出两个玩家中的一个正与根据本公开的用户界面的另一实施例进行交互。图4例示出两个玩家中的另一个正与根据图3的用户界面实施例进行交互。图5示出了描绘呈现用户界面的方法的实施例的流程图。图6示出了根据本公开的实施例的用户界面化身对人的肢体的动作的响应的示意性描述。具体实施例方式4对于计算系统来说，在使用深度传感相机来检测基于姿势的输入的一个难题可涉及与呈现在显示器上的用户界面的交互。用户界面可包括可由用户选择的各种控件，这些控件可使计算系统执行动作。在传统图形用户界面的情况下，一个人可通过使用鼠标或其它光标控制设备将光标移动到控件上、通过使用触摸屏输入、或以其它这类不涉及用户界面控件和用户输入机制(光标、手指等)之间的空间上的模糊的方式来选择用户界面控件。然而，当使用深度传感相机来检测基于姿势的输入时，当将人作出的动作映射到用户界面上的光标的移动时，可能会存在一些空间上的模糊。例如，人的手臂的长度、人的高度、人的朝向、人与相机的距离等等都可能影响对相机所见的人的动作的感知。因此，可能难以用对应于人的意图的方式将人的肢体的动作映射到光标相对于用户界面控件的移动。克服这类将玩家动作映射成光标动作的难题的一种可能的解决方案可以是将用户动作校正至光标动作。例如，计算设备可要求用户作一规定动作(例如，将你的手臂从屏幕左下方移动到屏幕的右上方)，并随后将检测到的人的手臂的动作范围校正至显示设备的屏幕。当人改变位置和/或相对屏幕的朝向时，可追踪人的动作以更新从相机所感知的动作到屏幕空间的映射。然而，这种校正步骤可能是耗时的，并且在使用会话(例如，视频游戏或其它交互式娱乐体验)期间用户随时间可能进入和离开计算设备的动态环境中这种校正步骤可能是被打断的。因此，此处公开了关于呈现用户界面的实施例，其中代表当前正使用计算系统的人的化身与用户界面一起被显示。人的动作由化身的动作所代表，使得化身的动作示出了计算系统是如何感知用户的动作。人可观察化身如何响应于用户动作而移动，并因此可调整他或她的动作来实现想要的与用户界面的交互。以此方式，校正可被避免，因为人可被训练以通过观察化身的动作来调整期望的用户界面交互与实际用户界面交互之间的差异。 这可有助于增强有效的用户界面交互方法。此外，在一些被配置为同时由多个用户所使用的实施例中，可呈现每个用户的化身，其中当前正控制用户界面的一人或多人的化身可被可视地从当前未控制用户界面的人的化身中区分开来。这些特征中的每一个将在下文中更详细描述。图1例示出示例计算系统100和用户界面102的实施例。计算系统100包括计算设备104(例如，视频游戏控制台、台式或膝上型计算机、或其它适当设备)、其上显示用户界面102的显示器106(例如，电视机、监视器等等)、以及被配置成检测用户输入的输入设备 108。如以下将更详细描述的，输入设备108可包括被配置成向计算设备104提供输入数据的各种传感器。可被包含在输入设备106中的传感器的示例包括但不限于深度传感相机、摄像机、和/或诸如定向麦克风阵列的定向音频输入设备。在包括深度传感相机的实施例中，计算设备102可被配置成在从深度传感相机跟踪中获取的图像数据中定位人，并跟踪所标识的人的动作来标识被认可的姿势。姿势输入、语音输入和/或其组合可被用于与运行在计算设备102上的应用进行交互。例如，当计算设备102是执行交互式娱乐应用的视频游戏控制台时，用户可通过由输入设备106上的深度传感器所检测的姿势来控制显示在显示器106上的角色的动作。此外，用户还可通过姿势与显示在显示器106上的用户界面上的交互式控件进行5交互。图1显示了包括示例交互式控件110的交互式控件阵列的示意性呈现。这种交互式用户界面控件可包括例如可被用户交互所改变的两个或多个状态的图形元素。在许多用户界面中，这种控件是通过由诸如鼠标、追踪球、手持运动传感器等光标控制设备控制的光标之类来操纵的。然而，如上所述的，当用户输入是通过经由深度传感相机检测的用户动作所作出时可能会遇到困难，因为由相机所感知的用户动作可能根据用户尺寸、位置、相对于输入设备108的朝向以及其它因素而变化。因此，为了协助用户与用户界面元素进行交互，并且也为了帮助用户学习计算设备104是如何理解用户界面交互姿势的，用户界面包括一个被显示为面向用户界面控件的化身120。化身120的动作追踪当前正使用系统的人(“用户”)122的动作，使得用户可移动肢体来引起化身的肢体相对于用户界面控件的运动。这为用户122提供了关于化身的肢体运动如何响应于用户的肢体运动的反馈，并因此可能有助于用户与用户界面的交互，因为用户能够调整动作来获得想要的化身移动，以下将详细描述。在描绘的实施例中，化身被显示为面向化身所代表的人。然而，在其它实施例中，化身可面向任何其它适当的方向。化身120的肢体还可被配置成当靠近用户界面元素(例如用户界面元素110)时改变配置，以指示用户122可执行与用户界面元素的交互。例如，当足够靠近用户界面元素而能与用户界面元素交互时，化身120的手可改变颜色、位置等。在一个更具体的实施例中，化身120的手可覆盖用户界面元素以指示与用户界面元素的交互被启用。化身122可具有任何适当的外观。例如，在一些实施例中，化身122可以是如通过输入设备108检测的用户的真实图像，而在另一些实施例中，化身122可具有艺术化的非真实外观。当化身122具有艺术化的非真实外观时，化身的外观可源自输入设备108检测的用户的图像，可以基于存储在与用户本文档来自技高网...

【技术保护点】
将化身与用户界面控件交互的动画呈现输出到显示器（５３２）。像输出到所述显示设备（５２０），用户界面包含交互式用户界面控件；将化身的图像输出到所述显示设备（５２２）使得化身看上去面向所述用户界面控件；通过深度数据检测人的运动（５２６）；形成化身根据人的运动与用户界面控件交互的动画呈现（５３０）；以及１．在计算设备中，一种用于呈现用户界面的方法（５００），所述方法包括：从深度传感相机接收深度数据（５０２）；在深度数据中定位人（５０４）；将人之前的物理空间映射成显示设备的屏幕空间（５０６）；形成代表人的化身的图像（５１４）；将用户界面的图

【技术特征摘要】
...

【专利技术属性】
技术研发人员：J·埃弗特，J·蒂亚奎罗，D·本纳特，D·万斯，D·加洛韦，R·马尔科维奇，S·拉塔，O·O·G·桑托斯，K·盖斯那，
申请(专利权)人：微软公司，
类型：发明
国别省市：US