具有视觉反馈的位置知晓姿势作为输入方法技术

本发明专利技术涉及具有视觉反馈的位置知晓姿势作为输入方法。提供基于姿势的用户界面来供用户与一设备进行交互，以便通过检测姿势和用户移动来操作和控制该设备。向用户提供用户姿势的视觉反馈，以有助于用户对设备的操作和控制决策。可利用诸如视频相机等图像捕捉设备来捕捉用户的图像，并且计算设备上的集成应用程序可处理来自该捕捉设备的连续图像以识别和跟踪用户姿势。各姿势可与显示上的对象和/或位置相关，并且可将用户的图像投影到该显示上以提供用户交互的视觉反馈。

【技术实现步骤摘要】

本专利技术涉及与基于位置知晓姿势的输入有关的方法、设备和系统。
技术介绍
诸如计算机、电视机、留言板、电子广告牌、和监视设备等传统的媒体设备和计算机控制设备是使用输入硬件直接在用户界面上控制的。通常，它们是使用诸如鼠标、遥控器、键盘、手写笔或触摸屏等用于控制该设备的输入设备来直接控制的。由于这些输入设备与这些设备集成在一起，因此为了使各用户能与设备进行交互，这些用户必须具有对这种输入设备和屏幕的直接访问或者必须邻近于这些输入设备，以便启用与通过键盘上的键击、鼠标的移动以及触摸屏上的选择来操作和控制该设备有关的动作。如果输入设备并不能被用户直接访问，则用户和设备之间的交互可能会受到限制，并且用户无法操作和控制该设备，由此限制了对该设备的使用。一些设备配备有运动检测机制，并可例如通过在预定区域中挥手或检测运动来激活这些设备。然而这些机制一般是粗略的，并且不能提供精细的控制。基于触摸的技术提供类似于如鼠标或键盘等硬件输入设备的控制能力，但是这些技术需要与表面(一般指设备的显示表面)进行物理交互。
技术实现思路
提供本
技术实现思路
以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。本
技术实现思路
并不旨在专门标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。各实施例旨在提供用户界面，在该用户界面上用户可以与设备进行交互，以通过检测用户的姿势和移动来操作和控制该设备。根据一些实施例，可向用户提供用户姿势的视觉反馈，以有助于用户对设备的操作和控制决策。可利用诸如视频相机等图像捕捉设备来捕捉用户的图像，并且计算设备上集成的应用程序可处理来自该捕捉设备的连续图像以识别和跟踪用户姿势。这些姿势可以与显示上的对象和/或位置相关，并且可将用户的图像投影到设备上，以提供该用户交互的视觉反馈。通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。可以理解，前述一般描述和以下的详细描述都是说明性的，并且不限制所要求保护的各方面。附图说明图1示出了具有位置知晓姿势输入和用户交互的计算机系统，在该计算机系统中可实现各实施例；图2示出计算设备环境中基于位置知晓姿势的用户界面的示例；图3示出电视环境中基于位置知晓姿势的用户界面的示例；图4示出示例性的独立姿势控制器实现；图5是可实现根据各实施例的系统的联网环境；图6是可实现各实施例的示例性计算操作环境的框图；以及图7示出根据各实施例的删除姿势以及提供视觉反馈来作为用户界面方法的过程的逻辑流程图。具体实施例方式如前面简单描述地，可通过交互式用户界面来识别和跟踪用户姿势，以便向计算机应用程序提供输入，以及发起该计算机应用程序所支持的动作。另外，可通过以下方式来向用户提供视觉用户反馈在用户界面的显示上的特定位置上生成半透明图像；允许用户通过视觉观察和控制姿势输入，且对该用户界面的干扰最少。在以下详细描述中，参考了构成详细描述的一部分并作为说明示出各具体实施例或示例的附图。可组合这些方面，可利用其他方面，并且可以做出结构上的改变而不背离本专利技术的精神或范围。因此，以下具体实施方式并不旨在限制，并且本专利技术的范围由所附权利要求及其等效方案来限定。尽管在结合在计算设备上的操作系统上运行的应用程序执行的程序模块的一般上下文中描述了各实施方式，但是本领域的技术人员会认识到各方面也可以结合其它程序模块实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。此外，本领域的技术人员可以明白，各实施例可以用其它计算机系统配置来实施，包括手持式设备、多处理器系统、基于微处理器或可编程消费者电子产品、小型计算机、大型计算机以及类似计算设备。各实施方式还能在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。各实施例可被实现为计算机实现的过程(方法)、计算系统、或者诸如计算机程序产品或计算机可读介质等的制品。计算机程序产品可以是计算机系统可读并且编码包括用于使计算机或计算系统执行示例过程的指令的计算机程序的计算机存储介质。例如，计算机可读存储介质可经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、 软盘或紧致盘和类似介质中的一个或多个来实现。在整个说明书中，术语“平台”可以是软件和硬件组件的组合，用于通过交互式用户界面来跟踪用户姿势，以及通过该用户界面将用户图像投影到显示上以提供对用户交互所发生的位置的视觉反馈。平台的示例包括但不限于，在多个服务器上执行的托管服务、在单个计算设备上执行的应用以及类似系统。术语“服务器”一般指通常在联网环境中执行一个或多个软件程序的计算设备。然而，服务器还可以被实现为被视作网络上的服务器的、 在一个或多个计算设备上执行的虚拟服务器(软件程序)。以下提供关于这些技术和示例操作的更多细节。参考图1，图表100示出具有位置知晓姿势输入和用户交互的计算机系统，在计算机系统中可实现各实施例。图表100中所示的计算设备和用户界面环境用于说明目的。可以在各种本地计算环境、联网计算环境和利用各种计算设备和系统的类似计算环境中实现各实施例。图1示出姿势识别和视觉反馈系统100的配置的示例性实施例，在该系统中用户 102可通过执行一个或多个姿势或移动来操作和控制计算设备114上的应用程序。在一示例性实施例中，姿势识别和视觉反馈系统100可用于检测、分析和跟踪用户102的姿势以及在显示104上向用户102提供用户姿势的视觉反馈108。交互式用户界面被呈现在显示104上，以用于基于位置知晓姿势来控制在计算设备114上执行的应用程序。在该交互式控制中，用户102并不直接接触也不紧邻于阻止使用诸如触摸屏等接触式输入设备的系统。为了检测用户的姿势，该系统包括耦合至(116) 显示104的计算设备114以及用于捕捉用户102的图像的相机110。在根据各实施例的系统中，与传统的输入模型不同，用户102并不需要使用任何输入设备，诸如定点设备(例如，鼠标或键盘)、或者由具有相机的现有输入系统所使用的无源或有源标记器(例如，光源或者高对比度标记器)等。用户的图像是由相机110出于以下目的而捕捉的注册来自用户的输入，由此给予用户102与在计算设备114上执行的应用程序进行交互的机会。然后，可带着两个主要目的来实时处理来自相机110的视频流。第一目的是跟踪和识别用户102执行来提供发起计算设备114上执行的软件所支持的不同动作的输入的姿势。姿势可由诸如手等各个身体部分来执行，并可构成特定运动和/或定位。诸如执行眨眼的眼睛等其他身体部分或者以整个身体来进行的身体运动也可用于输入目的，以例如便于身体上残疾的用户进行输入。第二目的是通过将用户的图像108 投影在应用程序的用户界面上来向用户提供实时的视觉反馈。可对这个图像进行处理，以最小化用户界面的干扰，以及允许用户102观察用户界面而不管用户的位置或运动。由于用户102在显示104上观察他/她自己的图像，因此对于用户来说将在该用户的物理世界中的位置与显示上的虚拟位置进行匹配是容易的。例如，当用户的手正在执行姿势时，用户可看见该手位于用户界面组件112 (文本“DEF”)附近，本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：I·图马诺夫，
申请(专利权)人：微软公司，
类型：发明
国别省市：