与自然用户界面的双手交互制造技术

揭示了与自然用户界面的双手交互。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标系统定位的用户界面，该虚拟坐标系统基于用户的第一只手的位置来定位。该方法还包括通过由计算设备接收的图像数据检测由用户的第二只手做出的动作输入，该动作输入在用户的第一只手正做出上下文设置输入时做出，并且基于该上下文设置输入以及动作输入和虚拟交互坐标系统之间的交互来向显示器发送响应。

Interaction with the natural user interface

Hands interaction with the natural user interface is revealed. For example, one embodiment provides a method, the method includes: the image data received by the computing device to detect the first hand made by the user's context is set to the display input, and sending location based on virtual interactive coordinate system of the user interface, the virtual coordinate system of the first hand the location of users based on location. The method also includes the image data received by the computing device is detected by the user's second hand movements input, the action in the first hand the user input is making context sets input, and based on the context and set the input action input and virtual interaction interaction between the coordinate system to send a response to the display.

【技术实现步骤摘要】
【国外来华专利技术】背景已经开发了为用户提供控制用户界面的直观机制的自然用户界面。自然用户界面可利用一个或多个传感器来监视输入，诸如被转换成用户界面控制的手/手臂姿势和/或语音命令。概述揭示了有关与自然用户界面的双手交互的各实施例。例如，一个实施例提供了一种方法，该方法包括：通过由计算设备接收的图像数据来检测由用户的第一只手做出的上下文设置输入，并向显示器发送基于虚拟交互坐标系统定位的用户界面，该虚拟坐标系统基于用户的第一只手的位置来定位。该方法还包括通过由该计算设备接收的图像数据来检测由该用户的第二只手执行的动作输入，该动作输入在该用户的第一只手正在做出上下文设置输入时执行，并基于该上下文设置输入以及在该动作输入和该虚拟交互坐标系统之间的交互来向显示器发送响应。提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。附图简述图1示意性地示出根据本公开的一实施例的查看增强现实用户界面的用户。图2是说明根据本公开的一实施例的用于控制用户界面的方法的流程图。图3是说明根据本公开的一实施例的在与用户界面交互时做出的示例手势序列。图4是说明根据本公开的一实施例的在与用户界面交互时做出的另一示例手势序列。图5是说明根据本公开的另一实施例的用于控制用户界面的方法的流程图。图6是说明根据本公开的一实施例的被做出以控制用户界面的另一示例手势序列。图7示意性地示出计算系统的一示例实施例。详细描述如上所述，自然用户界面可由计算设备利用来接收用户输入。自然用户界面可允许用户在使用环境中通过经由传感器检测到的诸如身体姿势/姿态之类的动作和语音命令来与计算设备交互。这样的传感器的示例包括，但不限于，图像传感器(包括深度相机和二维图像传感器)、声学传感器、和/或运动传感器。然而，确定检测到的姿势、语音段、和/或由用户执行的其它动作是否旨在控制界面可能成为挑战，因为对应于用户界面命令的各动作也可能对应于在用户界面上下文之外执行的各动作。此外，某些类型的自然用户界面可能成为附加的挑战。例如，增强现实显示设备(诸如透视头戴式显示器)的自然用户界面可利用显示为位于用户的视野中的立体图像的用户界面元素。当用户试图与这样的用户界面元素进行交互时，各用户界面元素相对于用户身体的表观位置有时可能是用户难以精确感知的。这对于与该用户界面的用户交互而言可能成为挑战。因此，在此揭示有关与自然用户界面的交互的各实施例，其可有助于表明与用户界面进行交互的用户意图，并且还可促成对相对于用户界面元素的用户姿势的空间感知。简言之，所揭示的各实施例利用双手交互，其中一只手做出定义由另一只手做出的动态动作姿势的上下文的上下文设置姿势。上下文设置姿势可发出用户的执行用户界面交互的意图以及潜在地针对交互的特定上下文的信号，并且还可提供用于定位用于显示用户界面并作出动态动作姿势的坐标系统的基准位置。图1示出根据本公开的一实施例的用户102的第一人称视角，该用户102在查看显示在近眼显示设备104上的增强现实用户界面100。图1的增强现实用户界面100包括全息电视108和多个控件元素110，每个控件元素110被配置来控制在全息电视108上的媒体的回放的一个或多个方面。所描绘的控件元素110包括播放按钮、停止按钮、暂停按钮、快进按钮、和后退按钮，但将理解这样的用户界面可包括任何合适的控件。进一步，当图1示出虚拟对象时，在某些实施例中，用户102还可经由透视近眼显示设备连同虚拟对象一起查看现实世界对象。将理解，所描绘的全息电视108是作为向用户102显示的增强现实用户界面100的示例来提供的，且任何其它合适的用户界面可被显示。各示例包括，但是不限于，其它娱乐相关的用户界面(例如，游戏界面和音频播放器)、浏览器(web、文件等)、生产力软件相关的界面、通信界面、操作系统/固件/硬件控件界面等。来自用户102的姿势输入可被用于控制近眼显示设备104的一个或多个方面。例如，近眼显示设备104可接收来自(以下描述的)一个或多个传感器的图像信息，并在这样的图像和/或音频信息中标识用于控制近眼显示设备104的身体姿势(包括姿态)。尽管在近眼显示设备的上下文中进行描述，但是将理解在此描述的用户界面交互可以与配置用于通过图像传感器接收输入的任何其它计算系统一起使用。各实施例包括，但不限于，桌面计算机、膝上计算机、平板计算机、智能电话、和其它可穿戴计算系统。用户102做出的姿势可通过从一个或多个图像传感器(诸如位于近眼显示设备104上的深度相机)接收的图像信息来检测。这样的姿势可被用于控制一个或多个计算机程序。为指示用户102试图控制的一功能性(程序、程序上下文等)，用户102可用第一只手做出上下文设置姿势。作为一个示例，在图1中，用户102以伸展的张开手掌形状举起左手112，其中用户的手掌朝向背离用户且四指和大拇指分开。这个上下文设置姿势可触发，例如，光标控制模式，其中用户102用所显示的光标116来控制用户界面的一个或多个方面。用户的另一只手接着可被用来控制光标，如以下更详细地描述的。一旦检测到上下文设置输入，近眼显示设备104就可基于用户的上下文设置输入手(例如，第一只手)来定位虚拟交互坐标系统。虚拟交互坐标系统可包括空间区域，其中用户的第二只手可做出动态动作姿势来控制显示给用户的用户界面的一个或多个方面。也可基于虚拟交互坐标系统来显示用户界面元素，并且因此可基于上下文设置输入手的位置来定位。以此方式，上下文设置输入手可提供现实世界基准位置来帮助用户用另一只手作出动态动作姿势。将理解，其它传感器也可以与近眼显示设备104一起使用。例如，近眼显示设备104可包括一个或多个运动传感器，以在用户正戴着显示系统时检测用户头的移动。运动数据可以潜在地与眼睛跟踪数据和面向外的图像数据一起被使用来用于注视跟踪以及用于图像稳定化，以帮助校正来自面向外图像传感器的图像中的模糊。近眼显示设备104还可包括声学传感器，诸如话筒。将理解，各传感器是出于示例的目的而描述的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。近眼显示设备104还包括具有与各传感器和显示子系统通信的逻辑机和数据本文档来自技高网...

【技术保护点】
在计算设备上，一种方法包括：通过由所述计算设备接收到的图像数据来检测由用户的第一只手做出的上下文设置输入；向显示器发送基于虚拟交互坐标系统定位的用户界面，所述虚拟交互坐标系统基于所述用户的所述第一只手的位置来定位；通过由所述计算设备接收到的图像数据来检测由所述用户的第二只手做出的动作输入，所述动作输入在所述用户的所述第一只手正在做出所述上下文设置输入时做出；以及基于所述上下文设置输入以及所述动作输入和所述虚拟交互坐标系统之间的交互向所述显示器发送响应。

【技术特征摘要】
【国外来华专利技术】2013.08.05 US 13/959,5551.在计算设备上，一种方法包括：
通过由所述计算设备接收到的图像数据来检测由用户的第一只手做出的
上下文设置输入；
向显示器发送基于虚拟交互坐标系统定位的用户界面，所述虚拟交互坐标
系统基于所述用户的所述第一只手的位置来定位；
通过由所述计算设备接收到的图像数据来检测由所述用户的第二只手做
出的动作输入，所述动作输入在所述用户的所述第一只手正在做出所述上下文
设置输入时做出；以及
基于所述上下文设置输入以及所述动作输入和所述虚拟交互坐标系统之
间的交互向所述显示器发送响应。
2.如权利要求1所述的方法，其特征在于，检测动作输入包括检测所述第
二只手从所述用户的视角而言从在所述虚拟交互坐标系统的平面的一侧上的
位置到在所述平面的另一侧上的位置横跨所述平面的移动。
3.如权利要求2所述的方法，其特征在于，检测横跨所述平面的所述第二
只手触发经由相机的图像捕捉过程。
4.如权利要求1所述的方法，其特征在于，还包括检测所述第一只手的姿
态的改变，并且作为响应，触发所述动作输入的结束。
5.如权利要求4所述的方法，其特征在于，所述第一只手的姿态的改变触
发由所述第二只手对所述用户界面的标记的结束。
6.一种近眼显示系统，包括：
透视近眼显示器；
一个或多个图像传感器；
逻辑机；以及
存储机，所述存储机包括能够由所述逻辑机执行以进行以下操作的指令：
检测触发光标控制模式的上下文设置输入...

【专利技术属性】
技术研发人员：A·巴兰，M·J·菲诺齐奥，K·D·李，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US