协同的语音和姿态输入制造技术

一种在操作耦合到视觉系统和听觉系统的计算机系统中制定的方法。该方法将自然用户输入应用到控制计算机系统。其包括以下动作，即：检测来自计算机系统的用户的言语和非言语非触摸输入，基于从非言语非触摸输入导出的坐标而选择多个用户接口对象中的一个用户接口对象，对言语输入进行解码以便从由所选对象支持的多个行动中标识所选行动，以及对所选对象执行所选行动。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
自然用户输入（NUI）技术目的在于提供计算机系统与人类之间的直观的交互模式，这样的模式可包括例如姿势、姿态、凝视和/或语音识别。适当配置的视觉和/或听觉系统可以越来越多地替代或增强传统的用户接口硬件，诸如键盘、鼠标、触摸屏、游戏板、或游戏棒控制器。某些NUI方法使用姿态输入来模仿通常由鼠标、跟踪球或跟踪板制定的指向操作。其他方法使用语音识别，以用于访问命令菜单——例如，用于启动应用、播放音频音轨的命令等等。然而，将姿态和语音识别用于相同系统是少见的。
技术实现思路
一个实施例提供一种在操作耦合到视觉系统和听觉系统的计算机系统中所制定的方法。方法应用自然用户输入来控制计算机系统。它包括检测来自用户的言语的和非言语的非触摸输入；以及基于从非言语的非触摸输入而导出的坐标，选择多个用户接口对象中的一个用户接口对象的动作。方法还包括对言语输入解码来标识由所选对象支持的所选行动和对所选对象执行所选行动的动作。本概要以简化的形式介绍概念选择，这些概念将在下面的详细说明中进一步描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算被使用来限制所要求保护的主题的范围。而且，所要求保护的主题不限于解决在本公开内容的任何部分中提出的任何或者所有缺点的实施方案。附图说明图1示出了按照本公开内容的实施例的NUI被用来控制计算机系统的示例环境的方面。图2示出了按照本公开内容的实施例的计算机系统、NUI系统、视觉系统和听觉系统的方面。图3示出了按照本公开内容的实施例的在用户的手的位置和/或凝视方向与用户可见的显示器屏幕上的鼠标指针坐标之间的示例映射的方面。图4图示了按照本公开内容的实施例应用NUI来控制计算机系统的示例方法。图5示出了按照本公开内容的实施例的计算机系统用户的示例虚拟骨骼的方面。图6图示了按照本公开内容的实施例的用来对来自计算机系统用户的言语进行解码的示例方法。具体实施方式现在通过示例和参照以上列出的所图示的实施例来描述本公开内容的方面。在一个或多个实施例中，基本上相同的部件、处理步骤、和其他元件被同等地标识和以最小的重复被描述。然而，将指出，被同等标识的元件也可能在某种程度上不同。将进一步指出，在本公开内容中所包括的附图是示意性的，并且一般没有按比例画出。而是，在附图上示出的部件的各种图比例、纵横比和数目可为了使得某些特征或关系更容易看到而故意失真。图1示出了示例环境10的方面。所图示的环境是个人居住的起居室或家庭室。然而，本文描述的方法可等同地应用于其他环境中，诸如零售商店和信报亭、餐馆、信息与公共信报亭等等。图1的环境表征了家庭娱乐系统12。家庭娱乐系统包括大画幅显示器14和扬声器16，这二者操作耦合到计算机系统18。在其他实施例中，诸如近眼显示器变例那样的显示器可被安装在由计算机系统的用户穿戴的头饰或眼镜中。在某些实施例中，计算机系统18可以是视频游戏系统。在某些实施例中，计算机系统18可以是被配置成播放音乐和/或视频的多媒体系统。在某些实施例中，计算机系统18可以是用于互联网浏览和生产力应用（例如，字处理和电子表格应用）的通用计算机系统。一般地，除了其他方面之外，计算机系统18可被配置成用于以上目的中的任何或所有目的，而不背离本公开内容的范围。计算机系统18被配置成接受来自一个或多个用户20的不同形式的用户输入。这样，诸如键盘、鼠标、触摸屏、游戏板、或游戏棒控制器（图中未示出）那样的传统用户输入设备可以操作耦合到计算机系统。不管是否支持传统用户输入模态，计算机系统18也被配置成接受来自至少一个用户的所谓的自然用户输入（NUI）。在图1中表示的情景中，用户20被示为处在站立的位置；在其他情景中，用户可以坐着或躺下，而不背离本公开内容的范围。为了传达来自一个或多个用户的NUI，NUI系统22是计算机系统18的一部分。NUI系统被配置成捕获NUI的各种方面，并且把对应的可行动的输入提供到计算机系统。为此，NUI系统接收来自外围传感部件的低水平输入，所述外围传感部件包括视觉系统24和听觉系统26。在所图示的实施例中，视觉系统和听觉系统共享共同的外壳；在其他实施例中，其可以是分开的部件。在再一个实施例中，视觉、听觉和NUI系统可被集成在计算机系统内。计算机系统和视觉系统可以经由有线通信链路耦合，如图中所示，或以任何其他适当的形式耦合。虽然图1示出了被安排在显示器14的顶部的传感部件，但各种其他安排也是预期的。例如，视觉系统可被安装在天花板上。图2是示出了在一个示例系统中的计算机系统18、NUI系统22、视觉系统24和听觉系统26的高水平示意图。所图示的计算机系统包括可以以软件和/或固件举例说明的操作系统（OS）28。计算机系统还包括一个或多个应用30，诸如例如视频游戏应用、数字媒体播放器、互联网浏览器、照片编辑器、字处理器和/或电子表格应用。自然地，计算机、NUI、视觉和/或听觉系统也可以按照支持它们相应功能所需要的，包括适当的数据存储装置、指令存储装置和逻辑硬件。听觉系统26可包括一个或多个麦克风来获得来自一个或多个用户以及环境10中的其他源的言语和其他可听的输入；视觉系统24检测来自用户的可视的输入。在所图示的实施例中，视觉系统包括一个或多个深度相机32、一个或多个彩色相机34和凝视跟踪器36。 在其他实施例中，视觉系统可包括更多或更少的部件。NUI系统22处理来自这些传感部件的低水平输入（即，信号），以把可行动的高水平输入提供到计算机系统18。例如，NUI系统可以对来自听觉系统26的音频信号执行声音或话音识别。这样的识别可以生成对应的基于文本的或其他高水平命令，其可以在计算机系统中被接收。继续图2，每个深度相机32可包括成像系统，其被配置成获得它所看到的一个或多个人类主体的时间分辨序列的深度图。本文使用的术语“深度图”是指被记录在成像场景的对应区域(Xi,Yi)的像素阵列，并具有指示对于每个像素的对应区域的深度的深度值Zi。“深度”被定义为平行于深度相机的光轴的坐标，其随与深度相机相距的增大的距离而增大。深度相机可被可操作地配置成获得二维图像数据，根据这些数据，深度图可以经由下游处理而被获取。一般地，深度相机32的性质在本公开内容的各种实施例中可以是不同的。例如，深度相机可以是静止的、移动的或是可移动的。任何非静止深度相机可以具有根据一系列透视图对环境进行成像的能力。在一个实施例中，来自在深度相机中的两个立体取向的成像阵列的亮度或彩色数据可以被共同记录和被用来构建深度图。在其他实施例中，深度相机可被配置成把包括许多离散特征（例如，线或点）的结构红外（IR）照明图案投射到主体上。在深度相机中的成像阵列可被配置成对从主体反射回的结构照明进行成像。基于在成像对象的各种区域中的相邻特征之间的间隔，可以构建主体的深度图。在又一实施例中，深度相机可以向主体投射脉冲红外照明。深度相机中的一对成像阵列可被配置成检测从主体反射回的脉冲照明。这两个阵列可包括同步到脉冲照明的电子快门，但用于阵列的积分时间可能是不同的，这样，从照明源到主体和然后到阵列的脉冲照明的像素分辨飞行时间基于在两个阵列的对应元件中接收的光的相对量而可辨别。如上所述的深度相机32自然可应用于观察人。这部分是由于其分辨本文档来自技高网...

【技术保护点】
一种在操作耦合到视觉系统和听觉系统的计算机系统中制定的、用来将自然用户输入（NUI）应用于控制计算机系统的方法，所述方法包括：检测非言语非触摸输入和言语输入中的一项作为第一类型的自然用户输入；检测第二类型的自然用户输入，如果所述第一类型是非言语非触摸输入，则所述第二类型是言语输入，如果所述第一类型是言语输入，则所述第二类型是非言语非触摸输入；使用所述第一类型的用户输入来约束所述第二类型的用户输入的返回参数空间，以减小在所述第一类型的输入中的噪声；基于所述第一类型的用户输入，选择用户接口（UI）对象；基于所述第二类型的用户输入，确定对于所选UI对象的所选行动；以及对所选UI对象执行所选行动。

【技术特征摘要】
【国外来华专利技术】2014.01.10 US 14/152,8151.一种在操作耦合到视觉系统和听觉系统的计算机系统中制定的、用来将自然用户输入（NUI）应用于控制计算机系统的方法，所述方法包括：检测非言语非触摸输入和言语输入中的一项作为第一类型的自然用户输入；检测第二类型的自然用户输入，如果所述第一类型是非言语非触摸输入，则所述第二类型是言语输入，如果所述第一类型是言语输入，则所述第二类型是非言语非触摸输入；使用所述第一类型的用户输入来约束所述第二类型的用户输入的返回参数空间，以减小在所述第一类型的输入中的噪声；基于所述第一类型的用户输入，选择用户接口（UI）对象；基于所述第二类型的用户输入，确定对于所选UI对象的所选行动；以及对所选UI对象执行所选行动。2.权利要求1的方法，其中UI对象的选择不规定所选行动，以及其中确定所选行动不规定所选行动的接收者。3.权利要求1的方法，其中所述非言语非触摸用户输入提供以下的一项或者多项，即：用户的指向方向、用户的头部或身体的取向、用户的位姿或姿势、以及用户的凝视方向或焦点。4.权利要求1的方法，其中...

【专利技术属性】
技术研发人员：O穆里洛，L斯蒂菲尔曼，M宋，D巴斯蒂恩，M施维辛格，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US