使用凝视检测的设备的交互和管理制造技术

用户凝视信息可以包括用户视线、用户焦点、或者用户不在看的区域，用户凝视信息根据用户的身体、头、眼睛和虹膜定位而被确定。用户凝视信息被使用来为用户选择上下文和交互集。交互集可以包括用于语音识别系统的语法、用于手势识别系统的运动、用于用户健康参数检测系统的生理状态、或者其它可能的输入。当用户聚焦在所选择的对象或者区域时，与该对象或者区域相关联的交互集得以激活，并且被用来解译用户输入。交互集也可以基于用户不在查看的区域而被选择。多个设备可以共享凝视信息，以使得设备不需要其自身的凝视检测器。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】
技术介绍
设备允许用户以多种方式输入信息，诸如使用键盘、定点设备和专用硬件按钮。对于定点设备，设备可以从鼠标和/或触摸板接收用户输入。如果配置有数字转换器，则也可以通过感测指示笔的接近度和触摸而进行输入(例如，经由笔或者手指来送入)。一些诸如基于平板的个人计算机那样的设备具有建造在显示屏中的数字转换器。这样的设备可以利用或者不利用键盘来操作。语音命令、眼球运动数据和凝视检测可以通过使用话筒和相机来被检测为对设备的输入，而不需要用户物理地触摸设备。用户界面可以提供若干可供用户选择的选项或者选择对象。所显示的选项或者选择对象可以基于用户界面、设备或者用户环境、先前的选择等等的当前上下文而被确定。在当前系统中，上下文和显示选项或者选择对象全部需要对设备的主动用户输入，诸如通过按钮按压、鼠标移动或者点击、听得见的命令、程序交互等等。例如，使用通过触摸屏幕的手工输入或者通过语音检测器的话音输入，用户可以控制设备或者用户输入。用户可以应用话音或者手工输入来导航到子菜单中。每个子菜单典型地依赖于用户先前的输入，并且可以提供基于用户的最后输入的、减少数量的选项或者一组选择对象。一些设备允许用户使用口语单词来送入命令。在一些情况下，相同的话音命令可以用在若干不同的上下文中。然而，用户必须在讲话之前手工地指明或者选择该命令与之相关联的上下文。
技术实现思路
本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算被用来限制所要求保护的主题的范围。在一个实施例中，设备基于用户的凝视来确定用于用户界面的合适的上下文，或者确定可用的用户输入，用户的凝视可以包括用户的视线和/或焦点。可用的用户输入可以包括例如指令集、语法和识别动作。指令集可以代表经由用户界面提供的菜单选择、显示选项或者按钮组。语法可以代表设备将检测的单词或者语音输入的组。识别动作可以代表对于触摸屏的可感触(tactile)输入、对于设备的触觉(haptic)输入、或者设备将识别的手势或者运动。设备检测用户的凝视，并且将基于用户的视线或者焦点而选取合适的指令集、语法或者识别动作。例如，如果用户看着显示器上的按钮并且说“按钮设定”，那么设备将知道基于用户的凝视而诸如通过选择可用的命令单词的子集来减少语法，并且还可以基于凝视而调整显示上下文，诸如可用的按钮。在另一个示例中，图形用户界面(GUI)将指令集显示给用户。当检测到用户的凝视落在GUI上时，诸如图标、符号、菜单项、文本等等那样的GUI上的对象的顺序可以基于是用户凝视的焦点的对象而在显示器上被重新排序。通过使用基于用户的焦点或者视线的视觉线索，在话音、手势或触摸使能的应用或者系统中的上下文选择得以改进。在一个看即是说(look-to-talk)的实施例中，基于用户的凝视来选择被使能用于系统的话音控制的上下文语法。在一个看即是触摸(look-to-touch)的实施例中，将被系统识别的触摸使能的动作是基于用户的凝视。在一个看即是手势(look-to-gesture)的实施例中，被使能用于应用或者系统的手势是基于用户的凝视。这些和其它实施例提供了看即是交互(look-to-1nteract)的系统，其通过将视觉线索与适合上下文的语音表达、语法、手势或者触摸相结合来形成完整的命令结构，缩短了到任何所期望的结果的通信路径。在各种实施例中，用户的凝视可以被使用来例如: -调整语音、手势、凝视、或者触摸识别器的上下文、用户界面或者其它检测设备； -开启或者关闭用于语音、手势或者触摸识别器的当前识别集或者上下文库； -对录制的语音分段，以使得能够进行连续语音识别的设备可以恰当地辨别将被视作输入或者命令的语音段； -停止或者开始语音、手势或者触摸识别器； -确定上下文； -调整语音、手势或者触摸识别器中的语法； -阻止语音、手势或者触摸识别器识别语音、手势或者触摸； -确定动作或者用户输入的适用性；和/或 -确定用户不在看什么，并且使用其来调整语音、手势或者触摸和上下文。用户的头、脸、眼睛和虹膜位置以及身体姿势和诸如语音或者手势那样的其它线索可以用来确定焦点、视线或者凝视。在其它实施例中，多个设备和系统可以彼此传达凝视信息。这允许不具有凝视检测能力的设备获得凝视信息，凝视信息可被使用来选择或者修改上下文或者交互集。在多个设备之间的凝视信息的交换也可以被设备使用来确定不在看哪些设备，并且因此确定哪些设备不应该响应于输入。附加地，上下文选择和交互可以在一个设备上发生，而对语法、交互集或者识别动作组的调整在另一个设备上发生。多个设备可以彼此协同工作来确定适用于一个或者多个用户的凝视、上下文和语法。【附图说明】为了进一步阐明本专利技术的实施例的以上和其它优点及特征，将参考附图来呈递本专利技术实施例的更详细的描述。要理解的是，这些附图仅描绘出本专利技术的典型实施例，因此不被认为是限制其范围。将通过附图的使用，利用附加的特异性和细节来描述并解释本专利技术，其中: 图1是使用凝视检测来管理用户交互的系统的高级别方框图。图2A和2B图示当用户看着显示器的不同区域时对显示的改变。图3图示按照一个实施例的、采用凝视检测的汽车用信息娱乐(infotainment)系统。图4A-4C图示按照一个实施例的、基于用户的凝视的软按钮面板的改变。图5是图示按照示例实施例的系统的组件的方框图。图6是图示共享凝视信息的多个设备的方框图。图7是图示按照一个实施例的、用于使用凝视信息的方法或者过程的流程图。图8是图示按照另一个实施例的、用于使用凝视信息的方法或者过程的流程图。【具体实施方式】设备可以基于用户的焦点，做出关于用户与其交互的意图的判定。用户凝视信息影响用于其它语音、手势或者触摸识别任务的上下文和交互集。交互集可以是例如在语音识别系统中使用的语法或者词典、在手势识别系统中使用的手势或者运动的库、或者在触摸识别系统中使用的一组动作或者触觉输入。凝视检测器确定用户正在看什么(即，用户的焦点)和/或用户正在看什么方向(即，用户的视线)。凝视信息被提供给可以与用户交互的设备。通过使用辨别用户正在看什么(或者不在看什么)的凝视信息，系统可以减少对于用户可用的交互集语法。例如，系统可以减少在语音识别系统中使用的语法，由于对可能的识别目标(例如，语句、短语、单词等等)的调整，这可以增加对于所检测的语音的识别概率。可替换地，系统可以减少将被识别的触摸输入，这限制用户仅使用允许的输入。系统还可以为手势设定上下文，这将允许简单的手势取决于上下文和用户的凝视而具有多个含义。也可以基于用户的凝视的焦点，安排或者重新安排显示器上的屏幕、菜单或者按钮的顺序。在其它实施例中，可以检测来自用户的脑电波。交互集包括可以被用作对系统的输入的脑电波图案。在某些上下文中，脑电波交互集可以基于用户的凝视而选择。用户的眼睛位置、眼球运动和眨眼速率也可以被检测。交互集可以包括所选择的、可以被用作对系统的输入的眼睛位置、眼球运动和眨眼速率。凝视检测器最初可以被使用来辨别用户的凝视信息，诸如焦点，并且随后可以基于凝视信息而选择基于眼睛的交互集。凝视检测不限于眼睛和虹膜的位置，而是也可以包括本文档来自技高网...

【技术保护点】
一种方法，包括：接收用户凝视信息，和基于用户凝视信息，修改设备如何与用户交互。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：CL帕克，MLW奧汉隆，A罗维特，JR法默，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US