基于用户的目光的用户界面元素焦点制造技术

一种计算机化方法、系统和计算机可读介质，可用于和可操作用于：确定对应于用户的目光的坐标集；确定对应于所述坐标集的用户界面(UI)元素；将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；根据已启动的计时器确定预定阈值时间内所返回的所述UI元素是否相同；如果所述UI元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述UI元素相同，则在不需要来自所述用户的任何附加动作的情况下使所述UI元素激活，并且当前选择所述UI元素以接收输入。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般地涉及在可显示图形用户界面(⑶I)的任何设备上的⑶I显示。
技术介绍
有时打开很多窗口的GUI显示的用户不小心会在错误的窗口中开始打字或者点击。例如，用户可能正看着一个窗口或屏幕元素，而计算机可能没有认识到当前不同的屏幕元素具有光标。其要求繁琐的动作，诸如移动鼠标、点击或者执行键盘快捷方式以切换激活的窗口。然而，对于确定用户的注意力在哪或者用户想与哪个窗口交互，这些方式是低效的，并且也是近似或代理。
技术实现思路
在一个实施例中，计算机被配置为:确定对应于用户的目光(gaze)的坐标集；确定对应于所述坐标集的用户界面(UI)元素；将所述Π元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；根据已启动的计时器确定预定阈值时间内返回的所述Π元素是否相同；如果所述Π元素不相同，则重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述Π元素相同，则在不需要来自所述用户的任何附加动作的情况下使所述Π元素激活，并且当前选择所述Π元素以接收输入。【附图说明】下面的附图和说明书中阐述了一个或更多实施方式的详细内容。从说明书、附图和权利要求中本公开的其他特征、方面和优点将变得显而易见，其中:图1是根据本公开的一个方面的计算机系统的框图。图2是根据本公开的一个方面示出示例窗口和⑶I还有至少一个传感器的显示器的图示。图3是根据本公开的一个方面的显示器中窗口的可能设置的图示。图4是根据本公开的一个方面的用户界面系统的框图。图5是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的示例处理。图6是根据本公开的一个方面用于例如基于诸如眼睛追踪的传感器数据提供窗口选择的另一个示例处理。【具体实施方式】根据本公开的多个方面，诸如照相机的传感器可以追踪用户正在看的显示器屏幕上的位置或者其他用户数据以便调整窗口选择或者使若干不同窗口中的一个窗口激活。在一个实施例中，选择窗口或者使其激活被称作给定窗口的“焦点”或者“提供焦点”，以及在贯穿本公开的剩余部分中为简单起见其被称为“焦点”。焦点可基于用户的注意，例如，当用户看着窗口足够长时间时，该窗口被提升到前景并给予焦点(被激活)。用于提升窗口的延迟根据各种参数也可以是可配置的和可调整的。因此，在不必点击窗口、移动鼠标到窗口或依赖快捷键的情况下能够选择窗口和调整窗口焦点变得可能。根据本公开的一个方面，焦点检测器可以被实现为体现在有形介质上的用在计算机上的应用中或者用在移动设备上的应用上的软件。移动设备的计算机已经有可以是前向或后向、并且已经被配置为检测来自用户的眼睛移动或者其他基于移动的动作的内置照相机或者其他运动传感器。在一个实施方式中，有形介质上体现的现成眼睛追踪软件可与网络照相机结合使用。根据本公开的一个方面，追踪屏幕上用户的目光聚焦在哪的处理电路可替代键盘或者鼠标输入。在一个实施方式中，传感器或者照相机可以是红外线的。在一个实施方式中，如果照相机被阻挡，或者多个用户被检测到，则执行仍然检测或者粗略估计移动的故障安全模式。在一个实施方式中，可以由焦点检测器实行的功能包括最小化窗口、最大化窗口、选择网页上的目标、点击链接、播放视频等等。在一个实施方式中，一旦用户界面元素被选择，则该用户界面元素的子用户界面元素或更小组件(诸如按钮或文本框或图标此类的)也可经由用户的目光来交互。在一个实施方式中，当用户的目光聚焦在目标上时，窗口或者用户界面元素不放大，屏幕大小或者屏幕的纵横比或者窗口大小也不调整。根据本公开的一个方面，焦点是用在计算中的术语，其指示当前被选择以接收输入的GUI的组件。焦点通常可以通过点击可以利用例如鼠标或者键盘接收焦点的组件来改变。许多台式机也允许利用键盘改变焦点，经由例如快捷键。按照惯例，“alt+tab”键可用于将焦点移动到下一个可聚焦的组件和/或，在一些实施方式中，“shift+tab”到前一个可聚焦的组件。当图形界面也首先被引入时，许多计算机没有鼠标或者其他这种输入设备；从而快捷键是必要的。快捷键特征也使很难使用鼠标的人们，诸如，例如，有手部残疾或者腕管综合征的人们，能够容易地导航用户界面。在一个实施方式中，箭头键、字母键或者其他运动键可用于移动焦点。“焦点跟随点击”或者“点击以聚焦”策略是对于要获得焦点的窗口用户必须在该窗口内点击鼠标的策略。这也通常导致窗口提升越过或者覆盖在显示器的屏幕上一个或更多或所有其他窗口。如果诸如这种的“点击焦点”模型被使用，则即使鼠标指针在另一个应用窗口上，“激活的”当前应用窗口也继续保持焦点并且收集输入。例如UNIX系统上的另一个策略是“焦点跟随鼠标”策略(或者FFM)，其中焦点自动地跟随鼠标控制的指针的当前落点。聚焦的窗口不一定被提升，并且其部分可保持在其他窗口之下。具有该策略的窗口管理器通常提供“自动提升”功能，当窗口被聚焦时，通常在可能发生在预定时间段之后的可配置的短延迟之后，该功能将该窗口提升。FFM策略的一个后果是当指针移动到下面没有窗口的背景上时，没有窗口具有焦点。屏幕上的单独组件也具有光标位置(通过，例如，X和y坐标表示)。例如，在文本编辑包中，文本编辑窗口一定具有焦点以便可以键入文本。当文本被键入到组件中时，其将在文本光标位置处出现，一般其也是可使用鼠标光标移动的。X窗口管理器可以是另一种类型的窗口管理器，其具有历史性提供的、供应商控制的、固定的方法集来控制窗口和屏面怎样在屏幕上显示，以及用户怎样与它们交互。用于X窗口系统的窗口管理也可以与提供图形显示的软件保持分离。在一个实施方式中，X窗口系统可被修改或者增强用于本公开的焦点检测器。在一个实施方式中，X窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，不同于X窗口系统的窗口系统可与本公开的焦点检测器一起使用。在一个实施方式中，由用户的目光选择的窗口变成激活的并且允许即时的用户输入，而不需要任何来自用户的附加动作，例如，用户不必点击所选择的窗口或者执行任何附加动作以使所选择的窗口激活。在一个实施方式中，可使激活选择的窗口内的文本输入框准备用于输入。在一个实施方式中，Π元素一旦被选择，也变为可用于输入，诸如，移动、键入、调整大小、最小化、关闭等等。图1是根据本公开的一个方面的计算机系统的框图。参照图1，所示为根据所述实施方式的计算机系统100的框图。系统100包括经由网络106与其他计算设备通信的客户端102。客户端102可执行web浏览器或者其他应用(例如，视频游戏、消息传送程序等)，以通过网络106从其他设备检索内容。例如，客户端102可与任意数目的内容源108、110(S卩，第一内容源到第η内容源)通信，该内容源108、110向客户端102提供电子内容，诸如网页数据和/或其他内容(例如，文本文档、PDF文件和其他格式的电子文档)。在一些实施方式中，计算机系统100也包括被配置为分析由内容源108、110提供的数据并使用该数据以指令客户端102执行动作的焦点检测器104，该数据诸如来自照相机或者另一运动传感器的运动数据，该动作诸如选择或者聚焦若干窗口中的一个窗口。焦点检测器104也可分析来自内容源108、110的数据，并将其提供回到内容源108、110，诸如，例如本文档来自技高网...

【技术保护点】
一种计算机化的方法，包括：经由计算设备，确定对应于用户的目光的坐标集；经由所述计算设备，确定对应于所述坐标集的用户界面(UI)元素；经由所述计算设备，将所述UI元素作为已被检测到而返回、并再次重复对对应于所述用户的目光的坐标集的确定；经由所述计算设备，根据已启动的计时器确定在预定阈值时间内所返回的所述UI元素是否相同；如果所述UI元素不相同，则经由所述计算设备，重设所述已启动的计时器并再次重复对对应于所述用户的目光的坐标集的确定；以及如果所述UI元素相同，则经由所述计算设备，在不需要来自所述用户的任何附加动作的情况下使所述UI元素激活，并且当前选择所述UI元素以接收输入。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：阿瑟·温伯格，塞尔吉奥·马蒂，叶戈尔·真纳迪夫·伊巴诺夫，苏丽亚，穆罕默迪纳穆尔·哈桑·谢科，阿努沙·耶尔，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US