使用眼睛注视检测的智能用户界面元素选择制造技术

本文所公开的系统和方法涉及使用眼睛注视技术的智能UI元素选择系统。在一些示例方面，UI元素选择区域可以被确定。选择区域可以被定义为围绕UI元素的边界的区域。注视输入可以被接收，并且可以注视输入可以与选择区域比较以确定用户的意图。注视输入可以包括一个或多个注视位置。每个注视位置根据其与UI元素的接近度和/或其与UI元素的选择区域的关系而可以被分配一个值。每个UI元素可以被分配一个阈值。如果注视输入的聚合值等于或大于UI元素的阈值，则UI元素可以被选择。

Intelligent user interface element selection using eye gaze detection

【技术实现步骤摘要】
【国外来华专利技术】使用眼睛注视检测的智能用户界面元素选择
技术介绍
眼睛注视或眼睛追踪是使用由用户的一只或多只眼睛所控制的输入设备(例如，鼠标)来访问电子设备或通信辅助的方式。眼睛注视交互技术可以使得用户无需使用手和手指键入即可与电子设备进行通信和交互。例如，患有某些运动障碍的用户可以能够利用眼睛注视技术进行通信。当前，用于注视通信的主要技术是眼睛键入。为了眼睛键入，用户查看屏幕(或虚拟)键盘上的字母。如果用户的注视在设定的时间段内保持固定在同一字母上(停留超时)，则系统会识别出用户对该字母的选择。不幸的是，即使最好的眼睛键入系统也相对较慢，其中报告的输入速度范围为每分钟7至20个单词，稳定水平约为每分钟23个单词。这样的基于停留的眼睛键入技术可能导致不令人满意的延迟和/或用户疲劳。此外，当前的眼睛键入技术经常要求用户与UI元素进行洁净交互，以便发起对对象的动作。与UI元素的洁净交互可以被定义为在其视觉定义的边界内(例如，虚拟键盘上的键的矩形或其他形状的轮廓)选择UI元素。使用传统的输入设备来选择图形用户界面元素似乎很自然，即光标可以被放置在对象上(例如，使用诸如鼠标的输入设备或经由键盘上的箭头键进行切换)，并且用户可以发起对对象的动作(例如，鼠标点击或选择键盘上的回车键)。然而，使用眼睛注视输入来与UI元素进行交互可能很困难，因为眼睛注视输入与各种处理挑战(诸如消除类似噪声的眼动抖动)相关联。注视抖动降低了基于当前眼睛注视技术的UI元素选择的指向精度。例如，用户可能期望选择某个UI元素，但是由于眼睛注视抖动，与眼睛注视相关的注视位置可能在UI元素上或仅在其边界之外被确定。在这种情况下，当前系统将无法识别用户对UI元素的选择，因为用户没有“洁净”地选择UI元素。而且，当前的眼睛注视系统没有试图理解界外和/或不洁净的注视位置(例如，UI元素的矩形边界之外的注视位置)。而是，当前系统仅限于二进制选择，包括：(1)如果注视位置洁净地在UI元素的边界内，则识别对UI元素的选择；(2)如果注视位置不在UI元素的边界内(无论注视位置与UI元素边界有多近)，不识别对UI元素的选择。由于打算选择UI元素的某些注视位置被忽略，因此这会导致不良的用户体验和延长的工作时间段。关于这些和其他一般考虑，已经描述了示例方面、系统和方法。另外，尽管已经讨论了相对具体的问题，但是应当理解，示例不应当限于解决
技术介绍
中所标识的具体问题。
技术实现思路
本文描述和要求保护的实现通过提供使用眼睛注视的智能用户界面元素选择系统来解决前述问题。在一些示例方面，一系列记录的注视位置可以由眼动仪系统记录。一系列注视位置可以被聚合和分析，并且确定可以被绘制为是否应当对某个UI元素发起动作。例如，在相似时间段内所接收到的一些注视位置可能恰好出现在某个UI元素的矩形边界之外，而一些注视位置可能恰好出现在某个UI元素的矩形边界之内。一并考虑，恰好在UI元素外部和恰好在UI元素内部的记录的注视位置可以使智能UI选择系统识别出对该UI元素的选择。在其他示例方面，智能UI选择系统可以向用户呈现视觉队列(例如，可见选择边界)，以用于帮助选择期望的UI元素。在其他方面，选择边界对于用户可以是不可见的。UI元素的选择边界可以大于UI元素的实际预定义边界。例如，一些UI元素的选择边界可以与其他UI元素的选择边界重叠。在各方面中，一些UI元素可以具有超过UI元素的预定义边界的选择边界，而其他UI元素可以具有与预定义边界匹配的选择边界。系统可以记录一系列的注视位置，以确定是否对UI元素发起动作。例如，一系列的注视位置可以包括两个注视位置，其落在UI元素的选择边界内，但是也落在与另一UI元素的选择边界重叠的区域内。但是，一系列注视位置也可以包括洁净地(例如，排他性地)落在UI元素的选择边界内的注视位置。因此，即使一系列注视位置中的一些注视位置没有完全洁净地落入UI元素的选择边界内，智能UI选择系统也可以识别出UI元素的选择并且发起与UI元素相对应的动作。选择边界是不可见的还是可见的可以被预先编程或可以由用户手动调整。在其他示例方面，智能UI选择系统可以将某些分值(或权重)分配给UI元素周围或内部的某些位置，而不是使用选择边界。例如，本文所公开的系统可以利用动态得分算法来确定是否激活某个UI元素。在各方面中，UI元素的中心分配可以被配10分；UI元素的角可以被分配5分；并且恰好在UI元素的预定义边界之外的区域可以被分配3分。为了使系统识别选择并且发起与UI元素相对应的动作，聚合分的最小阈值得分可以被设置。系统可以接收一系列的注视位置，标识与每个注视位置相关联的得分(或分值)，并且针对该一系列的注视位置来聚合得分(或分值)。如果所聚合的得分超过定义的阈值得分，则UI元素可以被选择；否则，如果总和不超过定义的阈值得分，则UI元素可以不被选择。得分区域可以包括UI元素边界周围或之内的任何形状，包括但不限于环形、正方形、矩形、椭圆形或形状的组合。在其他示例方面，得分区域可以通过预测分析和/或机器学习算法来驱动，该预测分析和/或机器学习算法将分值动态地分配给某些UI元素之内和周围的某些区域。例如，选择字母“Q”的用户可能发现后续字母“u”的阈值得分低于后续字母“z”的阈值得分，因为预测分析和/或机器学习算法可以识别到字母“u”通常跟随字母“q”，但是字母“z”通常不跟随字母“q”。在其他示例方面，机器学习算法可以基于用户的历史注视键入模式来动态建立较大或较小的界外区域。界外区域可以包括仅在UI元素的预定义边界之外的区域。在各方面中，界外区域可以是指沿着UI元素的预定义边界延伸但在其之外的缓冲区域。在一些示例方面，系统可以为在历史上可能难以选择退格按钮的用户创建较大的界外区域以用于退格按钮。类似地，系统可以为历史上在其预定义边界内定位并且选择空格键按钮的用户创建较小的界外区域以用于空格键按钮。在另外的示例方面，预测分析和/或机器学习算法可以由以下驱动：统计模型、上下文信息、历史眼睛注视模式、第三方数据库以及与确定某个UI元素是否应当被执行动作相关的其他信息。本文公开了一种处理器实现的方法，该方法用于提供使用眼睛注视的智能用户界面元素选择。一方面，提供了一种处理器实现的方法，该方法用于提供使用眼睛注视的智能用户界面元素选择。该方法包括确定用户界面的至少一个区域，其中该至少一个区域包括至少一个UI元素，以及接收注视输入，其中该注视输入与用户界面内的至少一个注视位置相关联。该方法还包括将至少一个注视位置与至少一个区域进行比较，并且基于至少一个注视位置与至少一个区域的比较，为至少一个注视位置分配至少一个值。附加地，该方法包括将至少一个值与阈值进行比较，该阈值与至少一个区域相关联，并且基于至少一个值与阈值的比较来确定至少一个动作响应。在另一方面，一种计算设备，包括至少一个处理单元和至少一个存储器，该至少一个存储器存储处理器可执行指令，该处理器可执行指令在由至少一个处理单元执行时使计算设备执行步骤。该步骤包括确定用户界面的至少一个区域，其中该至少一个区域包括至少一个UI元素；以及接收注视输入，其中该注视输入与用本文档来自技高网...

【技术保护点】
1.一种用于提供使用眼睛注视的用户界面元素选择的处理器实现的方法，所述方法包括：/n确定用户界面内的至少一个选择区域，其中所述至少一个选择区域包括至少一个UI元素；/n接收注视输入，其中所述注视输入与所述用户界面内的至少一个注视位置相关联；/n将所述至少一个注视位置与所述至少一个选择区域进行比较；/n基于所述至少一个注视位置与所述至少一个选择区域的所述比较来将至少一个值分配给所述至少一个注视位置；/n将所述至少一个值与阈值进行比较，所述阈值与所述至少一个UI元素相关联；以及/n基于所述至少一个值与所述阈值的所述比较来确定至少一个动作响应。/n

【技术特征摘要】
【国外来华专利技术】20170726 US 62/537,434;20171213 US 15/840,0981.一种用于提供使用眼睛注视的用户界面元素选择的处理器实现的方法，所述方法包括：
确定用户界面内的至少一个选择区域，其中所述至少一个选择区域包括至少一个UI元素；
接收注视输入，其中所述注视输入与所述用户界面内的至少一个注视位置相关联；
将所述至少一个注视位置与所述至少一个选择区域进行比较；
基于所述至少一个注视位置与所述至少一个选择区域的所述比较来将至少一个值分配给所述至少一个注视位置；
将所述至少一个值与阈值进行比较，所述阈值与所述至少一个UI元素相关联；以及
基于所述至少一个值与所述阈值的所述比较来确定至少一个动作响应。


2.根据权利要求1所述的处理器实现的方法，进一步包括：
执行所述动作响应。


3.根据权利要求1所述的处理器实现的方法，进一步包括：
利用以下中的一项或多项来更新至少一个数据库：所述至少一个选择区域、所述至少一个注视位置、所述至少一个值、所述阈值以及所述至少一个动作响应。


4.根据权利要求1所述的处理器实现的方法，其中所述至少一个值与所述至少一个注视位置和所述至少一个选择区域的接近度相关联。


5.根据权利要求1所述的处理器实现的方法，其中所述阈值与所述UI元素被预期选择的概率相关联。


6.根据权利要求5所述的处理器实现的方法，其中所述概率是至少部分地基于历史数据的统计概率。


7.根据权利要求1所述的处理器实现的方法，其中所述至少一个选择区域与所述至少一个U...

【专利技术属性】
技术研发人员：N·拉古纳特，A·B·霍奇斯，苏飞，A·卡扎，P·J·安塞尔，J·T·坎贝尔，H·S·库尔卡尼，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US