使用随着时间的眼睛注视评估进行选择制造技术

公开了涉及基于眼睛注视来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。在一个实施例中，可接收选择输入。可以评估在一时间窗口内的不同时间的多个眼睛注视样本。该时间窗口可以基于选择输入被检测到的时间来选择。用户界面对象可以基于多个眼睛注视样本来选择。

Use eye gaze assessment with time to choose

Embodiments of a user interface object that is based on eye gaze to display a user interface displayed on a graphical user interface are disclosed. In one embodiment, a select input can be received. Multiple eye fixations can be evaluated at different times within a time window. The time window can be selected based on the time the selected input is detected. User interface objects can be selected based on multiple eye gaze samples.

【技术实现步骤摘要】
【国外来华专利技术】背景眼睛注视跟踪可以被用作与图形用户界面交互的一种机制。例如，被确定为与图形用户界面相交的注视位置可被用作图形用户界面的定位信号，类似于由计算机鼠标或类似物控制的传统光标所提供的。概述公开了涉及基于眼睛注视检测来对在图形用户界面上显示的用户界面对象进行选择的各个实施例。例如，一个公开的实施例提供了一种方法，该方法包括：在计算设备上接收选择输入，并且响应于该选择输入来评估在一时间窗口内的不同时间的多个眼睛注视样本，其中该时间窗口可基于选择输入被检测到的时间来选择。该方法进一步包括基于多个眼睛注视样本来选择用户界面对象。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。附图简述图1示出根据本公开的一实施例的头戴式显示设备的示例。图2-3示出了根据本公开的各实施例的示例眼睛注视样本评估的图形描绘。图4-6示出了根据本公开的一实施例的基于眼睛注视评估可以在图形用户界面上呈现的反馈的示例。图7A-7B示出了根据本公开的一实施例的用于基于眼睛注视评估选择在图形用户界面上显示的用户界面对象的示例方法。图8示意性地示出根据本公开的一实施例的计算系统的示例。详细描述用于使用眼睛注视跟踪来选择用户界面对象的一些办法可基于在接收到选择输入(例如，按钮致动、身体部位姿势等)的时间的眼睛注视位置来确定要选择的图形用户界面对象。然而，这种办法可能导致对要选择哪个图形用户界面对象的不准确判断。例如，当在用户界面(UI)对象之间快速移动时，诸如当使用眼睛注视跟踪来在虚拟键盘上打字时，用户可能在用户的眼睛注视已经稳定在预期UI对象位置处之前执行选择输入。同样地，用户的眼睛注视可稳定于预期UI对象并且接着在执行选择输入之前被移开。因而，基于执行选择输入时注视的位置来选择用户界面对象可能导致用户界面行为不匹配用户意图。系统等待时间也可能对此类不确定性作出贡献。例如，与确定眼睛注视位置相比，可能花费更长的时间量来处理对选择输入的接收，或者相反。由此，在眼睛注视检测与选择检测之间可能产生独立于任何用户行为的滞后。相应地，本文公开了涉及通过评估多个眼睛注视样本来控制对图形用户界面对象的选择的各实施例。例如，在一些实施例中，眼睛注视定位测量可以被周期性地采样并且被存储达一时间量。在接收到被配置成选择UI对象的输入之际，一时间窗口内的多个眼睛注视样本可以被评估以确定用户期望选择哪个UI对象。通过评估在检测到选择输入时间附近的多个眼睛注视样本，在确定预期UI对象时与只考虑单个样本相比可以将更多输入纳入考虑。这可以有助于即便在预期眼睛注视位置不与选择输入同步的情况下确定预期UI元素。本文所描述的各实施例可以与任何合适的注视跟踪系统联用。例如，在一些实施例中，眼睛注视跟踪可被用于控制在头戴式显示(HMD)设备上显示的图形用户界面。图1示出具有透明显示器102的一副可佩戴眼镜形式的HMD设备100的非限制性示例。将明白，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在查看者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其它合适的眼睛跟踪系统联用，包括但不限于，用于移动计算设备、膝上型计算机、台式计算机、平板计算机、其它可穿戴计算机等的眼睛跟踪系统。HMD设备100包括透视显示器102和控制器104。透视显示器102可以使得图像(诸如全息对象)被递送到HMD设备佩戴者的眼睛。透视显示器102可被配置成向通过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可以由经由透明显示器102来呈现以创建混合现实环境的图形内容来增强。在一个示例中，该显示器可被配置成在图形用户界面上显示一个或多个UI对象。在一些实施例中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境前方的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的UI对象可以纳入通过透明显示器102被看到的现实世界环境的现实世界对象的元素。在任一情形中，UI对象可以经由眼睛注视跟踪来选择。任何合适的机制可被用于经由透明显示器102来显示图像。例如，透明显示器102可包括位于透镜106内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器102可包括位于HMD设备100框架内的光调制器。在这一示例中，透镜106可以担当用于将光从光调制器递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知位于物理环境内的佩戴者正在查看的3D全息图像，同时还允许佩戴者查看物理环境中的物理对象，由此创建混合现实环境。HMD设备100还可包括用于向控制器104提供信息的各种传感器和相关系统。此类传感器可包括但不限于，一个或多个面向内的图像传感器108、一个或多个面向外的图像传感器110、以及惯性测量单元(IMU)112。一个或多个面向内的图像传感器108可被配置成获取来自佩戴者眼睛的注视跟踪数据形式的图像数据。HMD设备可被配置成基于接收自图像传感器108的信息用任何合适的方式来确定佩戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源114(诸如红外光源)被配置成使得从佩戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器108然后可被配置成捕捉佩戴者眼睛的图像。如从收集自图像传感器108的图像数据确定的闪烁和瞳孔的图像可被控制器104用于确定每一只眼睛的光轴。使用这一信息，控制器104可被配置成确定佩戴者的注视方向。控制器104可被配置成附加地或替换地确定佩戴者注视什么物理或虚拟对象。一个或多个面向外的图像传感器110可被配置成接收来自HMD设备100位于的物理环境的物理环境数据。例如，面向外的传感器110可被配置成检测显示器102视野内的移动，诸如视野内的佩戴者或人或物理对象所执行的基于姿势的输入或其他移动。在一个示例中，面向外的传感器110可以检测由HMD设备的佩戴者执行的指示对在显示设备上显示的UI对象的选择的选择输入，诸如姿势(例如，捏合手指、闭紧拳头等)。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。控制器104可被配置成使用此类环境信息来确定方向/位置和取向数据，该方向/位置和取向数据实现HMD设备100在现实世界环境中的定位/运动跟踪。IMU112可被配置成将HMD设备100的定位和/或取向数据提供给控制器104。在一个实施例中，IMU112可被配置为三轴或三自由度定位传感器系统。这一示例定位传感器系统可以例如包括用于指示或测量HMD设备100在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的定向变化的三个陀螺仪。从IMU的传感器信号导出的取向可被用于经由透视显示器用三自由度来显示一个或多个虚拟UI对象。在另一示例中，IMU112可被配置为六轴或六自由度定位传感器系统。这一配置可以包括三个加速度计和三个陀螺仪以指示或测量HMD设备100沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自图像传感器1本文档来自技高网...

【技术保护点】
一种在计算设备上用于基于眼睛注视来选择在图形用户界面上显示的用户界面对象的方法，所述方法包括：接收选择输入；评估在基于检测到所述选择输入的时间所选择的一时间窗口内的不同时间获取的多个眼睛注视样本；基于所述多个眼睛注视样本来选择用户界面对象；以及输出对所述用户界面对象的选择的反馈。

【技术特征摘要】
【国外来华专利技术】2014.03.20 US 14/221,1471.一种在计算设备上用于基于眼睛注视来选择在图形用户界面上显示的用户界面对象的方法，所述方法包括：接收选择输入；评估在基于检测到所述选择输入的时间所选择的一时间窗口内的不同时间获取的多个眼睛注视样本；基于所述多个眼睛注视样本来选择用户界面对象；以及输出对所述用户界面对象的选择的反馈。2.如权利要求1所述的方法，其特征在于，所述用户界面对象根据选择规则基于具有最高权重来被选择。3.如权利要求1所述的方法，其特征在于，所述时间窗口包括在接收到所述选择输入的时间之前和之后取得的眼睛注视样本。4.如权利要求1所述的方法，其特征在于，进一步包括：将所述时间窗口的中心设置为在所述选择输入的检测之前的时间。5.如权利要求1所述的方法，其特征在于，进一步包括：相比于稳定性度量来评估所述多个眼睛注视样本，并且不将不满足所述稳定性度量的任何眼睛注视样本包括在所述多个眼睛注视样本的评估中。6.如权利要求1所述的方法，其特征在于，进一步包括：响应于选择所述用户界面对象，在所述图形用户界面上提供对所述用户界面对象的选择的视觉反馈。7.如权利要求1所述的方法，其特征在于，所述时间窗口是第一时间窗口，并且所述方法进一步包括：在...

【专利技术属性】
技术研发人员：S·雷姆斯比，T·安布鲁斯，M·斯卡维泽，A·L·李，B·芒特，I·D·麦金帝雷，A·M·伯恩斯，R·麦克麦金，K·E·多兰，G·施奈德，Q·S·C·米勒，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US