用于基于注视的导航的设备、方法和图形用户界面技术

本公开涉及用于基于注视的导航的设备、方法和图形用户界面。在一些实施方案中，电子设备根据对用户注视的检测来扩展内容项。在一些实施方案中，电子设备根据确定该用户正在阅读内容项来滚动该内容项的文本。在一些实施方案中，电子设备根据对用户头部移动的检测和对该用户注视的检测在用户界面之间导航。在一些实施方案中，电子设备根据一些实施方案根据对该用户头部移动的检测和对该用户注视的检测来显示涉及内容的一部分的增强内容。显示涉及内容的一部分的增强内容。显示涉及内容的一部分的增强内容。

【技术实现步骤摘要】
用于基于注视的导航的设备、方法和图形用户界面
[0001]本申请是申请号为202180023583.8、申请日为2021年3月15日、专利技术名称为“用于基于注视的导航的设备、方法和图形用户界面”的中国专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本申请要求于2020年3月27日提交的美国临时申请号63/001,210以及于2020年12月29日提交的美国临时申请号63/131,754的权益，这两个临时申请的内容据此全文以引用方式并入本文以用于所有目的。


[0004]本专利技术整体涉及计算机系统，该计算机系统具有呈现图形用户界面的显示生成组件和一个或多个输入设备，包括但不限于经由显示生成组件呈现实现基于注视的导航的图形用户界面的电子设备。

技术介绍

[0005]近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮)，以及其他图形)。
[0006]但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

[0007]因此，需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验，从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
[0008]所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题，这些计算机系统具有显示生成组件和一个或多个输入设备。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系
统具有触控板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手部跟踪部件。在一些实施方案中，除显示生成组件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0009]需要具有用于导航用户界面的改进方法和界面的电子设备。此类方法和界面可补充或替代用于与图形用户界面进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。
[0010]在一些实施方案中，电子设备根据对用户注视的检测来扩展内容项。在一些实施方案中，电子设备根据确定用户正在阅读内容项来滚动内容项的文本。在一些实施方案中，电子设备根据对用户头部移动的检测和对用户注视的检测在用户界面之间导航。在一些实施方案中，电子设备根据对用户头部移动的检测和对用户注视的检测来显示涉及内容的一部分的增强内容。
[0011]需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择以描绘或界定本专利技术的主题。
附图说明
[0012]为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
[0013]图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
[0014]图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
[0015]图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成组件的框图。
[0016]图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
[0017]图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
[0018]图6是示出根据一些实施方案的闪光辅助的注视跟踪管道的流程图。
[0019]图7A至图7K示出了根据一些实施方案的电子设备如何根据对用户注视的检测来提供用户界面的导航的示例。
[0020]图8A至图8G是示出根据一些实施方案的根据对用户注视的检测来扩展内容项的方法的流程图。
[0021]图9A至图9L是示出根据一些实施方案的根据确定用户正在阅读内容项来滚动内容项文本的方法的流程图。
[0022]图10A至图10G是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测在用户界面之间导航的方法的流程图。
[0023]图11A至图11J是示出根据一些实施方案的根据对用户头部移动的检测和对用户注视的检测来显示涉及内容的一部分的增强内容的方法的流程图。
具体实施方式
[0024]根据一些实施方案，本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
[0025]本文所述的系统、方法和GUI为电子设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在与显示生成组件和注视跟踪设备通信的电子设备处：经由所述显示生成组件显示用户界面，所述用户界面包括内容项的文本的第一部分和所述内容项的文本的第二部分，所述文本的第一部分显示在所述用户界面中的第一位置处，并且所述文本的第二部分显示在所述用户界面中的第二位置处；在显示所述用户界面时，经由所述注视跟踪设备确定所述用户的所述注视的运动指示所述用户正在阅读所述文本的第一部分；以及在所述用户的所述注视的所述运动指示所述用户正在阅读所述文本的第一部分时：根据确定所述用户的所述注视的所述运动指示所述用户已完成阅读所述文本的第一部分：滚动所述文本以使得所述文本的第二部分在第一方向上移动；以及根据确定所述用户的所述注视的所述运动指示所述用户未完成阅读所述文本的第一部分：将所述文本的第一部分维持在所述第一位置。2.根据权利要求1所述的方法，还包括：在显示所述用户界面时，经由所述注视跟踪设备确定所述用户的注视指向所述文本的第一部分或所述文本的第二部分，但所述用户的所述注视的所述运动指示所述用户没有正在阅读所述文本的第一部分或所述文本的第二部分；以及响应于确定所述用户的所述注视指向所述文本的第一部分或所述文本的第二部分，但所述用户的所述注视的运动指示所述用户没有正在阅读所述文本的第一部分或所述文本的第二部分，放弃滚动所述文本。3.根据权利要求1所述的方法，还包括：在显示所述用户界面时，经由所述注视跟踪设备确定所述用户的注视不再指向所述文本的第一部分；以及响应于确定所述用户的所述注视不再指向所述文本的第一部分：根据基于检测到的所述用户的注视在所述文本的第一部分之上的移动确定所述用户已扫描所述文本的第一部分而没有正在阅读所述文本的第一部分，放弃滚动所述文本；以及根据基于检测到的所述用户的注视在所述文本的第一部分之上的移动确定所述用户阅读了所述文本的第一部分，滚动所述文本以使得所述文本的第二部分在所述第一方向上移动。4.根据权利要求1所述的方法，还包括：经由所述注视跟踪设备基于检测到的所述用户的注视在所述文本的第一部分之上的移动来确定所述用户正在扫描所述文本的第一部分；以及根据确定所述用户已完成扫描所述文本的第一部分，滚动所述文本以使得所述文本的第二部分在所述第一方向上移动。5.根据权利要求1至4中任一项所述的方法，其中：滚动所述文本以使得所述文本的第二部分在所述第一方向上移动是响应于检测到所述用户已到达所述文本的第一部分的结尾并且正在朝向所述文本的第二部分的开头的方
向上移动其眼睛的。6.根据权利要求5所述的方法，其中在所述用户正在朝向所述文本的第二部分的开头的方向上移动其眼睛时，发生滚动所述文本以使得所述文本的第二部分在所述第一方向上移动。7.根据权利要求6所述的方法，其中滚动所述文本以使得所述文本的第二部分在所述第一方向上移动致使所述文本的第二部分显示在所述用户界面中的所述用户在朝所述文本的第二部分的开头的方向上移动其眼睛时所看到的位置处。8.根据权利要求1至4中任一项所述的方法，其中：所述用户界面包括在所述用户界面中的所述第一位置中的所述文本的第一部分、在所述用户界面中的所述第二位置中的所述文本的第二部分、以及在所述用户界面中的第三位置处的所述内容项的文本的第三部分，并且所述方法还包括：在所述用户的所述注视的所述运动指示所述用户正在阅读所述文本的第一部分时：根据确定所述用户的所述注视的所述运动指示所述用户已完成阅读所述文本的第一部分并且正在开始阅读所述文本的第二部分，滚动所述文本以使得所述文本的第二部分在所述第一方向上移动第一量；以及根据确定所述用户的所述注视的所述运动指示所述用户已完成阅读所述文本的第一部分并且正在开始阅读所述文本的第三部分，滚动所述文本以使得所述文本的第三部分在所述第一方向上移动大于所述第一量的第二量。9.根据权利要求1至4中任一项所述的方法，其中滚动所述文本以使得所述文本的第二部分在所述第一方向上移动致使图像显示在所述用户界面的第三区域中，所述方法还包括：在滚动所述文本以使得所述文本的第二部分在所述第一方向上移动之后：经由所述注视跟踪设备确定所述用户的注视指向所述图像；以及响应于确定所述用户的所述注视指向所述图像，在所述第一方向上滚动所述文本和所述图像以将所述图像显示所述在用户界面中的所述第一位置处。10.根据权利要求9所述的方法，还包括：在将所述图像显示在所述用户界面中的所述第一位置处时，将所述内容项的文本的第三部分显示在所述图像之下；在将所述图像显示在所述用户界面中的所述第一位置处并将所述文本的第三部分显示在所述图像之下时，确定已经满足一个或多个标准；以及响应于确定已满足所述一个或多个标准，将所述用户界面更新为移动要叠加在所述图像上的所述文本的第三部分。11.根据权利要求10所述的方法，所述方法还包括：在显示叠加在所述图像上的所述文本的第三部分时，经由所述注视跟踪设备检测所述用户的所述注视的所述运动指示所述用户正在阅读所述文本的第三部分；以及响应于确定所述用户的所述注视的所述运动指示所述用户正在阅读所述文本的第三部分，在所述第一方向上滚动所述图像以...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：苹果公司，
类型：发明
国别省市：