当前位置: 首页 > 专利查询>苹果公司专利>正文

用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法技术

技术编号:38032142 阅读:10 留言:0更新日期:2023-06-30 10:58
在一些实施方案中,电子设备增强了与三维环境中的虚拟对象的交互。在一些实施方案中,电子设备增强了与可选择用户界面元素的交互。在一些实施方案中,电子设备增强了与滑块用户界面元素的交互。在一些实施方案中,电子设备移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作。拟对象相关联的动作。拟对象相关联的动作。

【技术实现步骤摘要】
【国外来华专利技术】用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
[0001]相关申请的交叉引用
[0002]本申请要求2020年9月25日提交的美国临时申请63/083,802号以及2021年9月23日提交的美国临时申请63/261,555号的权益,这两个临时申请的内容全文以引用方式并入本文以用于所有目的。


[0003]本专利技术整体涉及计算机系统,该计算机系统具有呈现图形用户界面的显示生成部件和一个或多个输入设备,包括但不限于经由显示生成部件呈现包括虚拟对象的三维环境的电子设备。

技术介绍

[0004]近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮),以及其他图形)。
[0005]但用于与包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。/>
技术实现思路

[0006]因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
[0007]所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题,这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触控板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,
计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0008]需要具有用于导航用户界面和与这些用户界面交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的对象交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。
[0009]在一些实施方案中,电子设备增强了与可选用户界面元素的交互。在一些实施方案中,电子设备增强了与滑块用户界面元素的交互。在一些实施方案中,电子设备移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作。
[0010]需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本专利技术的主题。
附图说明
[0011]为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
[0012]图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
[0013]图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
[0014]图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
[0015]图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
[0016]图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
[0017]图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
[0018]图7A至图7D示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
[0019]图8A至图8M是示出根据一些实施方案的增强与可选用户界面元素的交互的方法的流程图。
[0020]图9A至图9E示出了根据一些实施方案的电子设备如何增强与滑块用户界面元素的交互的示例。
[0021]图10A至图10J是示出根据一些实施方案的增强与滑块用户界面元素的交互的方法的流程图。
[0022]图11A至图11D示出了根据一些实施方案的电子设备如何移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的示例。
[0023]图12A至图12O是示出根据一些实施方案的移动三维环境中的虚拟对象并且促进访问与虚拟对象相关联的动作的方法的流程图。
[0024]图13A至图13F示出了根据一些实施方案的电子设备如何增强与可选用户界面元素的交互的示例。
[0025]图14A至图14L是示出根据一些实施方案的增强与可选用户界面元素的交互的方法的流程图。
具体实施方式
[0026]根据一些实施方案,本公开涉及用于向用户提供计算机生成的现实(CGR)体验的用户界面。
[0027]本文所述的系统、方法和G本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法,包括:在与显示生成部件和一个或多个输入设备通信的电子设备处:经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面;当显示具有所述第一外观的所述相应用户界面元素时,经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述设备的所述用户的注意力指向所述相应用户界面元素;响应于检测到所述设备的所述用户的所述注意力指向所述相应用户界面元素,根据确定满足一个或多个第一标准,更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分分开以具有不同于所述第一外观的第二外观;在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入;以及响应于检测到指向所述相应用户界面元素的所述第二用户输入:根据确定所述第二用户输入满足一个或多个第二标准,执行与所述相应用户界面元素相关联的选择操作,并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素;以及根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素,放弃执行与所述相应用户界面元素相关联的所述选择操作,不减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量。2.根据权利要求1所述的方法,还包括:在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测所述设备的所述用户的所述注意力不指向所述相应用户界面元素;以及响应于检测到所述设备的所述用户的所述注意力不指向所述相应用户界面元素,通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素。3.根据权利要求1至2中任一项所述的方法,其中所述第二用户输入满足所述一个或多个第二标准,所述方法还包括:在检测到所述第二用户输入指向所述相应用户界面元素时并且在所述第二用户输入满足所述一个或多个第二标准之前,根据所述第二用户输入朝向满足所述一个或多个第二标准的进展,通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素。4.根据权利要求1至3中任一项所述的方法,其中基于所述用户的所述物理特征的所述姿势检测所述设备的所述用户的所述注意力指向所述相应用户界面元素包括经由与所述电子设备通信的眼睛跟踪设备检测所述用户的注视指向所述相应用户界面元素。5.根据权利要求1至4中任一项所述的方法,其中基于所述用户的所述物理特征的所述姿势检测所述设备的所述用户的所述注意力指向所述相应用户界面元素包括经由与所述
电子设备通信的眼睛跟踪设备和手部跟踪设备检测所述用户的注视指向所述相应用户界面元素并且所述用户的手处于预先确定的姿势。6.根据权利要求1至5中任一项所述的方法,其中基于所述用户的所述物理特征的所述姿势检测对应于所述相应用户界面元素的所述激活的所述第二用户输入包括经由与所述电子设备通信的手部跟踪设备检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处。7.根据权利要求1至6中任一项所述的方法,其中基于所述用户的所述物理特征的所述姿势检测对应于所述相应用户界面元素的所述激活的所述第二用户输入包括经由与所述电子设备通信的眼睛跟踪设备和手部跟踪设备检测在所述电子设备的所述用户的注视指向所述相应用户界面元素时所述电子设备的所述用户的手执行相应手势。8.根据权利要求1至7中任一项所述的方法,其中:在检测所述第二用户输入指向所述相应用户界面元素之前,以具有第一值的相应视觉特性显示所述相应用户界面元素,同时所述相应用户界面元素在视觉上与所述用户界面的所述部分分开,并且执行与所述相应用户界面元素相关联的所述选择操作包括以具有不同于所述第一值的第二值的所述相应视觉特性显示所述相应用户界面元素,同时减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量。9.根据权利要求1至8中任一项所述的方法,其中在所述第二用户输入包括所述电子设备的所述用户的注视指向所述相应用户界面元素达长于时间阈值时,所述第二用户输入满足所述一个或多个第二标准。10.根据权利要求1至9中任一项所述的方法,还包括:在所述相应用户界面元素具有所述第二外观时,经由与所述电子设备通信的手部跟踪设备检测所述电子设备的所述用户的手处于与用于与所述相应用户界面元素交互的位置对应的相应位置处;以及响应于检测到所述电子设备的所述用户的所述手处于所述相应位置处,更新所述相应用户界面元素以进一步在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分分开。11.根据权利要求1至10中任一项所述的方法,其中:具有所述第二外观的所述相应用户界面元素与所述用户界面中的第一分级级别相关联,并且所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分与不同于所述第一分级级别的第二分级级别相关联。12.根据权利要求1至11中任一项所述的方法,其中:检测所述第二用户输入包括经由与所述电子设备通信的手部跟踪设备检测来自所述电子设备的所述用户的手部输入,所述手部输入与所述相应用户界面元素朝向所述用户界面的所述部分的往回移动对应,所述方法还包括:响应于检测到所述第二用户输入,更新所述相应用户界面元素以减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量,其中当所述手部输入对应于所述相应用户界面元素到距所述用户界面的所述部分的阈值距离内的移动时,所述第二用户输入满足所述一个或多个第二标准。13.根据权利要求12所述的方法,还包括:
在所述第二用户输入满足所述一个或多个第二标准之后并且当所述相应用户界面元素在距所述用户界面的所述部分的所述阈值距离内时,经由所述手部跟踪设备检测来自所述电子设备的所述用户的进一步手部输入,所述进一步手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分的往回移动;以及响应于检测到所述进一步手部输入,根据所述进一步手部输入移动所述相应用户界面元素和所述用户界面的所述部分。14.根据权利要求12至13中任一项所述的方法,还包括:响应于检测到所述第二用户输入:根据确定所述手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分小于阈值移动量的往回移动,根据所述手部输入将所述相应用户界面元素朝向所述用户界面的所述部分往回移动而不移动所述用户界面的所述部分,以减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量;以及根据确定所述手部输入对应于所述相应用户界面元素朝向所述用户界面的所述部分大于所述阈值移动量的往回移动,根据所述手部移动来移动所述相应用户界面元素并且移动所述用户界面的所述部分。15.根据权利要求1至14中任一项所述的方法,其中通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素包括根据所述第二用户输入的移动分量用惯性移动所述相应用户界面元素和所述用户界面的所述部分,所述方法还包括:检测指向所述相应用户界面元素的所述第二用户输入的终止;以及响应于检测到指向所述相应用户界面元素的所述第二用户输入的所述终止,在与所述相应用户界面元素和所述用户界面的所述部分响应于所述第二用户输入的所述移动相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。16.根据权利要求15所述的方法,其中检测所述第二用户输入包括检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处,所述方法还包括:当所述相应用户界面元素具有所述第二外观时,经由与所述电子设备通信的手部跟踪设备检测到相应输入,所述相应输入包括在所述用户的所述手处于不对应于所述相应用户界面元素的位置处时由所述用户的所述手执行的相应手势;响应于检测到所述相应输入:根据基于当所述用户的所述手处于不对应于所述相应用户界面元素的位置处时由所述用户的所述手执行的所述相应手势确定所述相应输入满足一个或多个第三标准,通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素,包括用惯性移动所述相应用户界面元素和所述用户界面的所述部分;检测所述相应输入的终止;以及响应于检测到所述相应输入的所述终止,在与所述相应用户界面元素和所述用户界面的所述部分响应于所述相应输入的所述移动相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。17.根据权利要求15至16中任一项所述的方法,其中检测所述第二用户输入包括检测所述电子设备的所述用户的手的一部分处于与所述相应用户界面元素对应的位置处,该方
法还包括:当所述相应用户界面元素具有所述第二外观时,经由与所述电子设备通信的眼睛跟踪设备检测包括所述用户的注视指向所述相应用户界面元素的相应输入;响应于检测到所述相应输入:根据基于所述用户的所述注视指向所述相应用户界面元素确定所述相应输入满足一个或多个第三标准,通过减少所述相应用户界面元素与所述用户界面的所述部分之间的所述间距量来更新所述相应用户界面元素,包括用惯性移动所述相应用户界面元素和所述用户界面的所述部分;检测所述相应输入的终止;以及响应于检测到所述相应输入的所述终止,在与所述相应用户界面元素和所述用户界面的所述部分响应于所述相应输入的所述移动相反的方向上移动所述相应用户界面元素和所述用户界面的所述部分。18.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面;当显示具有所述第一外观的所述相应用户界面元素时,经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述设备的所述用户的注意力指向所述相应用户界面元素;响应于检测到所述设备的所述用户的所述注意力指向所述相应用户界面元素,根据确定满足一个或多个第一标准,更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分分开以具有不同于所述第一外观的第二外观;在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入;以及响应于检测到指向所述相应用户界面元素的所述第二用户输入:根据确定所述第二用户输入满足一个或多个第二标准,执行与所述相应用户界面元素相关联的选择操作,并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素;以及根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素,放弃执行与所述相应用户界面元素相关联的所述选择操作,不减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量。19.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面;
当显示具有所述第一外观的所述相应用户界面元素时,经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述设备的所述用户的注意力指向所述相应用户界面元素;响应于检测到所述设备的所述用户的所述注意力指向所述相应用户界面元素,根据确定满足一个或多个第一标准,更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分分开以具有不同于所述第一外观的第二外观;在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入;以及响应于检测到指向所述相应用户界面元素的所述第二用户输入:根据确定所述第二用户输入满足一个或多个第二标准,执行与所述相应用户界面元素相关联的选择操作,并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素;以及根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素,放弃执行与所述相应用户界面元素相关联的所述选择操作,不减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量。20.一种电子设备,包括:一个或多个处理器;存储器;用于执行以下操作的装置:经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面;用于执行以下操作的装置:当显示具有所述第一外观的所述相应用户界面元素时,经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述设备的所述用户的注意力指向所述相应用户界面元素;用于执行以下操作的装置:响应于检测到所述设备的所述用户的所述注意力指向所述相应用户界面元素,根据确定满足一个或多个第一标准,更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分分开以具有不同于所述第一外观的第二外观;用于执行以下操作的装置:在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入;以及用于执行以下操作的装置:响应于检测到指向所述相应用户界面元素的所述第二用户输入:根据确定所述第二用户输入满足一个或多个第二标准,执行与所述相应用户界面元素相关联的选择操作,并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素;以及
根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素,放弃执行与所述相应用户界面元素相关联的所述选择操作,不减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量。21.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:用于执行以下操作的装置:经由所述显示生成部件显示包括具有第一外观的相应用户界面元素的用户界面;用于执行以下操作的装置:当显示具有所述第一外观的所述相应用户界面元素时,经由所述一个或多个输入设备基于用户的物理特征的姿势检测所述设备的所述用户的注意力指向所述相应用户界面元素;用于执行以下操作的装置:响应于检测到所述设备的所述用户的所述注意力指向所述相应用户界面元素,根据确定满足一个或多个第一标准,更新所述相应用户界面元素以在视觉上将所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有预先确定的空间关系的部分分开以具有不同于所述第一外观的第二外观;用于执行以下操作的装置:在所述相应用户界面元素具有所述第二外观时,经由所述一个或多个输入设备基于所述用户的物理特征的姿势检测对应于所述相应用户界面元素的激活的第二用户输入;以及用于执行以下操作的装置:响应于检测到指向所述相应用户界面元素的所述第二用户输入:根据确定所述第二用户输入满足一个或多个第二标准,执行与所述相应用户界面元素相关联的选择操作,并且通过减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量来更新所述相应用户界面元素;以及根据确定所述第二用户输入不满足所述一个或多个第二标准同时所述用户的所述注意力仍然被确定为指向所述相应用户界面元素,放弃执行与所述相应用户界面元素相关联的所述选择操作,不减少所述相应用户界面元素和所述用户界面的与所述相应用户界面元素具有所述预先确定的空间关系的所述部分之间的间距量。22.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至17所述的方法中的任一种方法的指令。23.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至17所述的方法中的任一种方法。24.一种电子设备,包括:一个或多个处理器;存储器;以及
用于执行根据权利要求1至17所述的方法中的任一种方法的装置。25.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:用于执行根据权利要求1至17所述的方法中的任一种方法的装置。26.一种方法,包括:在与显示生成部件和眼睛跟踪设备通信的电子设备处:经由所述显示生成部件显示滑块用户界面元素;当显示所述滑块用户界面元素时,经由所述眼睛跟踪设备检测用户的注视指向所述滑块用户界面元素;响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上基于所述用户的所述注视的方向而确定的位置处以第一外观显示输入点的表示;以及在以所述第一外观显示所述输入点的所述表示之后:根据确定所述用户的所述注视满足一个或多个第一标准,将所述滑块用户界面元素的当前输入状态设置为与所述输入点的所述表示对应的相应输入状态,所述一个或多个第一标准包括当所述用户的所述注视指向所述输入点的所述表示达长于时间阈值时被满足的标准。27.根据权利要求26所述的方法,还包括:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上的不同位置处显示包括所述输入点的所述表示的多个输入点表示;当显示包括所述多个输入点表示的所述滑块用户界面元素时,经由与所述电子设备通信的手部跟踪设备检测用户输入,所述用户输入包括由所述用户的手执行的相应手势;以及响应于检测到所述用户输入,将所述滑块用户界面元素的所述当前输入状态设置为与所述多个输入点表示中的一个输入点表示对应的第二相应输入状态。28.根据权利要求26至27中任一项所述的方法,还包括:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上的不同位置处显示包括所述输入点的所述表示的多个输入点表示;当显示包括所述多个输入点表示的所述滑块用户界面元素时,经由与所述电子设备通信的手部跟踪设备检测用户输入,所述用户输入包括由所述用户的手执行的相应手势,随后是在维持所述相应手势时所述用户的所述手的移动,其中所述手的所述移动的量值对应于所述滑块用户界面元素上不与所述多个输入点表示中的一个输入点表示对应的相应位置;以及响应于检测到所述用户输入,将所述滑块用户界面元素的所述当前输入状态设置为与所述滑块用户界面元素上的所述相应位置对应的第二相应输入状态。29.根据权利要求28所述的方法,还包括:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上显示控制元素,所述控制元素指示所述滑块用户界面元素上
与所述用户的所述手的预定义部分的当前位置对应的位置;以及当检测到在维持所述相应手势时所述用户的所述手的所述移动时,根据所述用户的所述手的所述移动来移动所述滑块用户界面元素上的所述控制元素。30.根据权利要求26至29中任一项所述的方法,还包括:在以所述第一外观显示所述输入点的所述表示之后,并且当所述用户的所述注视指向所述输入点的所述表示时,但是在所述用户的所述注视指向所述输入点的所述表示达长于所述时间阈值之前,经由与所述电子设备通信的手部跟踪设备检测由所述用户的手执行的相应手势;以及响应于检测到所述相应手势,将所述滑块用户界面元素的所述当前输入状态设置为与所述输入点的所述表示对应的所述相应输入状态。31.根据权利要求26至30中任一项所述的方法,其中所述滑块用户界面元素包括指示所述滑块用户界面元素的所述当前输入状态的当前状态指示符,所述方法还包括:在以所述第一外观显示所述输入点的所述表示之后:根据所述确定所述用户的所述注视满足所述一个或多个第一标准,将所述当前状态指示符移动到所述滑块元素上与所述输入点的所述表示对应的所述位置;根据确定所述用户的所述注视不满足所述一个或多个第一标准,并且当所述用户的所述注视指向所述输入点的所述表示时检测到所述用户的手的相应手势,将所述当前状态指示符移动到所述滑块元素上与所述输入点的所述表示对应的所述位置;以及根据确定检测到所述用户的所述手的所述相应手势以及随后是在维持所述相应手势时所述用户的所述手的移动,其中所述用户的所述手的所述移动的量值对应于所述滑块元素上与所述输入点的所述表示对应的所述位置,根据所述用户的所述手的所述移动将所述当前状态指示符移动到所述滑块元素上与所述输入点的所述表示对应的所述位置。32.根据权利要求26至31中任一项所述的方法,还包括:当以所述第一外观显示所述输入点的所述表示时,经由所述眼睛跟踪设备检测所述用户的所述注视指向所述滑块用户界面元素上的第二位置处的第二输入点的第二表示;以及响应于检测到所述用户的所述注视指向所述输入点的所述第二表示,在所述滑块用户界面元素上的所述第二位置处以所述第一外观显示所述第二输入点的所述第二表示。33.根据权利要求26至32中任一项所述的方法,还包括:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上显示控制元素,所述控制元素指示所述滑块用户界面元素上与所述用户的所述手的预定义部分的当前位置对应的位置;以及当检测到所述用户的所述手的所述预定义部分的移动时,根据所述用户的所述手的所述预定义部分的所述移动来移动所述滑块用户界面元素上的所述控制元素。34.根据权利要求26至33中任一项所述的方法,其中在检测到所述用户的所述注视指向所述滑块用户界面元素之前,所述输入点的所述表示未被显示在所述滑块用户界面元素上。35.根据权利要求26至34中任一项所述的方法,还包括:当显示包括所述输入点的所述表示的所述滑块用户界面元素时,经由与所述电子设备通信的手部跟踪设备检测用户输入,所述用户输入包括由所述用户的手执行的相应手势,
随后是在维持所述相应手势时所述用户的所述手的移动;当检测到所述用户输入时,停止在所述滑块用户界面元素上显示所述输入点的所述表示;以及响应于检测到所述用户输入,根据所述用户的所述手的所述移动将所述滑块用户界面元素的所述当前输入状态设置为第二相应输入状态。36.根据权利要求26至35中任一项所述的方法,还包括:经由所述手部跟踪设备检测所述用户的手的移动;以及根据确定在满足一个或多个标准的同时检测到所述用户的所述手的所述移动,根据所述用户的所述手的所述移动来更新所述滑块用户界面元素的所述当前输入状态,所述一个或多个标准包括当所述用户的所述注视朝向所述滑块用户界面元素时被满足的标准;以及根据确定在不满足所述一个或多个标准的同时检测到所述用户的所述手的所述移动,放弃根据所述用户的所述手的所述移动来更新所述滑块用户界面元素的所述当前输入状态,所述一个或多个标准包括当所述用户的所述注视朝向所述滑块用户界面元素时被满足的标准。37.根据权利要求26至36中任一项所述的方法,其中所述滑块用户界面元素被包括在用户界面的控制区域中,所述方法还包括:当显示不具有所述输入点的所述表示的所述滑块用户界面元素时,经由所述眼睛跟踪设备检测所述用户的所述注视指向所述用户界面的所述控制区域;以及响应于检测到所述用户的所述注视指向所述用户界面的所述控制区域,显示包括所述输入点的所述表示的所述滑块用户界面元素。38.根据权利要求26至37中任一项所述的方法,还包括:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,在所述滑块用户界面元素上显示在所述滑块用户界面元素上的位置处的注视的视觉指示,所述视觉指示基于所述用户的所述注视的所述方向和/或所述用户界面元素的在所述用户的所述注视的位置处的一部分。39.根据权利要求26至38中任一项所述的方法,还包括:在以所述第一外观显示所述输入点的所述表示之后,并且响应于检测到所述用户的所述注视指向具有所述第一外观的所述输入点的所述表示达小于所述时间阈值,以不同于所述第一外观的第二外观显示所述输入点的所述表示。40.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由所述显示生成部件显示滑块用户界面元素;当显示所述滑块用户界面元素时,经由所述眼睛跟踪设备检测用户的注视指向所述滑块用户界面元素;响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上基于所述用户的所述注视的方向而确定的位置处以第一外
观显示输入点的表示;以及在以所述第一外观显示所述输入点的所述表示之后:根据确定所述用户的所述注视满足一个或多个第一标准,将所述滑块用户界面元素的当前输入状态设置为与所述输入点的所述表示对应的相应输入状态,所述一个或多个第一标准包括当所述用户的所述注视指向所述输入点的所述表示达长于时间阈值时被满足的标准。41.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:经由所述显示生成部件显示滑块用户界面元素;当显示所述滑块用户界面元素时,经由所述眼睛跟踪设备检测用户的注视指向所述滑块用户界面元素;响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上基于所述用户的所述注视的方向而确定的位置处以第一外观显示输入点的表示;以及在以所述第一外观显示所述输入点的所述表示之后:根据确定所述用户的所述注视满足一个或多个第一标准,将所述滑块用户界面元素的当前输入状态设置为与所述输入点的所述表示对应的相应输入状态,所述一个或多个第一标准包括当所述用户的所述注视指向所述输入点的所述表示达长于时间阈值时被满足的标准。42.一种电子设备,包括:一个或多个处理器;存储器;用于执行以下操作的装置:经由所述显示生成部件显示滑块用户界面元素;用于执行以下操作的装置:当显示所述滑块用户界面元素时,经由所述眼睛跟踪设备检测用户的注视指向所述滑块用户界面元素;用于执行以下操作的装置:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上基于所述用户的所述注视的方向而确定的位置处以第一外观显示输入点的表示;以及用于执行以下操作的装置:在以所述第一外观显示所述输入点的所述表示之后:根据确定所述用户的所述注视满足一个或多个第一标准,将所述滑块用户界面元素的当前输入状态设置为与所述输入点的所述表示对应的相应输入状态,所述一个或多个第一标准包括当所述用户的所述注视指向所述输入点的所述表示达长于时间阈值时被满足的标准。43.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:用于执行以下操作的装置:经由所述显示生成部件显示滑块用户界面元素;用于执行以下操作的装置:当显示所述滑块用户界面元素时,经由所述眼睛跟踪设备检测用户的注视指向所述滑块用户界面元素;用于执行以下操作的装置:响应于检测到所述用户的所述注视指向所述滑块用户界面元素,经由所述显示生成部件在所述滑块用户界面元素上基于所述用户的所述注视的方向
而确定的位置处以第一外观显示输入点的表示;以及用于执行以下操作的装置:在以所述第一外观显示所述输入点的所述表示之后:根据确定所述用户的所述注视满足一个或多个第一标准,将所述滑块用户界面元素的当前输入状态设置为与所述输入点的所述表示对应的相应输入状态,所述一个或多个第一标准包括当所述用户的所述注视指向所述输入点的所述表示达长于时间阈值时被满足的标准。44.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求26至39所述的方法中的任一种方法的指令。45.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求26至39所述的方法中的任一种方法。46.一种电子设备,包括:一个或多个处理器;存储器;以及用于执行根据权利要求26至39所述的方法中的任一种方法的装置。47.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:用于执行根据权利要求26至39所述的方法中的任一种方法的装置。48.一种方法,包括:在与显示生成部件和一个或多个输入设备通信的电子设备处:经由所述显示生成部件显示用户界面,所述用户界面包括第一虚拟对象和与所述第一虚拟对象分开的、与所述第一虚拟对象相关联地显示的对应的相应用户界面元素;当显示所述用户界面时,经由所述一个或多个输入设备检测指向所述相应用户界面元素的第一用户输入;以及响应于检测到指向所述相应用户界面元素的所述第一用户输入:根据确定所述第一用户输入对应于在所述用户界面中移动所述第一虚拟对象的请求,根据所述第一用户输入在所述用户界面中移动所述第一虚拟对象和所述相应用户界面元素;以及根据确定所述第一用户输入满足一个或多个标准,将所述相应用户界面元素的显示更新为包括能够被选择来执行与所述第一虚拟对象相关联的一个或多个对应操作的一个或多个可选择选项,所述一个或多个标准包括当所述第一用户输入是除了在所述用户界面中移动所述第一虚拟对象的输入之外的输入时被满足的标准。49.根据权利要求48所述的方法,其中所述一个或多个标准包括当所述第一用户输入包括所述电子设备的用户的注视指向所述相应用户界面元素达长于时间阈值时被满足的标准。50.根据权利要求48至49中任一项所述的方法,其中所述一个或多个标准包括当所述
第一用户输入包括相应手势时被满足的标准,该相应手势当用户的注视指向所述相应用户界面元素时由所述电子设备的所述用户的手执行。51.根据权利要求48至50中任一项所述的方法,还包括:当显示包括所述一个或多个可选择选项的所述相应用户界面元素时,经由所述一个或多个输入设备检测第二用户输入,所述第二用户输入包括当所述用户的注视指向所述一个或多个可选择选项中的相应可选择选项时由所述电子设备的用户的手执行的相应手势;以及响应于检测到所述第二用户输入:根据确定所述第二用户输入满足一个或多个第一标准,执行与所述相应可选择选项对应的相应操作。52.根据权利要求48至51中任一项所述的方法,其中所述第一用户输入对应于根据以下确定而在所述用户界面中移动所述第一虚拟对象的所述请求:所述第一用户输入包括当用户的注视指向所述相应用户界面元素时所述电子设备的所述用户的手执行的相应手势,随后是在检测到所述用户的所述手执行的所述相应手势的时间阈值内所述电子设备的所述用户的所述手的移动。53.根据权利要求48至52中任一项所述的方法,还包括:当显示包括所述一个或多个可选择选项的所述相应用户界面元素时,经由所述一个或多个输入设备检测第二用户输入,所述第二用户输入与在所述用户界面中移动所述第一虚拟对象的请求对应;响应于检测到所述第二用户输入:停止显示所述一个或多个可选择选项,同时维持所述相应用户界面元素的显示;以及根据所述第二用户输入在所述用户界面中移动所述第一虚拟对象和所述相应用户界面元素;经由所述一个或多个输入设备检测所述第二用户输入的结束;以及响应于检测到所述第二用户输入的所述结束,将所述相应用户界面元素的显示更新为包括能够被选择来执行与所述第一虚拟对象相关联的所述一个或多个对应操作的所述一个或多个可选择选项。54.根据权利要求48至53中任一项所述的方法,其中在检测到所述第一用户输入之前,以第一外观显示所述相应用户界面元素,所述方法还包括:响应于检测到所述第一用户输入指向所述相应用户界面元素:根据确定所述第一用户输入包括指向所述相应用户界面元素的所述电子设备的用户的注视,经由所述显示生成部件以不同于所述第一外观的第二外观显示所述相应用户界面元素。55.根据权利要求48至54中任一项所述的方法,其中在检测到所述第一用户输入之前,以第一外观显示所述相应用户界面元素,所述方法还包括:响应于检测到指向所述相应用户界面元素的所述第一用户输入:根据所述确定所述第一用户输入对应于在所述用户界面中移动所...

【专利技术属性】
技术研发人员:I
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1