当前位置: 首页 > 专利查询>苹果公司专利>正文

用于操纵环境中的对象的方法技术

技术编号:37993819 阅读:13 留言:0更新日期:2023-06-30 10:08
在一些实施方案中,电子设备增强二维绘图。在一些实施方案中,电子设备操纵三维环境中的对象。在一些实施方案中,电子设备在三维环境中显示上下文菜单或移动对象。在一些实施方案中,电子设备在三维环境中基于对象离用户的距离来将对象移动一定量。在一些实施方案中,电子设备扫描真实世界对象。在一些实施方案中,电子设备操纵远处对象。电子设备操纵远处对象。电子设备操纵远处对象。

【技术实现步骤摘要】
【国外来华专利技术】用于操纵环境中的对象的方法
[0001]相关申请的交叉引用
[0002]本申请要求2020年9月11日提交的美国临时申请号63/077,521的权益,该美国临时申请的内容全文以引用方式并入本文以用于所有目的。


[0003]本专利技术整体涉及计算机系统,该计算机系统具有呈现图形用户界面的显示生成部件和一个或多个输入设备,包括但不限于经由显示生成部件呈现包括虚拟对象的三维环境的电子设备。

技术介绍

[0004]近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟对象(包括数字图像、视频、文本、图标、控制元素(诸如按钮),以及其他图形)。
[0005]但用于与包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费比所需时间更长的时间,从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

[0006]因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更高效且更直观。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
[0007]所公开的系统减少或消除了与用于计算机系统的用户界面相关联的上述缺陷和其他问题,这些计算机系统具有显示生成部件和一个或多个输入设备。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触控板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个
手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0008]需要具有用于与三维环境中的对象进行交互的改进方法和界面的电子设备。此类方法和界面可以补充或替换用于与三维环境中的对象进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。
[0009]在一些实施方案中,电子设备根据用户的手部的一个或多个特征来与对象进行交互。在一些实施方案中,电子设备显示用于增强二维绘图(诸如通过将其替换为三维对象)的一个或多个可选选项。在一些实施方案中,电子设备在根据用户的手部的手势和/或移动来操纵对象的同时显示操纵指示符。在一些实施方案中,电子设备基于用户的手部的手势和/或移动来显示上下文菜单或移动对象。在一些实施方案中,电子设备在三维环境中基于对象与用户之间的距离来移动该对象。在一些实施方案中,电子设备显示扫描指示以标记物理对象的部分以供扫描。在一些实施方案中,电子设备显示远处对象的放大视图以增加可见度并实现远处对象的直接操纵。
[0010]需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本专利技术的主题。
附图说明
[0011]为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
[0012]图1是示出根据一些实施方案的用于提供CGR体验的计算机系统的操作环境的框图。
[0013]图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的CGR体验的控制器的框图。
[0014]图3是示出根据一些实施方案的计算机系统的被配置为向用户提供CGR体验的视觉组成部分的显示生成部件的框图。
[0015]图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
[0016]图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
[0017]图6A是示出根据一些实施方案的闪光辅助的注视跟踪管道的流程图。
[0018]图6B示出了根据一些实施方案的提供CGR体验的电子设备的示例性环境。
[0019]图7A至图7D示出了根据一些实施方案的电子设备如何增强二维绘图的示例。
[0020]图8A至图8G是示出根据一些实施方案的增强二维绘图的方法的流程图。
[0021]图9A至图9C示出了根据一些实施方案的操纵三维环境中的对象的示例。
[0022]图10A至图10O是示出根据一些实施方案的操纵三维环境中的对象的方法的流程图。
[0023]图11A至图11C示出了根据一些实施方案的在三维环境中显示上下文菜单或移动对象的示例。
[0024]图12A至图12G是示出根据一些实施方案的在三维环境中显示上下文菜单或移动对象的方法的流程图。
[0025]图13A至图13B示出了根据一些实施方案的在三维环境中基于对象离用户的距离来将该对象移动一定量的示例。
[0026]图14本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法,所述方法包括:在与显示生成部件和一个或多个输入设备通信的电子设备处:经由所述一个或多个输入设备接收与二维绘图相对应的用户输入;响应于接收到与所述二维绘图相对应的所述用户输入,经由所述显示生成部件显示所述二维绘图的表示;以及在接收到所述用户输入之后并且在显示所述二维绘图的所述表示时,经由所述显示生成部件显示一个或多个可选选项;在显示所述一个或多个可选选项时,检测所述一个或多个可选选项中的相应可选选项的选择;以及响应于检测到所述相应可选选项的选择,将所述二维绘图的显示替换为具有基于所述二维绘图的外观来确定的外观的三维对象。2.根据权利要求1所述的方法,其中所述一个或多个可选选项包括第一可选选项和第二选择选项,并且:根据确定所述相应可选选项是所述一个或多个可选选项中的所述第一可选选项,所述三维对象是第一三维对象;以及根据确定所述相应可选选项是所述一个或多个可选选项中与所述第一可选选项不同的所述第二可选选项,所述三维对象是与所述第一三维对象不同的第二三维对象。3.根据权利要求1至2中任一项所述的方法,其中:根据确定所述二维绘图对应于第一形状,所述一个或多个可选选项包括基于所述第一形状的第一组可选选项;以及根据确定所述二维绘图对应于与所述第一形状不同的第二形状,所述一个或多个可选选项包括与所述第一组可选选项不同的基于所述第二形状的第二组可选选项并且不包括所述第一组选项。4.根据权利要求1至3中任一项所述的方法,其中:所述一个或多个可选选项中的所述相应可选选项包括具有基于所述二维绘图的所述外观来确定的所述外观的所述三维对象的表示。5.根据权利要求1至4中任一项所述的方法,其中所述一个或多个可选选项包括以下各项中的一者或多者:第一选项,所述第一选项可选择以将所述二维绘图的显示替换为与所述二维绘图相对应的相应形状的表示,其中所述相应形状的所述表示的边界的路径不同于所述二维绘图的边界的路径;第二选项,所述第二选项可选择以填充所述二维绘图的内部;第三选项,所述第三选项可选择以将所述二维绘图的显示替换为包括具有与所述二维绘图相对应的形状的第一侧面和与所述第一侧面相对的第二侧面的第一三维对象;第四选项,所述第四选项可选择以将所述二维绘图的显示替换为与相应三维对象的表示相对应的第二三维对象,其中所述二维绘图对应于所述相应三维对象的二维绘图;或者第五选项,所述第五选项可选择以将所述二维绘图的显示替换为与所述二维绘图相对应的基于字体的文本。6.根据权利要求1至5中任一项所述的方法,其中:
根据确定所述二维绘图对应于第一相应三维对象的二维绘图,所述三维对象对应于所述第一相应三维对象的表示;以及根据确定所述二维绘图对应于与所述第一相应三维对象不同的第二相应三维对象的二维绘图,所述三维对象对应于所述第二相应三维对象的表示。7.根据权利要求6所述的方法,其中根据确定所述二维绘图对应于所述第一相应三维对象的二维绘图并且还对应于与所述第一相应三维对象不同的第三相应三维对象的二维绘图,所述一个或多个可选选项包括:所述相应可选选项,所述相应可选选项可选择以将所述二维绘图的显示替换为所述第一相应三维对象的所述表示,以及第二相应可选选项,所述第二相应可选选项可选择以将所述二维绘图的显示替换为所述第三相应三维对象的表示。8.根据权利要求1至7中任一项所述的方法,其中:与所述二维绘图相对应的所述用户输入是使用与所述电子设备通信的指向设备来接收的,并且检测所述一个或多个可选选项中的所述相应可选选项的选择包括经由与所述电子设备通信的眼睛跟踪设备确定当选择输入在所述指向设备处被接收时所述电子设备的用户的注视指向所述相应可选选项。9.根据权利要求1至8中任一项所述的方法,其中:与所述二维绘图相对应的所述用户输入是使用与所述电子设备通信的指向设备来接收的,并且检测所述一个或多个可选选项中的所述相应可选选项的选择包括确定当选择输入在所述指向设备处被接收时所述指向设备指向所述相应可选选项。10.根据权利要求9所述的方法,还包括:响应于在所述指向设备处接收到所述选择输入,使触觉输出在所述指向设备处被生成。11.根据权利要求10中任一项所述的方法,其中所述三维对象的颜色基于所述二维绘图的颜色。12.根据权利要求1至11中任一项所述的方法,其中:所述三维对象是基于所述二维绘图而被参数式地生成的。13.根据权利要求1至12中任一项所述的方法,其中:所述三维对象是基于所述二维绘图而从三维对象的预先确定的库中被选择的。14.根据权利要求1至13中任一项所述的方法,其中:所述三维对象包括具有与所述二维绘图相对应的形状的第一侧面和与所述第一侧面相对的第二侧面,所述第一侧面和所述第二侧面的边界的路径对应于所述二维绘图的一个或多个属性,并且所述第一侧面和所述第二侧面的所述边界的所述路径不同于所述二维绘图的边界的路径。15.根据权利要求1至14中任一项所述的方法,其中显示所述一个或多个可选选项是响
应于经由与所述电子设备通信的眼睛跟踪设备确定所述电子设备的用户的注视指向所述二维绘图的所述表示而被执行的。16.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由一个或多个输入设备接收与二维绘图相对应的用户输入;响应于接收到与所述二维绘图相对应的所述用户输入,经由显示生成部件显示所述二维绘图的表示;以及在接收到所述用户输入之后并且在显示所述二维绘图的所述表示时,经由所述显示生成部件显示一个或多个可选选项;在显示所述一个或多个可选选项时,检测所述一个或多个可选选项中的相应可选选项的选择;以及响应于检测到所述相应可选选项的选择,将所述二维绘图的显示替换为具有基于所述二维绘图的外观来确定的外观的三维对象。17.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:经由一个或多个输入设备接收与二维绘图相对应的用户输入;响应于接收到与所述二维绘图相对应的所述用户输入,经由显示生成部件显示所述二维绘图的表示;以及在接收到所述用户输入之后并且在显示所述二维绘图的所述表示时,经由所述显示生成部件显示一个或多个可选选项;在显示所述一个或多个可选选项时,检测所述一个或多个可选选项中的相应可选选项的选择;以及响应于检测到所述相应可选选项的选择,将所述二维绘图的显示替换为具有基于所述二维绘图的外观来确定的外观的三维对象。18.一种电子设备,包括:一个或多个处理器;存储器;用于经由一个或多个输入设备接收与二维绘图相对应的用户输入的装置;用于响应于接收到与所述二维绘图相对应的所述用户输入,经由显示生成部件显示所述二维绘图的表示的装置;以及用于在接收到所述用户输入之后并且在显示所述二维绘图的所述表示时,经由所述显示生成部件显示一个或多个可选选项的装置;用于在显示所述一个或多个可选选项时,检测所述一个或多个可选选项中的相应可选选项的选择的装置;以及用于响应于检测到所述相应可选选项的选择,将所述二维绘图的显示替换为具有基于
所述二维绘图的外观来确定的外观的三维对象的装置。19.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于经由一个或多个输入设备接收与二维绘图相对应的用户输入的装置;用于响应于接收到与所述二维绘图相对应的所述用户输入,经由显示生成部件显示所述二维绘图的表示的装置;以及用于在接收到所述用户输入之后并且在显示所述二维绘图的所述表示时,经由所述显示生成部件显示一个或多个可选选项的装置;用于在显示所述一个或多个可选选项时,检测所述一个或多个可选选项中的相应可选选项的选择的装置;以及用于响应于检测到所述相应可选选项的选择,将所述二维绘图的显示替换为具有基于所述二维绘图的外观来确定的外观的三维对象的装置。20.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至15所述的方法中的任一种方法的指令。21.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至15所述的方法中的任一种方法。22.一种电子设备,包括:一个或多个处理器;存储器;以及用于执行根据权利要求1至15所述的方法中的任一种方法的装置。23.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于执行根据权利要求1至15所述的方法中的任一种方法的装置。24.一种方法,所述方法包括:在与显示生成部件和手部跟踪设备通信的电子设备处:经由所述显示生成部件显示包括第一虚拟对象的三维环境;在显示包括所述第一虚拟对象的所述三维环境时,经由所述手部跟踪设备接收与所述电子设备的用户的手部相关联的用户输入,所述用户输入对应于操纵所述第一虚拟对象的请求;以及在接收到所述用户输入时:根据确定操纵所述第一虚拟对象的所述请求对应于第一操纵类型,更新所述三维环境以包括与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的表示在视觉上分开的第一操纵指示,其中所述第一操纵指示指示正对所述第一虚拟对象执行所述第一操纵类型。25.根据权利要求24所述的方法,还包括:在接收到所述用户输入时:
根据确定操纵所述第一虚拟对象的所述请求对应于与所述第一操纵类型不同的第二操纵类型,更新所述三维环境以包括指示正对所述第一虚拟对象执行所述第二操纵类型的第二操纵指示,其中所述第二操纵指示与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的所述表示在视觉上分开,并且不同于所述第一操纵指示。26.根据权利要求24至25中任一项所述的方法,其中所述第一操纵指示在所述三维环境中与所述第一虚拟对象相关联的位置处被显示。27.根据权利要求24至26中任一项所述的方法,其中所述第一操纵指示在所述三维环境中与所述用户的所述手部的所述表示相关联的位置处被显示。28.根据权利要求24至27中任一项所述的方法,其中:根据确定在所述用户输入被接收时所述电子设备的所述用户的注视指向所述第一虚拟对象,所述第一操纵指示在所述三维环境中与所述第一虚拟对象相关联的位置处被显示;以及根据确定在所述用户输入被接收时所述电子设备的所述用户的注视指向所述用户的所述手部的所述表示,所述第一操纵指示在所述三维环境中与所述用户的所述手部的所述表示相关联的位置处被显示。29.根据权利要求24至28中任一项所述的方法,其中:所述第一操纵类型包括所述第一虚拟对象在所述三维环境中的移动,并且检测与移动所述第一虚拟对象的请求相对应的所述用户输入包括检测由所述用户的所述手部执行的第一手势以及检测所述用户的所述手部在保持所述第一手势时的移动。30.根据权利要求24至29中任一项所述的方法,其中:所述第一操纵类型包括调整所述三维环境中的所述第一虚拟对象的尺寸,并且检测与调整所述第一虚拟对象的尺寸的请求相对应的所述用户输入包括检测由所述用户的第一只手执行的第二手势和由所述用户的第二只手执行的第三手势,以及检测在分别保持所述第二手势和所述第三手势时所述第一只手相对于所述第二只手的移动。31.根据权利要求30所述的方法,其中当所述第二手势和所述第三手势被检测时,所述第一只手和所述第二只手分开相应距离,所述方法还包括:在接收到与调整所述第一虚拟对象的尺寸的所述请求相对应的所述用户输入时:根据确定所述第一只手与所述第二只手之间的当前距离在所述相应距离的阈值距离内,更新所述第一虚拟对象以具有与所述用户输入被接收时的所述第一虚拟对象的尺寸相对应的尺寸。32.根据权利要求24至31中任一项所述的方法,其中:所述第一操纵类型包括在所述三维环境中旋转所述第一虚拟对象,并且检测与旋转所述第一虚拟对象的请求相对应的所述用户输入包括检测由所述用户的第一只手执行的第一手势和由所述用户的第二只手执行的第二手势,以及检测在分别保持所述第一手势和所述第二手势时所述用户的所述第二只手相对于所述用户的所述第一只手的移动。33.根据权利要求24至32中任一项所述的方法,还包括:在接收到所述用户输入时:根据确定所述用户输入包括所述手部的移动,根据所述手部的所述移动来移动所述第
一虚拟对象;以及根据确定所述用户输入包括所述手部的旋转,根据所述手部的所述旋转来旋转所述第一虚拟对象。34.根据权利要求24至33中任一项所述的方法,其中:所述用户输入包括第一部分,继之以第二部分,所述第一部分包括定位在与所述第一操纵类型相对应的一个或多个位置处的所述用户的一只或多只手,所述第二部分包括来自所述用户的所述一只或多只手的附加输入以用于根据所述附加输入来操纵所述第一虚拟对象,并且更新所述三维环境以包括所述第一操纵指示响应于检测到所述用户输入的所述第一部分而发生。35.根据权利要求24至33中任一项所述的方法,其中:所述用户输入包括第一部分,继之以第二部分,所述第一部分包括定位在与所述第一操纵类型相对应的一个或多个位置处的所述用户的一只或多只手,所述第二部分包括来自所述用户的所述一只或多只手的附加输入以用于根据所述附加输入来操纵所述第一虚拟对象,并且更新所述三维环境以包括所述第一操纵指示响应于检测到所述用户输入的所述第二部分而发生。36.根据权利要求35所述的方法,还包括:在接收到所述用户输入时:在指示正被执行的所述第一操纵类型的特性并对应于所述用户的所述手部的位置的所述第一操纵指示上的位置处显示输入元素。37.根据权利要求36所述的方法,其中:根据确定所述用户的所述手部正执行第一手势,所述输入元素具有第一视觉外观;以及根据确定所述用户的所述手部未执行所述第一手势,所述输入元素具有与所述第一视觉外观不同的第二视觉外观。38.根据权利要求36至37中任一项所述的方法,还包括:响应于检测到由所述用户的所述手部作出的所述第一手势的终止,将所述输入元素从指示正被执行的所述第一操纵类型的所述特性的所述第一操纵指示上的所述位置移离至与所述用户的所述手部相对于所述第一虚拟对象的当前位置相对应的所述三维环境中的位置。39.根据权利要求36至38所述的方法,还包括:在所述第一虚拟对象位于与对应于所述用户的所述三维环境中的相应位置相距第一距离的所述三维环境中的第一位置处时,将所述第一虚拟对象移动到与所述三维环境中的所述相应位置相距不同于所述第一距离的第二距离的所述三维环境中的第二位置;以及响应于将所述第一虚拟对象移动到所述三维环境中的所述第二位置:根据将所述第一虚拟对象移动到所述第二位置来将所述第一虚拟对象的尺寸改变第一量;以及改变所述第一操纵指示相对于所述第一虚拟对象的相对尺寸。
40.根据权利要求24至39中任一项所述的方法,其中检测与操纵所述第一虚拟对象的所述请求相对应的所述用户输入包括检测:由所述用户的所述手部执行的指向所述第一操纵指示的相应位置的第一手势,以及在保持所述第一手势以根据所述用户的所述手部的移动和所述第一操纵指示的所述相应位置来操纵所述第一虚拟对象时所述用户的所述手部的所述移动。41.根据权利要求24至40中任一项所述的方法,还包括:在接收到所述用户输入时:根据确定操纵所述第一虚拟对象的所述请求对应于移动所述第一虚拟对象的请求:根据所述用户输入来移动所述第一虚拟对象;以及根据确定所述第一虚拟对象与所述三维环境中的和第二对象相关联的第一预先确定的位置相距小于阈值距离,将所述第一虚拟对象移动到所述第一预先确定的位置。42.根据权利要求24至41中任一项所述的方法,其中所述第一操纵类型包括旋转所述第一虚拟对象,并且所述第一操纵指示包括与所述第一虚拟对象的多个不同类型的旋转相关联的多个操纵元素。43.根据权利要求42所述的方法,还包括:在显示包括所述多个操纵元素的所述第一操纵指示时:根据确定所述用户的所述手部处于相对于与所述第一虚拟对象的第一旋转类型相对应的所述多个操纵元素中的第一操纵元素的相应相对位置,将所述多个操纵元素中的所述第一操纵元素与所述多个操纵元素中的其他操纵元素在视觉上区分开;在将所述第一操纵元素显示为与所述其他操纵元素在视觉上区分开时,检测由所述用户的所述手部执行的相应手势,继之以检测所述手部在保持所述相应手势时的移动;以及响应于检测到由所述用户的所述手部执行的所述相应手势,继之以检测到所述手部在保持所述相应手势时的移动,根据所述手部的所述移动来对所述第一虚拟对象执行所述第一旋转类型。44.根据权利要求24至43中任一项所述的方法,还包括:在显示所述第一操纵指示时,检测所述用户的所述手部已从所述第一操纵指示移离超过阈值距离;以及响应于检测到所述用户的所述手部已从所述第一操纵指示移离超过所述阈值距离,停止显示所述第一操纵指示。45.根据权利要求24至44中任一项所述的方法,其中所述用户输入包括由所述用户的所述手部执行的第一手势,继之以所述用户的所述手部的移动,所述方法还包括:在显示所述第一操纵指示时:检测所述用户的所述手部已从所述第一操纵指示移离超过阈值距离;以及响应于检测到所述用户的所述手部已从所述第一操纵指示移离超过所述阈值距离:根据确定所述用户的所述手部正保持所述第一手势,保持显示所述第一操纵指示;以及根据确定所述用户的所述手部未保持所述第一手势,停止显示所述第一操纵指示。
46.根据权利要求24至45中任一项所述的方法,还包括:在操纵所述第一虚拟对象时:根据确定所述一个或多个对象操纵标准被满足,包括在所述第一虚拟对象的当前操纵状态在所述第一虚拟对象的预先确定的操纵状态的操纵阈值内时所满足的标准,使得生成与所述对象操纵标准的所述满足相对应的触觉输出。47.根据权利要求46所述的方法,其中所述触觉输出是在所述一个或多个输入设备的外部输入设备处被生成的。48.根据权利要求24至47中任一项所述的方法,还包括:在接收到所述用户输入之前,在所述三维环境中在与所述用户的第二只手的表示相关联的位置处显示第一用户界面元素,其中所述第一用户界面元素与向所述三维环境添加内容相关联。49.根据权利要求48所述的方法,还包括:响应于接收到所述用户输入,停止显示所述第一用户界面元素。50.根据权利要求24至49中任一项所述的方法,其中:所述第一操纵类型包括调整所述三维环境中的所述第一虚拟对象的尺寸,检测与调整所述第一虚拟对象的尺寸的请求相对应的所述用户输入包括检测由所述用户的第一只手执行的第一手势和由所述用户的第二只手执行的第二手势,以及检测在分别保持所述第一手势和所述第二手势时所述第一只手相对于所述第二只手的移动,并且当所述第一手势和所述第二手势被检测时,所述第一只手和所述第二只手分开相应距离,所述方法还包括:在接收到所述用户输入时,检测所述第一只手相对于所述第二只手的相应移动量;以及响应于检测到所述第一只手相对于所述第二只手的所述相应移动量:根据确定所述相应距离是第一距离,根据所述第一只手相对于所述第二只手的所述相应移动量来调整所述第一虚拟对象的尺寸达第一量;以及根据确定所述相应距离是与所述第一距离不同的第二距离,根据所述第一只手相对于所述第二只手的所述相应移动量来调整所述第一虚拟对象的尺寸达与所述第一量不同的第二量。51.根据权利要求24至50中任一项所述的方法,其中所述第一操纵类型的参考点是基于所述用户的所述手部的预定义的部分的相应位置来被定义的,并且所述第一操纵类型的量基于所述用户的第二只手相对于所述第一操纵类型的所述参考点的距离,所述方法还包括:在接收到所述用户输入并且对所述第一虚拟对象执行所述第一操纵类型时:检测所述用户的所述手部的所述预定义的部分已移动到所述三维环境中的第二相应位置;以及响应于检测到所述用户的所述手部的所述预定义的部分已移动到所述三维环境中的所述第二相应位置,基于所述手部的所述预定义的部分移动到所述第二相应位置,对所述第一虚拟对象执行所述第一操纵类型达基于所述第一操纵类型的更新的参考点的量。52.根据权利要求24至51中任一项所述的方法,还包括:
在接收到所述用户输入时:根据确定操纵所述第一虚拟对象的所述请求对应于所述第一操纵类型,根据所述用户输入来对所述第一虚拟对象执行所述第一操纵类型。53.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由显示生成部件显示包括第一虚拟对象的三维环境;在显示包括所述第一虚拟对象的所述三维环境时,经由手部跟踪设备接收与所述电子设备的用户的手部相关联的用户输入,所述用户输入对应于操纵所述第一虚拟对象的请求;以及在接收到所述用户输入时:根据确定操纵所述第一虚拟对象的所述请求对应于第一操纵类型,更新所述三维环境以包括与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的表示在视觉上分开的第一操纵指示,其中所述第一操纵指示指示正对所述第一虚拟对象执行所述第一操纵类型。54.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:经由显示生成部件显示包括第一虚拟对象的三维环境;在显示包括所述第一虚拟对象的所述三维环境时,经由手部跟踪设备接收与所述电子设备的用户的手部相关联的用户输入,所述用户输入对应于操纵所述第一虚拟对象的请求;以及在接收到所述用户输入时:根据确定操纵所述第一虚拟对象的所述请求对应于第一操纵类型,更新所述三维环境以包括与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的表示在视觉上分开的第一操纵指示,其中所述第一操纵指示指示正对所述第一虚拟对象执行所述第一操纵类型。55.一种电子设备,包括:一个或多个处理器;存储器;用于经由显示生成部件显示包括第一虚拟对象的三维环境的装置;用于在显示包括所述第一虚拟对象的所述三维环境时,经由手部跟踪设备接收与所述电子设备的用户的手部相关联的用户输入的装置,所述用户输入对应于操纵所述第一虚拟对象的请求;以及用于在接收到所述用户输入时进行以下操作的装置:根据确定操纵所述第一虚拟对象的所述请求对应于第一操纵类型,更新所述三维环境以包括与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的表示在视觉上分
开的第一操纵指示,其中所述第一操纵指示指示正对所述第一虚拟对象执行所述第一操纵类型。56.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于经由显示生成部件显示包括第一虚拟对象的三维环境的装置;用于在显示包括所述第一虚拟对象的所述三维环境时,经由手部跟踪设备接收与所述电子设备的用户的手部相关联的用户输入的装置,所述用户输入对应于操纵所述第一虚拟对象的请求;以及用于在接收到所述用户输入时进行以下操作的装置:根据确定操纵所述第一虚拟对象的所述请求对应于第一操纵类型,更新所述三维环境以包括与所述第一虚拟对象并与所述三维环境中所述用户的所述手部的表示在视觉上分开的第一操纵指示,其中所述第一操纵指示指示正对所述第一虚拟对象执行所述第一操纵类型。57.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求24至52所述的方法中的任一种方法的指令。58.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求24至52所述的方法中的任一种方法。59.一种电子设备,包括:一个或多个处理器;存储器;以及用于执行根据权利要求24至52所述的方法中的任一种方法的装置。60.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于执行根据权利要求24至52所述的方法中的任一种方法的装置。61.一种方法,所述方法包括:在与显示生成部件和手部跟踪设备通信的电子设备处:经由所述显示生成部件显示三维环境,所述三维环境包括第一位置处的第一对象以及与所述第一位置不同的第二位置处的所述电子设备的用户的手部的表示;在所述第一位置处显示所述第一对象时,经由所述手部跟踪设备检测来自所述手部的用户输入;以及响应于检测到所述用户输入:根据确定所述用户输入满足一个或多个标准,将所述第一对象从所述第一位置移动到所述三维环境中与所述手部的所述表示相关联的相应位置。62.根据权利要求61所述的方法,其中所述一个或多个标准包括当来自所述手部的所述用户输入是双击手势时所满足的标准。63.根据权利要求61至62中任一项所述的方法,还包括:
响应于检测到所述用户输入:根据确定所述用户输入满足与所述一个或多个标准不同的一个或多个第二标准,其中所述一个或多个第二标准包括当来自所述手部的所述用户输入是单击手势时所满足的标准,经由所述显示生成部件在所述第一位置处显示与所述第一对象相关联的上下文菜单。64.根据权利要求63所述的方法,还包括:在显示所述第一对象和与所述第一对象相关联的所述上下文菜单时,经由所述手部跟踪设备检测来自所述手部的第二用户输入;以及响应于检测到来自所述手部的所述第二用户输入:根据确定所述第二用户输入对应于将所述第一对象从所述三维环境中的所述第一位置移动到第三位置的请求:停止显示所述上下文菜单;以及根据所述第二用户输入来将所述第一对象从所述第一位置移动到所述第三位置。65.根据权利要求62至64中任一项所述的方法,其中所述上下文菜单被显示在所述第一对象附近。66.根据权利要求62至64中任一项所述的方法,其中所述上下文菜单被显示在所述手部的所述表示附近。67.根据权利要求62至64中任一项所述的方法,其中来自所述手部的所述用户输入包括与同所述电子设备分开的输入设备的交互,并且所述上下文菜单被显示在所述三维环境中所述输入设备的表示附近。68.根据权利要求61至67中任一项所述的方法,还包括:响应于检测到所述用户输入:根据确定所述用户输入满足与所述一个或多个标准不同的一个或多个第二标准,其中所述一个或多个第二标准包括当来自所述手部的所述用户输入是单击并拖动手势时所满足的标准,根据所述用户输入来将所述第一对象从所述三维环境中的所述第一位置移动到第三位置。69.根据权利要求61至68中任一项所述的方法,其中所述一个或多个标准包括当所述用户的注视指向所述第一对象时所满足的标准。70.根据权利要求61至69中任一项所述的方法,其中:根据确定所述用户的所述手部的所述表示处于所述三维环境中的第一相应位置,所述相应位置是所述三维环境中的第二相应位置,并且根据确定所述用户的所述手部的所述表示处于所述三维环境中与所述第一相应位置不同的第三相应位置,所述相应位置是所述三维环境中与所述第二相应位置不同的第四相应位置。71.根据权利要求70所述的方法,其中所述相应位置是所述用户的所述手部的相应部分的位置。72.根据权利要求70所述的方法,其中所述相应位置与所述第二位置相距预先确定的距离。73.根据权利要求61至72中任一项所述的方法,还包括:在所述三维环境中在所述相应位置处显示所述第一对象并且在所述第二位置处显示
所述手部的所述表示时,经由所述手部跟踪设备检测与操纵所述第一对象的请求相对应的来自所述手部的第二用户输入,其中所述手部的所述表示在所述第二用户输入期间保持在所述三维环境中的所述第二位置处;以及响应于检测到所述第二用户输入,根据所述第二用户输入来操纵所述第一对象。74.根据权利要求61至73中任一项所述的方法,还包括:在所述三维环境中的所述相应位置处显示所述第一对象时,经由所述手部跟踪设备检测来自所述手部的第二用户输入;以及响应于检测到所述第二用户输入:根据确定所述第二用户输入包括单捏合手势,继之以拖动手势,根据所述第二用户输入来操纵所述第一对象。75.根据权利要求61至74中任一项所述的方法,其中当来自所述手部的所述用户输入被检测时第二对象被显示在所述三维环境中的所述相应位置处,所述方法还包括:响应于检测到所述用户输入:根据确定所述用户输入满足所述一个或多个标准,在所述第一对象被显示在所述三维环境中的所述相应位置处之前将所述第二对象从所述三维环境中的所述相应位置移离。76.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:经由显示生成部件显示三维环境,所述三维环境包括第一位置处的第一对象以及与所述第一位置不同的第二位置处的所述电子设备的用户的手部的表示;在所述第一位置处显示所述第一对象时,经由手部跟踪设备检测来自所述手部的用户输入;以及响应于检测到所述用户输入:根据确定所述用户输入满足一个或多个标准,将所述第一对象从所述第一位置移动到所述三维环境中与所述手部的所述表示相关联的相应位置。77.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行包括以下的方法:经由显示生成部件显示三维环境,所述三维环境包括第一位置处的第一对象以及与所述第一位置不同的第二位置处的所述电子设备的用户的手部的表示;在所述第一位置处显示所述第一对象时,经由手部跟踪设备检测来自所述手部的用户输入;以及响应于检测到所述用户输入:根据确定所述用户输入满足一个或多个标准,将所述第一对象从所述第一位置移动到所述三维环境中与所述手部的所述表示相关联的相应位置。78.一种电子设备,包括:一个或多个处理器;
存储器;用于经由显示生成部件显示三维环境的装置,所述三维环境包括第一位置处的第一对象以及与所述第一位置不同的第二位置处的所述电子设备的用户的手部的表示;用于在所述第一位置处显示所述第一对象时,经由手部跟踪设备检测来自所述手部的用户输入的装置;以及用于响应于检测到所述用户输入来进行以下操作的装置:根据确定所述用户输入满足一个或多个标准,将所述第一对象从所述第一位置移动到所述三维环境中与所述手部的所述表示相关联的相应位置。79.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于经由显示生成部件显示三维环境的装置,所述三维环境包括第一位置处的第一对象以及与所述第一位置不同的第二位置处的所述电子设备的用户的手部的表示;用于在所述第一位置处显示所述第一对象时,经由手部跟踪设备检测来自所述手部的用户输入的装置;以及用于响应于检测到所述用户输入来进行以下操作的装置:根据确定所述用户输入满足一个或多个标准,将所述第一对象从所述第一位置移动到所述三维环境中与所述手部的所述表示相关联的相应位置。80.一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求61至75所述的方法中的任一种方法的指令。81.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求61至75所述的方法中的任一种方法。82.一种电子设备,包括:一个或多个处理器;存储器;以及用于执行根据权利要求61至75所述的方法中的任一种方法的装置。83.一种用于在电子设备中使用的信息处理设备,所述信息处理设备包括:用于执行根据权利要求61至75所述的方法中的任一种方法的装置。84.一种方法,所述方法包括:在与显示生成部件和一个或多个输入设备通信的电子设备处:经由所述显示生成部件显示包括第一位置处的第一对象的三维环境,其中所述三维环境中与所述第一位置不同的第二位置对应于物理环境中所述电子设备的用户的预定义的部分的位置;在显示包括所述第一位置处的所述第一对象的所述三维环境时,经由所述一个或多个输入设备接收包括具有第一量值的所述用户的所述预定义的部分的移动的用户输入;以及响应于接收到所述用户输入:
根据确定所述第一对象与所述第二位置相距第一距离,根据所述用户输入的所述第一量值来将所述三维环境中的所述第一对象从所述第一位置移动第一量;以及根据确定所述第一对象与所述第二位置相距不同于所述第一距离的第二距离,根据所述用户输入的所述第一量值来将所述三维环境中的所述第一对象从所述第一位置移动与所述第一量不同的第二量。85.根据权利要求84所述的方法,其中:所述用户的所述预定义的部分的所述移动具有第一方向,在所述三维环境中移动所述第一对象是在基于所述第一方向的相应方向上。86.根据权利要求84至85中任一项所述的方法,其中所述第一距离和所述第二距离与所述第二位置相距大于阈值距离,所述方法还包括:响应于接收到所述用户输入:根据确定所述第一对象与所述第二位置相距小于所述阈值距离,在所述三维环境中将所述第一对象从所述第一位置移动所述第一量值。87.根据权利要求84至86中任一项所述的方法,其中:所述用户的所述预定义的部分的所述移动包括具有相应量值的所述移动的第一部分和具有所述相应量值的所述移动的第二部分,并且在所述三维环境中将所述第一对象从所述第一位置移动包括:改变所述第一对象离所述第二位置的距离,根据所述用户的所述预定义的部分的所述移动的所述第一部分来将所述第一对象移动第一相应量,以及根据所述用户的所述预定义的部分的所述移动的所述第二部分来将所述第一对象移动与所述第一相应量不同的第二相应量。88.根据权利要求84至87中任一项所述的方法,其中所述用户输入包括由所述用户的所述预定义的部分执行的捏合手势,继之以所述用户的所述预定义的部分的所述移动。89.根据权利要求84至88中任一项所述的方法,其中接收所述用户输入包括经由眼睛跟踪设备检测所述电子设备的所述用户的注视指向所述第一对象。90.根据权利要求84至89中任一项所述的方法,其中所述三维环境包括相应预定义的位置,并且在所述三维环境中移动所述第一对象包括:根据确定所述三维环境中的所述第一对象的当前位置在所述三维环境中的所述相应预定义的位置的阈值距离内,将所述第一对象吸附到所述三维环境中的所述相应定义的位置。91.根据权利要求90所述的方法,还包括:根据确定所述三维环境中的所述第一对象的所述当前位置在所述三维环境中的所述相应预定义的位置的所述阈值距离内,经由所述显示生成部件显示所述三维环境中的所述相应预定义的位置的视觉指示。92.根据权利要求91所述的方法,其中所述相应预定义的位置的所述视觉指示的尺寸基于所述第一对象的尺寸。93.根据权利要求91至92中任一项所述的方法,其中所述相应预定义的位置的所述视觉指示的形状基于所述第一对象的形状,并且指示在所述第一对象放置在所述三维环境中
的所述相应预定义的位置时所述第一对象的一部分将占用的所述三维环境的区域。94.根据权利要求91至93中任一项所述的方法,其中所述相应预定义的位置位于所述三维环境中的相应对象的表面上,并且显示所述相应预定义的位置的所述视觉指示包括在视觉上强调所述相应对象的所述表面。95.根据权利要求91至94中任一项所述的方法,还包括:在所述三维环境中的所述第一对象的所述当前位置在所述三维环境中的所述相应预定义的位置的所述阈值距离内时并且在显示所述三维环境中的所述相应预定义的位置的所述视觉指示时,检测所述第一对象向比距离所述三维环境中的所述相应预定义的位置的所述阈值距离更远的距离的移动;以及响应于检测到所述第一对象向比距离所述三维环境中的所述相应预定义的位置的所述阈值距离更远的所述距离的所述移动,停止显示所述相应预定义的位置的所述视觉指示。96.根据权利要求91至95中任一项所述的方法,还包括:在所述三维环境中的所述第一对象的所述当前位置在所述三维环境中的所述相应预定义的位置的所述阈值距离内时并且在显示所述三维环境中的所述相应预定义的位置的所述视觉指示时,检测所述第一对象的操纵;以及响应于检测到所述第一对象的所述操纵,更新所述相应预定义的位置的所述视觉指示的显示以反映所述第一对象的所述操纵。97.根据权利要求93至96中任一项所述的方法,还包括:经由所述显示生成部件并发...

【专利技术属性】
技术研发人员:W
申请(专利权)人:苹果公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1