用于在3D情景中显示对象的设备、方法和图形用户界面技术

本公开提供了一种用于在3D情景中显示对象的设备、方法和图形用户界面。电子设备显示包括虚拟对象的环境，该虚拟对象与基于满足第一组标准来触发的第一动作相关联。响应于在显示该环境时检测到的第一输入：根据确定该第一输入满足该第一组标准来执行该第一动作，并且根据确定该第一输入不满足该第一组标准而是满足第二组标准，不执行该第一动作并且转而显示一个或多个输入的第一视觉指示，该一个或多个输入如果被执行会使得该第一组标准被满足。个输入如果被执行会使得该第一组标准被满足。个输入如果被执行会使得该第一组标准被满足。

【技术实现步骤摘要】
用于在3D情景中显示对象的设备、方法和图形用户界面
[0001]本申请是申请号为202080034059.6，申请日为2020年4月1日，专利技术 名称为“用于在3D情景中显示对象的设备、方法和图形用户界面”的专利技术 专利申请的分案申请。


[0002]本专利技术整体涉及显示虚拟对象的电子设备，该电子设备包括但不限于 在各种情景中显示虚拟对象的电子设备。

技术介绍

[0003]近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实 环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其 他电子计算设备的输入设备诸如触敏表面用于与虚拟/增强现实环境进行交 互。示例触敏表面包括触控板、触敏遥控器和触摸屏显示器。此类表面用 于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字 图像、视频、文本、图标和控制元件(诸如，按钮)以及其他图形。
[0004]但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实 环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效 且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、 需要一系列输入来生成适用于在增强现实环境中显示的虚拟对象的系统以 及需要缺少操纵虚拟对象组的处理的系统很繁琐，会给用户造成显著认知 负担，并且有损于虚拟/增强现实环境的体验。此外，这些方法花费比所需 时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别 重要的。

技术实现思路

[0005]因此，需要具有用于与虚拟对象进行交互的改进的方法和界面的计算 机系统。此类方法和界面任选地补充或替换用于与虚拟对象进行交互的常 规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质， 并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省 用电并且增加两次电池充电之间的时间。
[0006]本公开的计算机系统减少或消除了以上缺陷以及与用于与虚拟对象进 行交互的界面相关联的其他问题(例如，用于增强现实(AR)的用户界面 和相关的非AR界面)。在一些实施方案中，该计算机系统包括台式计算机。 在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板 电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备 (例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系 统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统 具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与 触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面 (GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用 于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触 笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方 案中，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、 电子表格制作、接打电话、视频会议、收发
电子邮件、即时消息通信、健 身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/ 或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置 用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机 程序产品中。
[0007]根据一些实施方案，在包括显示生成部件和一个或多个输入设备的电 子设备处执行一种方法。该方法包括经由显示生成部件来显示包括虚拟对 象的环境的至少一部分，该虚拟对象与基于满足第一组标准来触发的第一 动作相关联。该方法还包括在由显示生成部件显示环境的该部分时检测第 一输入。该方法还包括响应于检测到第一输入：根据确定第一输入满足第 一组标准，执行第一动作；以及根据确定第一输入不满足第一组标准而是 满足第二组标准，放弃执行第一动作并且转而显示一个或多个输入的第一 视觉指示，该一个或多个输入在被执行时会使得第一组标准被满足。
[0008]根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示： 第一用户界面区域、第一用户界面区域中的第一媒体项的第一表示以及用 于显示共享用户界面的第一用户界面对象。该方法还包括在显示第一用户 界面区域时检测与共享用户界面对象相对应的第一输入。该方法还包括响 应于检测到与第一用户界面对象相对应的第一输入，显示包括第二用户界 面对象的共享用户界面以便发起用于在增强现实环境中显示第一媒体项的 第二表示的过程。该方法还包括在显示共享用户界面时，检测包括第二用 户界面对象的选择在内的一个或多个输入的序列。该方法还包括响应于检 测到包括第二用户界面对象的选择在内的一个或多个输入的序列，在包括 该一个或多个相机的视场的至少一部分的内容的第二用户界面中显示第一 媒体项的第二表示。
[0009]根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示多 个虚拟对象。该方法还包括在显示该多个虚拟对象时检测指向该多个虚拟 对象中的相应虚拟对象的第一操纵输入。该方法还包括响应于检测到指向 该多个虚拟对象中的相应虚拟对象的第一操纵输入：根据确定该多个虚拟 对象与该一个或多个相机的视场的至少一部分一起显示，基于第一操纵输 入来改变相应虚拟对象的显示属性；以及根据确定该多个虚拟对象在不包 括该一个或多个相机的视场的用户界面中显示，基于第一操纵输入来改变 该多个虚拟对象的显示属性。
[0010]根据一些实施方案，在包括显示生成部件、一个或多个输入设备和一 个或多个相机的电子设备处执行方法。该方法包括由显示生成部件显示媒 体项的表示。该方法还包括检测与在增强现实环境中显示媒体项的请求相 对应的输入。该方法还包括响应于检测到与在增强现实环境中显示媒体项 的请求相对应的输入：根据确定媒体项具有不满足在增强现实环境中显示 的兼容性标准的属性，显示用于改变媒体项的属性的提示；以及根据确定 媒体项满足兼容性标准，将与媒体项相对应的虚拟对象与该一个或多个相 机的视场的至少一部分的内容一起显示。
[0011]根据一些实施方案，在包括显示生成部件和一个或多个输入设备的电 子设备处执行一种方法。该方法包括经由显示生成部件来显示具有内容的 第一表示的第一用户界面。该方法还包括在显示具有该内容的第一表示的 第一用户界面时，经由该一个或多个输入设备来接收显示与该内容相对应 的虚拟模型的请求。该方法还包括响应于接收到显示
与该内容相对应的虚 拟模型的请求：根据确定第一用户界面被配置为执行与该内容相关联的操 作，使该内容的虚拟模型和用于执行与该内容相关联的操作的可选择用户 界面对象同时显示；以及根据确定第一用户界面不被配置为执行与该内容 相关联的操作，显示该内容的虚拟模型而不显示用于执行与该内容相关联 的操作的可选择用户界面对象。
[0012]根据一些实施方案，电子设备包括显示生成部件、一个或多个输入设 备、任选一个或多个相机、一个或多个处理器以及存储一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在包括显示生成部件、一个或多个输入设备以及一个或多个相机的电子设备处：由所述显示生成部件显示多个虚拟对象；在显示所述多个虚拟对象时，检测指向所述多个虚拟对象中的相应虚拟对象的第一操纵输入；以及响应于检测到指向所述多个虚拟对象中的所述相应虚拟对象的所述第一操纵输入：根据确定所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示，基于所述第一操纵输入来改变所述相应虚拟对象的显示属性；以及根据确定所述多个虚拟对象在不包括所述一个或多个相机的所述视场的用户界面中显示，基于所述第一操纵输入来改变所述多个虚拟对象的显示属性。2.根据权利要求1所述的方法，其中：在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象时，按第一组显示特征显示所述多个虚拟对象。3.根据权利要求2所述的方法，其中：所述第一组显示特征包括高度排序特征；并且根据所述高度排序特征来显示所述多个对象包括根据所述相应虚拟对象的相应高度对所述多个虚拟对象中的所述相应虚拟对象排序。4.根据权利要求2至3中任一项所述的方法，其中：所述第一组显示特征包括间距特征；并且根据所述间距特征来显示所述多个对象包括按相邻相应虚拟对象的相应边界之间的均匀距离来定位所述多个虚拟对象中的所述相应虚拟对象。5.根据权利要求4所述的方法，其中：所述多个虚拟对象中的第一相应虚拟对象具有与所述第一相应虚拟对象的静止状态相对应的第一边界；所述第一相应虚拟对象与第一动作相关联，所述第一动作使得所述第一虚拟对象的至少一部分延伸超出所述第一边界；所述第一相应虚拟对象具有第二边界，所述第二边界对应于所述第一动作期间所述第一相应虚拟对象的延伸范围；并且所述相邻相应虚拟对象的所述相应边界包括所述第一相应虚拟对象的所述第二边界。6.根据权利要求2至3中任一项所述的方法，包括：在使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起显示时，在基于所述第一操纵输入来改变所述相应虚拟对象的所述显示属性之后，检测在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象的请求；以及响应于检测到在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象的所述请求，显示不包括所述一个或多个相机的所述视场的所述用户界面，包括按所述第一组显示特征显示所述多个虚拟对象。7.根据权利要求6所述的方法，包括：在不包括所述一个或多个相机的所述视场的所述用户界面中显示所述多个虚拟对象时，检测使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示的
请求；以及响应于检测到使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示的所述请求，使所述多个虚拟对象与所述一个或多个相机的视场的至少一部分一起重新显示，其中基于所述第一操纵输入来改变所述相应虚拟对象的所述显示属性。8.根据权利要求1至3中任一项所述的方法，其中：所述第一操纵输入是旋转输入；并且改变所述多个虚拟对象的所述显示属性包括使所述多个虚拟对象围绕与所述多个虚拟对象相对应的边界的中心区域旋转。9.根据权利要求1至3中任一项所述的方法，包括：在显示所述多个虚拟对象之前，显示选择用户界面；在显示所述选择用户界面时，...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：苹果公司，
类型：发明
国别省市：