对环境中的用户界面进行分组的方法技术

本发明专利技术提供了用于在计算机生成的环境中显示和组织用户界面的方法，这些方法提供高效且直观的用户体验。在一些实施方案中，用户界面可被一起分组到容器中。在一些实施方案中，用户界面可被添加到容器、从容器移除、或从该容器中的一个位置移动到另一位置。在一些实施方案中，在将用户界面添加到容器之前显示视觉指示。在一些实施方案中，用户界面可替换容器中的现有用户界面。在一些实施方案中，当在计算机生成的环境中移动用户界面时，可以修改被遮蔽的用户界面的透明度。遮蔽的用户界面的透明度。遮蔽的用户界面的透明度。

【技术实现步骤摘要】
【国外来华专利技术】对环境中的用户界面进行分组的方法


[0001]本专利技术整体涉及用于对计算机生成的环境中的用户界面进行分组的系统和方法。

技术介绍

[0002]计算机生成的环境是其中至少一些显示给用户查看的对象是由计算机生成的环境。用户可与计算机生成的环境交互，诸如通过使应用程序的用户界面实例化并在计算机生成的环境中显示用户界面。

技术实现思路

[0003]本公开中描述的一些实施方案涉及将三维环境中的用户界面分组到容器中的方法。本公开中描述的一些实施方案涉及向容器添加用户界面、在容器内移动用户界面以及从容器移除用户界面的方法。这些交互提供更高效且直观的用户体验。附图和具体实施方式中提供了对实施方案的全面描述，应当理解，本
技术实现思路
不以任何方式限制本公开的范围。
附图说明
[0004]为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。
[0005]图1示出了根据本公开的一些实施方案的显示计算机生成的环境的电子设备。
[0006]图2示出了根据本公开的一些实施方案的系统或设备的示例性架构的框图。
[0007]图3A至图3C示出了根据本公开的一些实施方案的在三维环境中将用户界面添加到容器的方法。
[0008]图4A至图4B示出了根据本公开的一些实施方案的在三维环境中将用户界面插入到容器中的方法。
[0009]图5A至图5G示出了根据本公开的一些实施方案的在三维环境中将用户界面插入到容器中的方法。
[0010]图6A至图6D示出了根据本公开的一些实施方案的在三维环境中从容器移动和移除用户界面的方法。
[0011]图7是示出根据本公开的一些实施方案的在三维环境中将用户界面添加到容器的方法的流程图。
[0012]图8是示出根据本公开的一些实施方案的在三维环境中添加和/或替换容器中的用户界面的方法的流程图。
[0013]图9是示出根据本公开的一些实施方案的在三维环境中显示容器中的用户界面的方法的流程图。
具体实施方式
[0014]在以下对实施方案的描述中将引用附图，附图形成以下描述的一部分并且在附图中以举例方式示出了任选实施的具体实施方案。应当理解，在不脱离所公开的实施方案的范围的情况下，任选地使用其他实施方案并任选地进行结构性变更。
[0015]人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。XR环境在本文中通常被称为计算机生成的环境。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调整在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调整图形内容的特征。
[0016]许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，诸如μLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其他类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
[0017]图1示出了根据本公开的一些实施方案的显示计算机生成的环境(例如，XR环境)的电子设备100。在一些实施方案中，电子设备100为手持式设备或移动设备，诸如平板计算机、膝上型计算机、智能电话、可穿戴设备或头戴式显示器。下面参考图2的结构框图来描述设备100的示例。如图1所示，电子设备100和桌子104A位于物理环境102中。在一些实施方案中，电子设备100可以被配置为捕获物理环境102的包括桌子104A的区域(在电子设备100的视野中示出)。在一些实施方案中，响应于触发，电子设备100可被配置为在计算机生成的环境(例如，由图1所示的圆柱体表示)中显示对象106，该对象不存在于物理环境102中(例如，虚拟对象)，但显示在位于(例如，锚定到)真实世界桌子104A的计算机生成的表示104B的顶
部的计算机生成的环境中。例如，对象106可响应于检测到物理环境102中的桌子104A的平面表面而显示在经由设备100显示的计算机生成的环境中的桌子104A的计算机生成的表示104B的表面上。应当理解，对象106是代表性对象，并且可以在三维计算机生成的环境中包括并且渲染一个或多个不同的对象(例如，具有各种维度的对象，诸如二维或三维对象)。例如，对象可表示在计算机生成的环境中显示的应用程序或用户界面。在一些示例中，应用程序或用户界面可包括用于启动应用程序或用于执行与应用程序相关联的操作的可选择选项的显示。另外，应当理解，本文所述的三维(3D)环境(或3D对象)可以是在二维(2D)上下文中显示(例如，在2D屏幕上显示)的3D环境(或三维对象)的表示。
[0018]图2示出了根据本公开的一些实施方案的系统或设备200的示例性架构的框图。图2中的框可以表示在设备中使用的信息处理装置。应当理解，系统或设备200的部件任选地分布在两个或更多个设备中。
[0019]在一些实施方案中，设备200为移动设备，诸如移动电话(例如，智能电话或其他便携式通信设备)、平板计算机、膝上型计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在与显示器和一个或多个输入设备通信的电子设备处：经由所述显示器呈现计算机生成的环境，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；在呈现所述计算机生成的环境时，经由所述一个或多个输入设备接收在所述计算机生成的环境中显示第二用户界面的请求；根据确定所述请求满足一个或多个标准：在所述计算机生成的环境中对应于所述第二用户界面将被显示的位置的第二位置处显示视觉指示；以及将所述第二用户界面添加到包括所述第一用户界面的一组用户界面，其中所述一组用户界面响应于移动输入而一起移动。2.根据权利要求1所述的方法，还包括：根据确定所述请求满足所述一个或多个标准：在所述第二位置处显示所述第二用户界面。3.根据权利要求1至2中任一项所述的方法，还包括：根据确定所述请求不满足所述一个或多个标准：放弃在所述计算机生成的环境中的所述第二位置处显示所述视觉指示；以及放弃将所述第二用户界面添加到包括所述第一用户界面的所述一组用户界面。4.根据权利要求3所述的方法，还包括：根据确定所述请求不满足所述一个或多个标准：在所述计算机生成的环境中不同于所述第二位置的相应位置处显示所述第二用户界面。5.根据权利要求1至4中任一项所述的方法，其中所述一个或多个标准包括：当所述请求包括将所述第二用户界面移动到距所述第二位置的阈值距离内的用户输入序列时所满足的标准。6.根据权利要求1至5中任一项所述的方法，其中所述第二位置是所述计算机生成的环境中相对于所述第一用户界面的预先确定的位置。7.根据权利要求1至4和6中任一项所述的方法，其中所述一个或多个标准包括：所述请求包括不包括移动所述第二用户界面的移动部件的用于显示所述第二用户界面的用户输入的要求；以及当接收到用于显示所述第二用户界面的所述用户输入时用户的注视指向所述第二位置的要求。8.根据权利要求1至7中任一项所述的方法，还包括：在将所述第二用户界面添加到包括所述第一用户界面的所述一组用户界面之前，显示移动到所述第二位置的所述第二用户界面的动画。9.根据权利要求1至8中任一项所述的方法，其中在接收到在所述计算机生成的环境中显示所述第二用户界面的所述请求之前：所述计算机生成的环境包括第三用户界面，并且包括所述第一用户界面的所述一组用户界面包括所述第三用户界面。
10.根据权利要求9所述的方法，其中所述第二位置是在所述第一用户界面与所述第三用户界面之间并且先前至少部分地由所述第一用户界面或所述第三用户界面占据的位置。11.根据权利要求10所述的方法，还包括：根据确定所述请求满足所述一个或多个标准：移动所述第一用户界面或所述第三用户界面中的至少一者以为所述第二用户界面提供空间。12.根据权利要求1至11中任一项所述的方法，其中所述视觉指示包括具有基于所述第二用户界面的所述大小的大小的边界框。13.根据权利要求1至12中任一项所述的方法，还包括：在将所述第二用户界面添加到包括所述第一用户界面的所述一组用户界面之后，接收与移动所述第一用户界面或所述第二用户界面中的一者的请求相对应的用户输入；以及响应于接收到所述用户输入：根据所述用户输入来移动所述第一用户界面；以及根据所述用户输入来移动所述第二用户界面。14.根据权利要求1至13中任一项所述的方法，其中：当接收到在所述计算机生成的环境中显示所述第二用户界面的所述请求时，显示所述视觉指示，并且响应于检测到在所述计算机生成的环境中显示所述第二用户界面的所述请求的终止，停止显示所述视觉指示。15.根据权利要求14所述的方法，其中：接收在所述计算机生成的环境中显示所述第二用户界面的所述请求包括检测由所述电子设备的用户的手执行的预先确定的手势；并且检测在所述计算机生成的环境中显示所述第二用户界面的所述请求的终止包括检测所述用户的所述手的所述预先确定的手势的终止。16.一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：经由显示器呈现计算机生成的环境，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；在呈现所述计算机生成的环境时，经由一个或多个输入设备接收在所述计算机生成的环境中显示第二用户界面的请求；根据确定所述请求满足一个或多个标准：在所述计算机生成的环境中对应于所述第二用户界面将被显示的位置的第二位置处显示视觉指示；以及将所述第二用户界面添加到包括所述第一用户界面的一组用户界面，其中所述一组用户界面响应于移动输入而一起移动。17.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包
括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备用于：一个或多个程序，其中所述一个或多个程序被存储在存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：经由显示器呈现计算机生成的环境，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；在呈现所述计算机生成的环境时，经由一个或多个输入设备接收在所述计算机生成的环境中显示第二用户界面的请求；根据确定所述请求满足一个或多个标准：在所述计算机生成的环境中对应于所述第二用户界面将被显示的位置的第二位置处显示视觉指示；以及将所述第二用户界面添加到包括所述第一用户界面的一组用户界面，其中所述一组用户界面响应于移动输入而一起移动。18.一种电子设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于以下的指令：用于经由显示器呈现计算机生成的环境的装置，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；用于在呈现所述计算机生成的环境时经由一个或多个输入设备接收在所述计算机生成的环境中显示第二用户界面的请求的装置；用于根据确定所述请求满足一个或多个标准而执行以下操作的装置：在所述计算机生成的环境中对应于所述第二用户界面将被显示的位置的第二位置处显示视觉指示；以及将所述第二用户界面添加到包括所述第一用户界面的一组用户界面，其中所述一组用户界面响应于移动输入而一起移动。19.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：用于经由显示器呈现计算机生成的环境的装置，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；用于在呈现所述计算机生成的环境时经由一个或多个输入设备接收在所述计算机生成的环境中显示第二用户界面的请求的装置；用于根据确定所述请求满足一个或多个标准而执行以下操作的装置：在所述计算机生成的环境中对应于所述第二用户界面将被显示的位置的第二位置处显示视觉指示；以及将所述第二用户界面添加到包括所述第一用户界面的一组用户界面，其中所述一组用户界面响应于移动输入而一起移动。20.一种电子设备，包括：一个或多个处理器；存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至15所述的方法中的任一种方法的指令。21.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备的一个或多个处理器执行时，使得所述电子设备执行根据权利要求1至15所述的方法中的任一种方法。22.一种电子设备，包括：一个或多个处理器；存储器；以及用于执行根据权利要求1至15所述的方法中的任一种方法的装置。23.一种用于在电子设备中使用的信息处理装置，所述信息处理装置包括：用于执行根据权利要求1至15所述的方法中的任一种方法的装置。24.一种方法，包括：在与显示器和一个或多个输入设备通信的电子设备处：经由所述显示器呈现计算机生成的环境，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；在呈现所述计算机生成的环境时，经由所述一个或多个输入设备接收与在所述计算机生成的环境中显示第二用户界面的请求相对应的用户输入；以及根据确定所述请求满足一个或多个第一标准，所述一个或多个第一标准包括当所述电子设备的用户的注视指向所述第一用户界面时满足的第一标准：停止显示所述第一用户界面；以及在所述第一位置处显示所述第二用户界面；以及根据确定所述请求不满足所述一个或多个第一标准：维持所述第一用户界面在所述第一位置处的显示；以及在所述计算机生成的环境中的第二位置处显示所述第二用户界面。25.根据权利要求24所述的方法，其中所述第二位置是当接收到所述用户输入时所述用户的所述注视所指向的位置。26.根据权利要求24至25中任一项所述的方法，其中在接收到所述用户输入之前，所述计算机生成的环境包括第一组用户界面，所述第一组用户界面包括所述第一用户界面，其中所述一组用户界面响应于移动输入而一起移动，所述方法还包括：根据确定所述请求满足所述一个或多个第一标准：从所述第一组用户界面移除所述第一用户界面；以及将所述第二用户界面添加到所述第一组用户界面。27.根据权利要求26所述的方法，其中所述计算机生成的环境包括第三用户界面，并且所述第一组用户界面包括所述第三用户界面。28.根据权利要求1至27中任一项所述的方法，其中所述计算机生成的环境包括第一组用户界面，所述第一组用户界面包括所述第一用户界面和与所述第一用户界面相邻的第三用户界面，其中所述一组用户界面响应于移动输入而一起移动，所述方法还包括：根据确定所述请求满足一个或多个第二标准，所述一个或多个第二标准包括当所述电
子设备的用户的注视指向所述第一用户界面和所述第三用户界面之间的位置时满足的第二标准：在所述第一用户界面和所述第三用户界面之间的所述位置处显示所述第二用户界面；以及将所述第二用户界面添加到所述第一组用户界面。29.根据权利要求28所述的方法，还包括：在所述第一用户界面和所述第三用户界面之间的所述位置处显示所述第二用户界面之前，移动所述第一用户界面或所述第三用户界面中的至少一者以为所述第二用户界面提供空间。30.一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以下操作的指令：经由显示器呈现计算机生成的环境，所述计算机生成的环境包括在所述计算机生成的环境中的第一位置处的第一用户界面；在呈现所述计算机生成的环境时，经由一个或多个输入设备接收与在所述计算机生成的环境中显示第二用户界面的请求相对应的用户输入；以及根据确定所述请求满足一个或多个第一标准，所述一个或多个第一标准包括当所述电子设备的用户的注视指向所述第一用户界面时满足的第一标准：停止显示所述第一...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：