在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质技术

本发明专利技术提供了用于在计算机生成的环境中显示用户界面的方法，这些方法提供高效且直观的用户体验。在一些实施方案中，用户界面可具有不同的沉浸水平。在一些实施方案中，用户界面可基于其在三维环境中的位置或距用户的距离而具有相应的沉浸水平。在一些实施方案中，用户界面可基于该用户界面的状态而具有相应的沉浸水平。在一些实施方案中，用户界面可响应于用户与该用户界面的交互而从一个沉浸水平切换到另一沉浸水平。平切换到另一沉浸水平。平切换到另一沉浸水平。

【技术实现步骤摘要】
【国外来华专利技术】在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质


[0001]本专利技术整体涉及用于在计算机生成的环境中显示用户界面的方法。

技术介绍

[0002]计算机生成的环境是其中至少一些显示给用户查看的对象是由计算机生成的环境。用户可与计算机生成的环境交互，诸如通过致使显示应用程序的用户界面。

技术实现思路

[0003]本公开中描述的一些实施方案涉及在计算机生成的环境中显示应用程序的用户界面的方法。本公开中描述的一些实施方案涉及计算机生成的环境中用户界面的不同沉浸水平。这些交互提供更高效且直观的用户体验。附图和具体实施方式中提供了对实施方案的全面描述，应当理解，本
技术实现思路
不以任何方式限制本公开的范围。
附图说明
[0004]为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。
[0005]图1示出了根据本公开的一些实施方案的显示计算机生成的环境的电子设备。
[0006]图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的示例性架构的框图。
[0007]图3A至图3C示出了根据本公开的一些实施方案的在三维环境中显示应用程序的用户界面的方法。
[0008]图4A至图4B示出了根据本公开的一些实施方案的在应用程序的用户界面上显示对象的方法。
[0009]图5A至图5B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。
[0010]图6A至图6B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。
[0011]图7是示出根据本公开的一些实施方案的在三维环境中显示应用程序的用户界面的方法的流程图。
具体实施方式
[0012]在以下对实施方案的描述中将引用附图，附图形成以下描述的一部分并且在附图中以举例方式示出了任选实施的具体实施方案。应当理解，在不脱离所公开的实施方案的范围的情况下，任选地使用其他实施方案并任选地进行结构性变更。
[0013]人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知
物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。XR环境在本文中通常被称为计算机生成的环境。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。
[0014]许多不同类型的电子设备可以使用户能够与XR环境进行交互以及/或者感测XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式设备、基于投影的设备、具有集成显示器能力的窗户或车辆挡风玻璃、被形成为透镜以放置在用户眼睛上的显示器(例如，接触镜片)、头戴式耳机/听筒、具有或不具有触觉反馈的输入设备(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式/膝上型计算机。头戴式设备可具有不透明显示器和一个或多个扬声器。其他头戴式设备可被配置为接受不透明外部显示器(例如，智能电话)。头戴式设备可包括用于捕获物理环境的图像或视频的一个或多个图像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式设备可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的设备可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影设备也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
[0015]图1示出了根据本公开的一些实施方案的可配置为显示计算机生成的环境的电子设备100。在一些实施方案中，电子设备100是便携式设备，诸如平板计算机、膝上型计算机或智能电话。参考图2A至图2B更详细地描述了电子设备100的示例性架构。图1示出了位于物理环境102中的电子设备100和桌子104A。在一些实施方案中，电子设备100被配置为捕获和/或显示物理环境102的包括桌子104A(在电子设备100的视野中示出)的区域。在一些实施方案中，电子设备100被配置为在计算机生成的环境中显示一个或多个虚拟对象，该一个或多个虚拟对象不存在于物理环境102中，而是显示在计算机生成的环境中(例如，定位在或以其他方式锚定到真实世界桌子104A的计算机生成的表示104B的顶表面上)。在图1中，不存在于物理环境中的对象106(例如，虚拟对象)例如任选地响应于检测到物理环境102中的桌子104A的平坦表面而显示在经由设备100显示的计算机生成的环境中的桌子104B的表面上。应当理解，对象106是代表性对象，并且可以在二维或三维计算机生成的环境中包括并且渲染一个或多个不同的对象(例如，具有各种维度的对象，诸如二维或三维对象)。例如，虚拟对象可包括在计算机生成的环境中显示的应用程序或用户界面。另外，应当理解，
本文所述的三维(3D)环境(或3D对象)可以是在二维(2D)上下文中显示(例如，在2D显示屏幕上显示)的3D环境(或3D对象)的表示。
[0016]图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的架构的示例性框图。图2A中的框可以表示在设备中使用的信息处理装置。在一些实施方案中，设备200为便携式设备，诸如移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。如图2A所示，设备200任选地包括各种传感器(例如，一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218、一个或多个存储器220和/或通信电路222。一个或多个通信总线208任选地用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在与显示器和一个或多个输入设备通信的电子设备处：经由所述显示器呈现计算机生成的环境；在呈现所述计算机生成的环境时，经由所述一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入；以及响应于接收到所述用户输入：在所述计算机生成的环境中显示所述第一应用程序的第一用户界面；根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定，变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性，其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量；以及根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定，放弃变更所述计算机生成的环境的所述视觉特性。2.根据权利要求1所述的方法，其中变更所述计算机生成的环境的所述视觉特性包括改变所述计算机生成的环境的至少一部分的亮度。3.根据权利要求1所述的方法，其中在接收到所述用户输入之前，所述计算机生成的环境包括不同于所述第一应用程序的第二应用程序的用户界面，并且变更所述计算机生成的环境的所述视觉特性包括停止在所述计算机生成的环境中显示所述第二应用程序的所述用户界面。4.根据权利要求1至3中任一项所述的方法，其中：在所述第一应用程序的所述当前沉浸状态是所述第一沉浸状态时，所述第一应用程序的所述第一用户界面以具有第一俯仰值的取向显示在所述计算机生成的环境内，并且在所述第一应用程序的所述当前沉浸状态是所述第二沉浸状态时，所述第一应用程序的所述第一用户界面以具有不同于所述第一俯仰值的第二俯仰值的取向显示在所述计算机生成的环境内。5.根据权利要求1至4中任一项所述的方法，还包括：根据所述第一应用程序处于内容消费模式的确定，将所述第一应用程序配置为具有所述第一沉浸状态；以及根据所述第一应用程序处于不同于所述内容消费模式的交互模式的确定，将所述第一应用程序配置为具有所述第二沉浸状态。6.根据权利要求1至5中任一项所述的方法，其中：所述计算机生成的环境包括所述第一应用程序的所述第一用户界面和所述第一应用程序的与所述第一用户界面在视觉上分离的第二用户界面，并且所述第一应用程序的所述第一用户界面以具有第一俯仰值的取向显示在所述计算机生成的环境内，并且所述第一应用程序的所述第二用户界面以具有不同于所述第一俯仰值的第二俯仰值的取向显示在所述计算机生成的环境内。7.根据权利要求1至6中任一项所述的方法，其中所述第一应用程序的所述第一用户界面包括多个用户界面元素，所述多个用户界面元素包括第一可选择选项，所述方法还包括：在显示所述第一用户界面时，确定所述设备的用户的目光指向所述第一可选择选项；以及
根据所述用户的所述目光指向所述第一可选择选项的确定，在视觉上强调所述第一可选择选项并且在视觉上去强调所述多个用户界面元素中的其他用户界面元素。8.根据权利要求1至7中任一项所述的方法，还包括：在所述第一应用程序的所述当前沉浸状态是第一相应沉浸状态时，接收第二用户输入；以及响应于接收到所述第二用户输入，将所述第一应用程序配置为具有不同于所述第一相应沉浸状态的第二相应沉浸状态。9.根据权利要求8所述的方法，其中所述第二用户输入对应于显示内容的请求。10.根据权利要求8所述的方法，其中所述第二用户输入对应于将所述第一用户界面移动到所述计算机生成的环境中与所述第二相应沉浸状态相关联的位置的请求。11.根据权利要求1至10中任一项所述的方法，其中变更除所述第一应用程序之外的所述计算机生成的环境的所述视觉特性包括在所述计算机生成的环境中显示一个或多个沉浸场，并且放弃变更所述计算机生成的环境的所述视觉特性包括放弃在所述计算机生成的环境中显示所述一个或多个沉浸场。12.根据权利要求11所述的方法，其中所述第一应用程序的所述第一用户界面位于所述一个或多个沉浸场的有效边界内。13.根据权利要求12所述的方法，其中所述一个或多个沉浸场的所述有效边界涵盖比所述第一应用程序的所述第一用户界面的区域大的区域。14.根据权利要求12至13中任一项所述的方法，其中变更除所述第一应用程序之外的所述计算机生成的环境的所述视觉特性包括在视觉上去强调除所述第一应用程序的所述第一用户界面之外的所述计算机生成的环境中位于所述一个或多个沉浸场的所述有效边界内的一个或多个对象。15.根据权利要求12至13中任一项所述的方法，其中根据所述第一应用程序的所述当前沉浸状态是第一沉浸状态的确定，所述一个或多个沉浸场的所述有效边界涵盖第一区域，所述方法还包括：根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态和所述第二沉浸状态的第三沉浸状态的确定，在所述计算机生成的环境中显示所述一个或多个沉浸场，其中所述一个或多个沉浸场的所述有效边界涵盖不同于所述第一区域的第二...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：苹果公司，
类型：发明
国别省市：