用于提供计算机生成的体验的设备、方法和图形用户界面技术

本公开涉及用于提供计算机生成的体验的设备、方法和图形用户界面。计算系统经由第一显示生成部件显示第一由计算机生成的环境并且经由第二显示生成部件同时显示：处于经由该第一显示生成部件查看该第一由计算机生成的环境的位置中的、该计算系统的用户的一部分的视觉表示，以及提供该第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素。该计算系统改变该用户的该部分的该视觉表示以表示相应时间段内该用户的外观的变化，并且改变该一个或多个图形元素以表示该相应时间段内该第一由计算机生成的环境的变化。内该第一由计算机生成的环境的变化。内该第一由计算机生成的环境的变化。

【技术实现步骤摘要】
用于提供计算机生成的体验的设备、方法和图形用户界面
[0001]本申请是基于申请日为2021年3月15日、申请号为2021800201704、专利技术名称为“用于提供计算机生成的体验的设备、方法和图形用户界面”的中国专利技术专利申请的分案申请。


[0002]本公开整体涉及具有一个或多个显示生成部件和提供计算机生成的体验的一个或多个输入设备(包括但不限于经由一个或多个显示器提供虚拟现实和混合现实体验的电子设备)的计算系统。

技术介绍

[0003]近年来，用于增强现实的计算系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的表示的虚拟元素。用于计算系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括虚拟三维对象、数字图像、视频、文本、图标、控制元素(诸如按钮)以及其他图形。
[0004]但用于与包括至少一些虚拟元素的环境(例如，应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及虚拟对象操纵复杂、繁琐且容易出错的系统，会给用户造成巨大的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。此外，提供虚拟现实和/或混合现实体验的许多系统使用头戴式显示设备，这些头戴式显示设备将用户的面部与其周围环境物理地阻隔开来，并且在用户参与虚拟现实和混合现实体验时阻碍社交互动和与外部世界的信息交换。

技术实现思路

[0005]因此，需要具有改进的方法和界面的计算系统来向用户提供计算机生成的体验，从而使得与计算系统的交互对用户来说更有效且更直观。还需要具有改进的方法和界面的计算系统来向用户提供计算机生成的体验，从而在用户参与各种虚拟现实和混合现实体验时促进更好的社交互动、礼仪和与周围环境的信息交换。此类方法和界面任选地补充或替换用于向用户提供计算机生成的现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。此类方法和界面还例如通过以下方式改善用户的体验：当用户参与计算系统所提供的虚拟现实体验和/或混合现实体验时，减少由于对于用户和存在于相同物理环境中的他人而言缺少社会线索和视觉信息而引起的错误、打断和时间延迟。
[0006]所公开的系统减少或消除了与用于计算系统的用户界面相关联的上述缺陷和其
他问题，该计算系统具有显示生成部件和一个或多个输入设备。在一些实施方案中，计算系统是具有一个或多个相关联的显示器的台式计算机。在一些实施方案中，计算系统是便携式设备(例如，笔记本电脑、平板电脑或手持式设备)。在一些实施方案中，计算系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算系统具有触控板。在一些实施方案中，计算系统具有一个或多个相机。在一些实施方案中，计算系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算系统具有一个或多个手部跟踪部件。在一些实施方案中，除一个或多个显示生成部件之外，计算系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和一个或多个音频输出设备。在一些实施方案中，计算系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)以及语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0007]如本文所公开，计算系统包括至少两个显示生成部件，其中第一显示生成部件面向用户并向用户提供三维计算机生成的体验，并且第二显示生成部件背对用户并提供与用户相关的状态信息(例如，用户眼睛的移动)和/或用户当前查看的计算机生成的体验(例如，与用户查看的内容相关的元数据和与该内容相关联的沉浸级别)。第一显示生成部件和第二显示生成部件任选地是包围在头戴式显示设备(HMD)的相同外壳中并且分别向内面向穿戴HMD的用户并向外面向用户周围的物理环境的两个显示器。第二显示生成部件任选地提供实时状态信息，该实时状态信息包括被第一显示生成部件遮挡的用户的部分的视觉表示并且包括与当前经由第一显示生成部件向用户示出的内容相关的元数据和/或与该内容相关联的沉浸级别，使得用户的周围物理环境中的另一个或多个人可看到第二显示生成部件所提供的视觉信息和元数据并相应地采取行动，例如在用户正经由第一显示生成部件查看计算机生成的内容时，在适当时与用户交谈，而不是不必要地回避与用户互动或不适当地打断用户。在一些实施方案中，计算系统的用户任选地激活计算系统的不同模式以在参与经由第一显示生成部件提供的计算机生成的环境时符合他/她的预期参与级别和隐私需求，并且计算系统提供与各种模式相关的状态信息以向周围物理环境中的人警示用户的此类意图和需求，使得减少周围物理环境中的人的非预期、非期望和/或不必要打断以及互动回避。
[0008]如本文所公开，当计算系统包括相同外壳中的至少两个显示生成部件时，第二(例如，面向外的)显示生成部件任选地显示上下文信息，该上下文信息基于当前上下文来指示计算机生成的体验的可用性。响应于检测到第一(例如，面向内的)显示生成部件已被放置在用户眼睛的前面(例如，用户正以面向内的显示器面向其双眼的方式穿戴HMD，或用户正以面向内的显示器位于其双眼前面的方式保持HMD)，计算系统经由第一显示生成部件向用
户提供计算机生成的体验。(例如，在用户处于查看面向外的显示器的位置时(在用户未将HMD穿戴在他/她的头部上时，在HMD被放置在桌子上时等))基于当前上下文经由面向外的显示器自动地向用户警示可用计算机生成的体验以及/或者在面向内的显示器被放置在用户眼睛的前面时(例如，在用户将HMD放置在他/她的头部上或以内部显示器面向用户的面部或眼睛的方式保持HMD时)自动地显示与当前上下文相对应的计算机生成的体验，减少了用户查明什么计算机生成的体验在各种上下文中可用及选择性地查看期望的计算机生成的体验所需的输入的数量、复杂性和范围(例如，不必一直穿戴HMD，和/或不必浏览能够选择的选项以定位期望的CGR内容项目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在包括第一显示生成部件、第二显示生成部件和一个或多个输入设备的计算系统处：经由所述第一显示生成部件显示第一由计算机生成的环境；在经由所述第一显示生成部件显示所述第一由计算机生成的环境时，同时经由所述第二显示生成部件显示：处于经由所述第一显示生成部件查看所述第一由计算机生成的环境的位置中的、所述计算系统的用户的一部分的视觉表示，以及提供所述第一由计算机生成的环境中的内容的视觉指示的一个或多个图形元素，其中同时显示所述用户的所述部分的所述视觉表示和所述一个或多个图形元素包括：改变所述用户的所述部分的所述视觉表示以表示相应时间段内所述用户的外观的变化；以及改变提供所述第一由计算机生成的环境中的内容的所述视觉指示的所述一个或多个图形元素以表示所述相应时间段内所述第一由计算机生成的环境的变化。2.根据权利要求1所述的方法，其中改变所述用户的所述部分的所述视觉表示以表示所述相应时间段内所述用户的所述外观的变化包括：根据所述用户的所述部分在相对于所述第一显示生成部件的第一方向上的移动，在所述第二显示生成部件上显示所述用户的所述部分的所述视觉表示在所述第一方向上的移动；以及根据所述用户的所述部分在相对于所述第一显示生成部件的第二方向上的移动，所述第二方向基本上垂直于所述第一方向，在所述第二显示生成部件上显示所述用户的所述部分的所述视觉表示在与所述第二方向基本上相反的第三方向上的移动。3.根据权利要求1所述的方法，其中同时显示所述用户的所述部分的所述视觉表示和所述一个或多个图形元素包括根据为所述视觉表示的第一显示特性指定的预定义的特征值来生成所述用户的所述部分的所述视觉表示。4.根据权利要求3所述的方法，其中为所述视觉表示的所述第一显示特性指定的所述预定义的特征值包括所述用户的所述部分的所述视觉表示的不透明度的预定义的降低量。5.根据权利要求1至4中任一项所述的方法，其中同时显示所述用户的所述部分的所述视觉表示和所述一个或多个图形元素包括在所述用户的所述部分的所述视觉表示上应用预定义的视觉效果。6.根据权利要求1至4中任一项所述的方法，其中经由所述第二显示生成部件同时显示所述用户的所述部分的所述视觉表示和所述一个或多个图形元素包括在所述用户的所述部分的所述视觉表示与提供所述第一由计算机生成的环境的所述内容的所述视觉指示的所述一个或多个图形元素之间显示扩散彩色层。7.根据权利要求1至4中任一项所述的方法，其中经由所述第二显示生成部件同时显示所述用户的所述部分的所述视觉表示和所述一个或多个图形元素包括以第一图形分辨率显示所述用户的所述部分的所述视觉表示并且以不同于所述第一图形分辨率的第二图形分辨率显示提供所述第一由计算机生成的环境的所述内容的所述视觉指示的所述一个或多个图形元素。8.根据权利要求1至4中任一项所述的方法，其中同时显示所述用户的所述部分的所述
视觉表示和所述一个或多个图形元素包括：根据确定检测到所述用户的所述外观的第一变化，根据所述用户的所述外观的所述第一变化来改变所述用户的所述部分的所述视觉表示而不改变提供所述第一由计算机生成的环境中的所述内容的所述视觉指示的所述一...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：苹果公司，
类型：发明
国别省市：