与增强和虚拟现实环境交互的系统、方法和图形用户界面技术方案

本公开涉及与增强和虚拟现实环境交互的系统、方法和图形用户界面。一种计算机系统在显示增强现实环境时同时显示：包括物理对象的一个或多个相机的视场的至少一部分的表示；以及所述视场的所述表示中的位置处的虚拟用户界面对象，其中所述位置是基于视场中的相应物理对象而被确定的。在显示所述增强现实环境时，响应于检测到改变用于增强现实环境的虚拟环境设置的输入，所述计算机系统根据对虚拟环境设置做出的改变来调节虚拟用户界面对象的外观，并且向所述视场的所述表示的至少一部分应用基于对虚拟环境设置做出的改变而选择的滤波器。滤波器。滤波器。

【技术实现步骤摘要】
与增强和虚拟现实环境交互的系统、方法和图形用户界面
[0001]本申请是申请日为2018年8月30日、申请号为201880055301.0、专利技术名称为“用于与增强和虚拟现实环境交互的系统、方法和图形用户界面”的专利技术专利申请的分案申请。


[0002]本专利技术总体涉及用于虚拟/增强现实的计算机系统，包括但不限于用于和增强现实环境与虚拟现实环境交互的电子设备。

技术介绍

[0003]近年来，用于虚拟/增强现实的计算机系统的发展显著增加。示例虚拟/增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备诸如触敏表面用于与虚拟/增强现实环境进行交互。示例触敏表面包括触控板、触敏遥控器和触摸屏显示器。此类表面用于操纵显示器上的用户界面和其中的对象。示例性用户界面对象包括数字图像、视频、文本、图标和控制元件(诸如，按钮)以及其他图形。
[0004]但用于与包括至少一些虚拟元素的环境(例如，增强现实环境、混合现实环境和虚拟现实环境)进行交互的方法和界面麻烦、低效且受限。例如，使用输入序列来选择一个或多个用户界面对象(例如，虚拟/增强现实环境中的一个或多个虚拟元素)并且对所选择的用户界面对象执行一个或多个动作是繁琐的，给用户造成显著的认知负担，并且减损与虚拟/增强现实环境的体验。此外，这些方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。

技术实现思路

[0005]因此，需要具有用于与增强现实环境和虚拟现实环境进行交互的改进的方法和界面的计算机系统。此类方法和界面任选地补充或替换用于与增强现实环境和虚拟现实环境进行交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。
[0006]利用所公开的计算机系统减少或消除了与用于虚拟/增强现实的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，该计算机系统包括台式计算机。在一些实施方案中，该计算机系统是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施方案中，该计算机系统包括个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施方案中，该计算机系统具有触控板(和/或与触控板通信)。在一些实施方案中，该计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)(并且/或者与触敏显示器通信)。在一些实施方案中，该计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户部分地通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施方案中，这些功能任选地包括玩游戏、图像编辑、绘图、演示、文字处理、电子表格制作、接打电
话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。
[0007]根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处的相应虚拟用户界面对象，其中相应虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，在对应于相应虚拟用户界面对象的位置处检测输入。该方法还包括，在继续检测输入的同时：检测输入相对于一个或多个相机的视场中的相应物理对象的移动；以及响应于检测到输入相对于一个或多个相机的视场中的相应物理对象的移动，根据输入相对于相应物理对象的移动量值来调节相应虚拟用户界面对象的外观。
[0008]根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处的相应虚拟用户界面对象，其中相应虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，检测改变用于增强现实环境的虚拟环境设置的输入。该方法还包括，响应于检测到改变虚拟环境设置的输入：根据对增强现实环境的虚拟环境设置所作的改变来调节相应虚拟用户界面对象的外观；以及将滤波器应用于一个或多个相机的视场表示的至少一部分，其中基于对虚拟环境设置作出的改变来选择滤波器。
[0009]根据一些实施方案，在具有显示生成部件、一个或多个相机以及输入设备的计算机系统处执行一种方法。该方法包括经由显示生成部件来显示增强现实环境。显示增强现实环境包括同时显示：包括相应物理对象的一个或多个相机的视场的至少一部分的表示，其中该表示随着一个或多个相机的视场的内容变化而被更新；以及在一个或多个相机的视场表示中的相应位置处显示的虚拟模型中的第一虚拟用户界面对象，其中第一虚拟用户界面对象具有基于一个或多个相机的视场中的相应物理对象而确定的位置。该方法还包括，在显示增强现实环境的同时，检测对应于对第一虚拟用户界面对象的选择的第一输入；以及响应于检测到对应于对第一虚拟用户界面对象的选择的第一输入，从虚拟模型中的第一虚拟用户界面对象的视角显示虚拟模型的模拟视场。
[0010]根据一些实施方案，在具有显示生成部件和输入设备的计算机系统处执行一种方法。该方法包括，经由显示生成部件在虚拟三维空间中显示第一虚拟用户界面对象。该方法还包括，在虚拟三维空间中显示第一虚拟用户界面对象时，经由输入设备来检测第一输入，该第一输入包括第一虚拟用户界面对象的相应部分的选择和第一输入在两个维度中的移动。该方法还包括，响应于检测到包括第一输入在两个维度中的移动的第一输入：根据确定第一虚拟用户界面对象的相应部分是第一虚拟用户界面对象的第一部分，在基于第一输入
在两个维度中的移动和第一虚拟用户界面对象的被选择的第一部分确定的第一方向上调节第一虚拟用户界面对象的外观，其中将第一虚拟用户界面对象在第一方向上的调节约束为虚拟三维空间的第一组两个维度中的移动；以及根据确定第一虚拟用户界面对象的相应部分是不同于第一虚拟用户界面对象的第一部分的第一虚拟用户界面对象的第二部分，在不同于第一方向的第二方向上调节第一虚拟用户界面对象的外观，其中基于第一输入在两个维度中的移动和第一虚拟用户界面对象被选择的第二部分确定第二方向，其中将第一虚拟用户界面对象在第二方向上的调节约束为在虚拟三维空间的不同于虚拟三维空间的第一组两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在具有显示生成部件、一个或多个相机和输入设备的计算机系统处：经由所述显示生成部件来显示增强现实环境，其中显示所述增强现实环境包括同时显示：包括相应物理对象的所述一个或多个相机的视场的至少一部分的表示，其中所述表示随着所述一个或多个相机的所述视场的内容变化而被更新；以及在所述一个或多个相机的所述视场的所述表示中的相应位置处的相应虚拟用户界面对象，其中所述相应虚拟用户界面对象具有基于所述一个或多个相机的所述视场中的所述相应物理对象而确定的位置；在显示所述增强现实环境的同时，检测改变用于所述增强现实环境的虚拟环境设置的输入；以及响应于检测到改变所述虚拟环境设置的所述输入：根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的外观；以及将滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分，其中所述滤波器是基于对所述虚拟环境设置作出的所述改变而被选择的。2.根据权利要求1所述的方法，其中将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分除了导致所述相应虚拟用户界面对象的所述外观调节之外，还导致所述增强现实环境的外观调节。3.根据权利要求1所述的方法，其中：所述虚拟环境设置被改变为夜间模式；以及将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括：减小由所述一个或多个相机捕获的图像的亮度；以及将滤色器应用于由所述一个或多个相机捕获的所述图像。4.根据权利要求1所述的方法，其中改变所述虚拟环境设置的所述输入是在所述增强现实环境中导航通过时间的轻扫输入。5.根据权利要求1至4中任一项所述的方法，其中：检测改变所述虚拟环境设置的所述输入包括检测改变所述虚拟环境设置的所述输入的移动；根据对用于所述增强现实环境的所述虚拟环境设置作出的所述改变来调节所述相应虚拟用户界面对象的所述外观包括根据改变所述虚拟环境设置的所述输入的所述移动来逐渐调节所述相应虚拟用户界面对象的所述外观；以及将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括根据改变所述虚拟环境设置的所述输入的所述移动来逐渐应用所述滤波器。6.根据权利要求1至4中任一项所述的方法，其中所述相应虚拟用户界面对象在所述增强现实环境中的所述相应物理对象上投射阴影。7.根据权利要求1至4中任一项所述的方法，其中所述相应物理对象在所述增强现实环境中的所述相应虚拟用户界面对象上投射阴影。8.根据权利要求1至4中任一项所述的方法，其中所述相应物理对象的移动导致所述增
强现实环境中所述相应虚拟用户界面对象的所述外观的一个或多个改变。9.根据权利要求1至4中任一项所述的方法，其中所述计算机系统的移动导致应用于所述一个或多个相机的所述视场的至少一部分的所述表示和所述相应虚拟用户界面对象的所述外观的视觉效果的一个或多个改变。10.根据权利要求1至4中任一项所述的方法，其中将所述滤波器应用于所述一个或多个相机的所述视场的所述表示的至少一部分包括：在所述一个或多个相机所捕获的图像被传输至所述显示生成部件之前，...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：苹果公司，
类型：发明
国别省市：