虚拟现实环境中的用户界面安全性制造技术

本公开涉及虚拟现实环境中的用户界面安全性。在一个实施例中，客户端系统接收在虚拟现实环境中显示用户界面元素的请求。客户端系统确定所请求的用户界面元素是由在客户端系统上运行的操作系统生成的系统用户界面元素还是由第三方应用或基于第三方内容生成的第三方用户界面元素。客户端系统选择性地在虚拟现实环境的第一专用平面或第二专用平面中显示用户界面元素。当确定所请求的用户界面元素是系统用户界面元素时，在虚拟现实环境的第一专用平面中显示所请求的用户界面元素。当确定所请求的用户界面元素是第三方用户界面元素时，在虚拟现实环境的第二专用平面中显示所请求的用户界面元素。

User interface security in virtual reality environment

The present disclosure relates to user interface security in a virtual reality environment. In one embodiment, the client system receives a request to display user interface elements in a virtual reality environment. The client system determines whether the requested user interface element is a system user interface element generated by the operating system running on the client system or a third-party application or a third-party user interface element generated based on the third-party content. The client system selectively displays user interface elements in the first dedicated plane or the second dedicated plane of the virtual reality environment. When it is determined that the requested user interface element is a system user interface element, the requested user interface element is displayed in the first dedicated plane of the virtual reality environment. When it is determined that the requested user interface element is a third-party user interface element, the requested user interface element is displayed in the second dedicated plane of the virtual reality environment.

【技术实现步骤摘要】
虚拟现实环境中的用户界面安全性
本公开一般涉及用于虚拟现实环境中的用户交互和体验的控件和界面。
技术介绍
虚拟现实是用户可以以看似真实或物理的方式与之交互的环境(例如，3D环境)的计算机生成的模拟。可以是单个装置或一组装置的虚拟现实系统可以生成该模拟，以例如在虚拟现实头戴设备或一些其他显示装置上显示给用户。模拟可以包括图像、声音、触觉反馈和/或模拟真实或想象环境的其他感觉。随着虚拟现实变得越来越突出，其有用的应用范围正在迅速扩大。虚拟现实最常见的应用包括游戏或其他交互式内容，但是其他应用紧随其后，诸如出于娱乐或训练目的观看视觉媒体项(例如，照片、视频)。还在探索使用虚拟现实来模拟现实生活中的对话和其他用户交互的可行性。
技术实现思路
本文公开了渲染以及与虚拟(或增强)现实环境交互的多种不同方式。虚拟现实系统可以渲染虚拟环境，该虚拟环境可以包括被渲染用于向一个或多个用户显示的虚拟空间。用户可以通过任何合适的方式在这个虚拟空间和更广阔的虚拟环境内观看和交互。所公开的方法的一个目标是提高虚拟环境的安全性。在特定实施例中，虚拟现实系统可以提供一种将虚拟现实环境内生成的操作系统(OS)内容与生成的第三方内容区分开来并相应地在不同显示平面中选择性地显示内容的方法。作为示例而非通过限制的方式，操作系统内容可以包括各种过程，诸如系统更新或通过OS运行的其他过程。作为另一示例而非通过限制的方式，第三方内容可以涉及由在虚拟现实系统上运行的应用生成的内容，诸如游戏和交互式内容。作为另一示例而非通过限制的方式，OS用户界面(例如，键盘、菜单、弹出窗口或由操作系统生成的任何其他用户界面)可以与第三方用户界面(例如，键盘、菜单、弹出窗口或由第三方生成的任何其他用户界面)区分开来。在虚拟现实环境中，用户应该能够信任在虚拟现实环境中生成的元素，诸如用户当前正在连接的第三方应用。但是，可能有恶意的第三方实体试图危害用户的安全，并在未经批准的情况下获取用户的机密信息。作为示例而非通过限制的方式，恶意第三方实体可以生成用户界面元素，诸如伪装成系统软件的一部分的键盘，希望用户将使用它来输入机密信息(例如，密码、社会安全号码等)。尽管存在恶意的第三方实体，但是用户101可以依赖于系统生成的内容并维护对系统生成的内容(诸如用户界面元素(例如，键盘))的使用。为了打击具有恶意意图的第三方，在特定实施例中，虚拟现实系统可以接受访问用户界面元素(例如，键盘)的任何请求，并确定所请求的用户界面元素是由OS生成的系统用户界面元素还是由第三方应用或基于第三方内容生成的第三方用户界面元素。作为示例而非通过限制的方式，可以从与第三方应用交互的用户接收请求，以生成用户界面元素(例如，键盘)来将他或她的凭证输入到输入字段中。在特定实施例中，虚拟现实系统可以接受请求并确定要调用的用户界面元素是否是系统的用户界面。在特定实施例中，为了区分由第三方应用生成的用户界面元素和由OS生成的用户界面元素，虚拟现实系统可以在两个独立的平面中生成这两个不同的用户界面元素。作为示例而非通过限制的方式，虚拟现实系统可以确定用户请求输入他或她的凭证，以批准OS的软件更新，并且在虚拟现实环境中在离用户一定距离的平面上显示系统键盘。作为另一示例而非通过限制的方式，虚拟现实系统可以接收显示用于输入针对服务的用户凭证的第三方键盘的请求，并且在虚拟现实环境中在离用户一定距离的平面中显示键盘，其中，为第三方键盘生成的第二平面可以比为OS内容生成的第一平面离用户更远。OS生成的用户界面元素和第三方应用之间的其他差异可以包括用户界面元素的方向(例如，键盘面向哪个方向)。在特定实施例中，第一平面可以专用于为OS生成的用户界面元素，并且第二平面可以专用于由第三方应用生成的用户界面元素，以进一步区分由OS或第三方应用生成的用户界面元素。在特定实施例中，虚拟现实系统可以通过限制对已经特别授权的应用的数据访问来进一步提高系统安全性。许多用户可以执行一定程度的多任务处理，并在任何给定时间打开和运行几个应用。作为示例而非通过限制的方式，用户可以在观看电影或玩游戏的过程中检查并回复紧急电子邮件。在特定实施例中，这些应用可以利用从VR头戴设备接收的传感器数据(例如，加速度计数据、陀螺仪数据、磁力计数据、眼睛跟踪数据等)来执行与应用相关的功能(例如，改变用户移动他或她的头部的视野)。因此，如果用户在应用之间切换，则先前的应用可能仍在接收传感器数据。在用户在当前应用中输入机密信息的情况下，这可能会危及用户的安全性，因为实体可以获取传感器数据(例如，用户正在查看的位置)，以某种程度的准确性来确定在VR环境中哪些字符输入到键盘中。在特定实施例中，可由应用访问的传感器数据可以包括从陀螺仪、加速度计、磁力计、眼睛跟踪器和位于虚拟现实系统内的任何其他传感器生成的传感器数据。作为示例而非通过限制的方式，传感器可以位于虚拟现实头戴设备和虚拟现实控制器上。在特定实施例中，虚拟现实系统可以接收第三方应用访问传感器数据的请求。虚拟现实系统可以处理该请求，并确定请求传感器数据的第三方应用当前是否正与用户连接。作为示例而非通过限制的方式，虚拟现实系统可以确定用户是否正在主动与应用交互，诸如与应用的键盘交互、滚动浏览浏览器应用的网页或者悬停在应用的元素上(例如，应用上的指针)。在特定实施例中，虚拟现实系统可以授权用户当前正在连接的第三方应用来接收传感器数据。相反，在特定实施例中，如果用户当前没有与应用(例如，在后台运行的应用)连接，则虚拟现实系统可以阻止第三方应用接收传感器数据。在做出确定之后，虚拟现实系统可以将传感器数据发送到授权的应用，以接收传感器数据。在特定实施例中，用户可以授权特定的第三方应用接收传感器数据。所公开的方法的另一目标是提高在虚拟现实环境中的用户界面元素(例如，键盘、径向菜单等)的生成。在特定实施例中，虚拟现实系统可以提供一种使用位置数据在虚拟现实环境内为应用生成用户界面元素的方法。在虚拟现实环境内，用户可以查看各种内容。用户界面元素的生成可以遮挡对用户查看来说重要的应用的一部分。作为示例而非通过限制的方式，遮挡部分可以包含内容，诸如用户用生成的用户界面元素回答的问题。作为另一示例而非通过限制的方式，遮挡内容可以包括对搜索字段框的预测输入。为了避免在虚拟现实环境内遮挡应用的一部分，可以允许用户手动将用户界面元素移动到不同的位置。作为示例而非通过限制的方式，用户可以点击键盘并将键盘拖放到另一位置。作为另一示例而非通过限制的方式，用户可以使用手势将键盘从一个位置移动到另一位置。虚拟现实系统可以存储与用户界面元素相关联的位置数据，以识别虚拟现实环境内可以不遮挡用户想要查看的应用部分的位置。假设用户可以将用户界面元素移开，以查看用户想要看到与用户界面元素连接的任何内容。虚拟现实系统可以使用存储的数据，以在不遮挡用户想要查看的应用的任何部分的位置生成和显示用户界面元素。在特定实施例中，虚拟现实系统可以存储和编译来自多个用户的位置数据，以准确识别应用的显示区域中可能包含内容的区域。所公开的方法的另一目标是在虚拟现实环境内提供复制和粘贴功能。用户在使用他们的设备(例如，智能手机、平板电脑、笔记本电脑等)时，可能会想当然地认为有很多特性本文档来自技高网...

【技术保护点】
1.一种方法，包括由客户端系统：接收在虚拟现实环境中显示用户界面元素的请求；确定所请求的用户界面元素是由在所述客户端系统上运行的操作系统生成的系统用户界面元素还是由第三方应用或基于第三方内容生成的第三方用户界面元素；并且选择性地在所述虚拟现实环境的第一专用平面或第二专用平面中显示所述用户界面元素，其中：当确定所请求的用户界面元素是系统用户界面元素时，在所述虚拟现实环境的所述第一专用平面中显示所请求的用户界面元素；或者当确定所请求的用户界面元素是第三方用户界面元素时，在所述虚拟现实环境的所述第二专用平面中显示所请求的用户界面元素；其中，所述第一专用平面与所述第二专用平面不同。

【技术特征摘要】
2018.05.04 US 15/971,1011.一种方法，包括由客户端系统：接收在虚拟现实环境中显示用户界面元素的请求；确定所请求的用户界面元素是由在所述客户端系统上运行的操作系统生成的系统用户界面元素还是由第三方应用或基于第三方内容生成的第三方用户界面元素；并且选择性地在所述虚拟现实环境的第一专用平面或第二专用平面中显示所述用户界面元素，其中：当确定所请求的用户界面元素是系统用户界面元素时，在所述虚拟现实环境的所述第一专用平面中显示所请求的用户界面元素；或者当确定所请求的用户界面元素是第三方用户界面元素时，在所述虚拟现实环境的所述第二专用平面中显示所请求的用户界面元素；其中，所述第一专用平面与所述第二专用平面不同。2.根据权利要求1所述的方法，还包括：从第一第三方应用接收访问传感器数据的请求；确定所述第一第三方应用是否是当前活动的应用，其中，所述当前活动的应用是正在和与所述客户端系统相关联的用户交互的当前应用；基于所述第一第三方应用是否是所述当前活动的应用的确定，选择性地授权或阻止所述第三方应用接收传感器数据，其中：在确定所述第一第三方应用是所述当前活动的应用时，授权所述第一第三方应用从所述客户端系统接收传感器数据；或者在确定所述第一第三方应用不是所述当前活动的应用时，阻止所述第一第三方应用从所述客户端系统接收传感器数据；并且响应于确定所述第一第三方应用被授权接收传感器数据，将所述传感器数据发送到所述第一第三方应用。3.根据权利要求2所述的方法，其中，所述传感器数据包括陀螺仪数据、加速度计数据、磁力计数据和眼睛跟踪数据中的至少一个。4.根据权利要求2所述的方法，还包括：从所述用户接收授权，以授权第二第三方应用从所述客户端系统接收传感器数据；并且当所述第一第三方应用是所述当前活动的应用时，基于所述授权向所述第二第三方应用发送所述传感器数据。5.根据权利要求2所述的方法，其中，授权所述第一第三方应用从所述客户端系统接收传感器数据是基于：确定所述第一第三方应用请求所述用户界面元素。6.根据权利要求2所述的方法，其中，阻止所述第一第三方应用接收传感器数据是基于：确定所述第一第三方应用没有请求所述用户界面元素。7.根据权利要求2所述的方法，其中，一个或多个第三方应用被放在列表上，以自动授权所述一个或多个第三方应用接收传感器数据。8.根据权利要求2所述的方法，其中，一个或多个第三方应用被放在列表上，以自动阻止所述一个或多个第三方应用接收传感器数据。9.根据权利要求1所述的方法，其中，所述第一专用平面专用于显示由所述操作系统生成的系统用户界面元素。10.根据权利要求1所述的方法，其中，所述第一专用平面相对于用户的视点具有与所述第二专用平面不同的深度。11.根据权利要求10所述的方法，其中，所述第一专用平面比所述第二专用平面更靠近所述用户的视点。12.一种或多种包含软件的计算机可读非暂时性存储介质，所述软件在被执行时能够操作，以：接收在虚拟现实环境中显示用户界面元素的请求；确定所请求的用户界面元素是由在客户端系统上运行的操作系统生成的系统用户界面元素还是由第三方应用或基于第三方内容生成的第三方用户界面元素；并且选择性地在所述虚拟现实环境的第一专用平面或第二专用平面中显示所述用户界面元素，其中：当确定所请求的用户...

【专利技术属性】
技术研发人员：贾斯廷·罗格斯，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国,US