具有滑动菜单的人工现实系统技术方案

描述了一种人工现实系统，其在人工现实环境中渲染、呈现和控制用户界面元素，并响应于检测到的用户的一个或更多个手势来执行动作。人工现实系统可以包括可以用一只手激活和交互的菜单。响应于检测到使用一只手执行的菜单激活手势，人工现实系统可以使得菜单被渲染。手的菜单滑动手势(例如，水平运动)可用于使可滑动地接合的用户界面(UI)元素沿着菜单的水平维度移动，同时UI菜单的水平定位保持不变。垂直于菜单滑动手势的手的运动(例如，非水平运动)可以导致菜单被重新定位。人工现实系统的实现确实需要使用双手或使用其他输入设备，以便与人工现实系统交互。以便与人工现实系统交互。以便与人工现实系统交互。

【技术实现步骤摘要】
【国外来华专利技术】具有滑动菜单的人工现实系统
[0001]相关申请的交叉引用
[0002]本申请要求2019年6月7日提交的美国申请第16/434,919号的优先权，该申请的内容为了所有目的通过引用以其整体并入本文。


[0003]本公开总体上涉及人工现实系统，例如虚拟现实、混合现实和/或增强现实系统，更具体地，涉及人工现实系统的用户界面。
[0004]背景
[0005]人工现实系统正变得越来越普遍，应用于许多领域，诸如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
[0006]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可以结合由用户佩戴的头戴式显示器(HMD)，并被配置为向用户输出人工现实内容。人工现实内容可包括完全生成内容或与捕获内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用或以其他方式配置系统。
[0007]概述
[0008]总的来说，本公开描述了人工现实系统，更具体地，描述了用于在人工现实环境中呈现和控制用户界面元素的图形用户界面元素和技术。
[0009]例如，描述了人工现实系统，其响应于检测到用户的一个或更多个预定义手势(gesture)，例如用户的手、手指、拇指或手臂的特定运动、构形(configuration)、位置和/或取向，或者预定义手势的组合，生成并渲染图形用户界面元素以显示给用户。在一些示例中，人工现实系统还可以响应于结合其他条件的特定手势的检测来触发图形用户界面元素的生成和渲染，其他条件例如是物理环境中特定手势相对于用户的当前视场的位置和取向，这可以通过用户的实时凝视跟踪来确定，或者相对于用户佩戴的HMD的姿势(pose)来确定。
[0010]在一些示例中，人工现实系统可以生成并呈现图形用户界面元素作为相对于当前正在人工现实系统的显示器内渲染的人工现实内容的叠加元素(overlay element)。图形用户界面元素可以是例如图形用户界面，例如用户与之交互以操作人工现实系统的菜单或子菜单，或者可由用户选择和操作的单个图形用户界面元素，例如切换元素(toggle element)、下拉元素、菜单选择元素、二维或三维形状、图形输入键或键盘、内容显示窗口等。
[0011]一些HMD的技术问题是缺少可用于与人工现实系统的各方面交互的输入设备，例如，在菜单内定位选择用户界面元素。在一些系统中，人工现实系统可以使用用户的双手来
提供用户与菜单或图标的交互。然而，这种类型的交互的技术问题是一只手可能会遮挡另一只手，使得人工现实系统难以准确确定用户的意图。此外，一些用户可能有残疾，这可能会妨碍他们使用双手与人工现实系统交互。作为前述技术问题的技术解决方案，一些方面包括可以用一只手激活和交互的菜单。响应于检测到使用一只手执行的菜单激活手势，人工现实系统可以使得菜单被渲染。手的菜单滑动手势(menu sliding gesture)(例如，水平运动)可用于使可滑动地接合的用户界面(slidably engageable user interface)(UI)元素沿着菜单的水平维度移动，同时保持菜单的水平定位不变。在一些方面，基本上垂直于菜单滑动手势的手的运动(例如，非水平运动)可以导致菜单被重新定位。人工现实系统的实现不需要使用双手或使用其他输入设备来与人工现实系统交互，因此相对于传统人工现实实现的这种技术改进可以提供一个或更多个实际应用，例如提供易用性、为残疾人提供与使用一只手与系统交互相关的能力，以及准确确定用户与菜单或其他用户界面元素交互的能力。
[0012]在一个或更多个示例方面，一种人工现实系统包括被配置为捕获图像数据的图像捕获设备；头戴式设备(HMD)，该头戴式设备被配置为输出人工现实内容；手势检测器，该手势检测器被配置为从图像数据中识别菜单激活手势，该菜单激活手势包括手处于基本朝上的取向的手的构形以及手的拇指和手指的捏构形；UI引擎，该UI引擎被配置为响应于菜单激活手势，生成菜单界面和在相对于菜单界面的第一位置的可滑动地接合的UI元素；以及渲染引擎，该渲染引擎被配置为渲染人工现实内容、菜单界面和可滑动地接合的UI元素，以在HMD处显示。
[0013]在一个或更多个进一步的示例方面，一种方法包括通过包括头戴式设备(HMD)的人工现实系统经由图像捕获设备获得图像数据；由人工现实系统从图像数据识别菜单激活手势，该菜单激活手势包括手处于基本朝上的取向的手的构形以及手的拇指和手指的捏构形；由人工现实系统响应于菜单激活手势，生成菜单界面和在相对于菜单界面的第一位置的可滑动地接合的UI元素；以及由人工现实系统渲染人工现实内容、菜单界面和可滑动地接合的UI元素，以在HMD处显示。
[0014]在一个或更多个附加的示例方面，一种非暂时性计算机可读介质包括指令，当被执行时，所述指令使得人工现实系统的一个或更多个处理器：经由图像捕获设备捕获图像数据；从图像数据识别包括手的构形的菜单激活手势；响应于菜单激活手势，生成菜单界面和在相对于菜单界面的第一位置的可滑动地接合的UI元素；识别在菜单激活手势之后包括手的构形结合手的运动的菜单滑动手势；响应于菜单滑动手势，将可滑动地接合的UI元素平移到相对于菜单界面的第二位置；并且渲染人工现实内容、菜单界面和可滑动地接合的UI元素，用于在头戴式设备(HMD)处显示。
[0015]在一个示例中，提供了一种人工现实系统，包括：被配置为捕获图像数据的图像捕获设备；头戴式显示器(HMD)，该头戴式显示器被配置为输出人工现实内容；手势检测器，该手势检测器被配置为从图像数据中识别菜单激活手势，该菜单激活手势包括手处于基本朝上的取向的手的构形以及手的拇指和手指的捏构形；用户界面(UI)引擎，该用户界面引擎被配置为响应于菜单激活手势，生成菜单界面和在相对于菜单界面的第一位置的可滑动地接合的UI元素；以及渲染引擎，该渲染引擎被配置为渲染人工现实内容、菜单界面和可滑动地接合的UI元素，以在HMD处显示。
[0016]在一些实施例中，菜单界面优选地包括沿着菜单界面的维度排列的一个或更多个菜单项，并且其中UI引擎被配置为根据可滑动地接合的UI元素相对于菜单界面的位置来突出显示菜单项之一。
[0017]在一些实施例中，一个或更多个菜单项优选地对应于在人工现实系统上执行的相应应用。
[0018]在一些实施例中，手势检测器优选地进一步被配置为从图像数据中识别菜单滑动手势，该菜单滑动手势包括手的构形结合手的运动，并且其中UI引擎进一步被配置为响应于菜单滑动手势，将可滑动地接合的UI元素平移到相对于菜单界面的第二位置。
[0019]在一些实施例中，菜单本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统，包括：图像捕获设备，其被配置为捕获图像数据；头戴式显示器(HMD)，其被配置为输出人工现实内容；手势检测器，其被配置为从所述图像数据中识别菜单激活手势，所述菜单激活手势包括手处于基本朝上的取向的手的构形以及手的拇指和手指的捏构形；用户界面(UI)引擎，其被配置为响应于所述菜单激活手势，生成菜单界面和在相对于所述菜单界面的第一位置的可滑动地接合的UI元素；和渲染引擎，其被配置为渲染所述人工现实内容、所述菜单界面和所述可滑动地接合的UI元素，以在所述HMD处显示。2.根据权利要求1所述的人工现实系统，其中，所述菜单界面包括沿着所述菜单界面的维度排列的一个或更多个菜单项，并且其中，所述UI引擎被配置为根据所述可滑动地接合的UI元素相对于所述菜单界面的位置来突出显示所述菜单项之一；并且优选地，其中，所述一个或更多个菜单项对应于在所述人工现实系统上执行的相应应用。3.根据权利要求1或权利要求2所述的人工现实系统，其中，所述手势检测器还被配置成从所述图像数据中识别菜单滑动手势，所述菜单滑动手势包括手的构形结合手的运动，并且其中，所述UI引擎还被配置为响应于所述菜单滑动手势，将所述可滑动地接合的UI元素平移到相对于所述菜单界面的第二位置；并且优选地其中，所述菜单界面包括沿着所述菜单界面的维度排列的一个或更多个菜单项，其中，为了将所述可滑动地接合的UI元素平移到相对于所述菜单界面的所述第二位置，所述UI引擎被配置为沿着所述菜单界面的维度将所述可滑动地接合的UI元素滑动到相对于所述菜单界面的所述第二位置；和/或优选地其中，所述菜单滑动手势包括手在基本上第一方向上的运动，其中，所述手势检测器被配置成从所述图像数据中识别在所述菜单激活手势之后手在基本上第二方向上的运动，所述基本上第二方向基本上垂直于所述基本上第一方向，其中，所述UI引擎还被配置为响应于手在所述基本上第二方向上的运动，平移所述可滑动地接合的UI元素和所述菜单界面，同时保持所述可滑动地接合的UI元素相对于所述菜单界面的位置。4.根据权利要求1、权利要求2或权利要求3所述的人工现实系统，还包括：用于执行一个或更多个人工现实应用的应用引擎，其中，所述手势检测器被配置成从所述图像数据中识别所述菜单滑动手势之后的选择手势，并且其中，所述应用引擎被配置成响应于所述选择手势来执行动作；并且优选地，其中，所述选择手势包括以下之一：(1)手的不同手指的移动，(2)手在基本上垂直于所述菜单界面的方向上的平移，或者(3)将手的拇指和手指重新构形为不再处于所述捏构形。5.根据权利要求1至4中任一项所述的人工现实系统，其中，所述手势检测器还被配置成从所述图像数据中识别在所述菜单激活手势之前的菜单提示手势，并且
其中，所述UI引擎还被配置为响应于所述菜单提示手势生成菜单提示元素；并且优选地，其中，所述菜单提示手势包括手被构形为在基本朝上的位置且拇指和手指之间有空间，并且其中，所述UI引擎在虚拟手的拇指和手指之间的空间中生成所述菜单提示元素；并且优选地，其中，所述菜单提示元素包括所述虚拟手的拇指和手指之间的线...

【专利技术属性】
技术研发人员：乔纳森，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：