具有自适应自由度（DOF）选择的人工现实系统技术方案

本发明专利技术描述了一种人工现实系统，其在跟踪参照系和渲染人工现实内容时实现自适应自由度(DOF)选择。在一个示例中，该人工现实系统包括输出渲染的人工现实内容的头戴式显示器(HMD)。性能监测器确定与人工现实系统相关联的一个或更多个性能指示符。自由度(DOF)选择器将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，在第一模式中，姿态跟踪器使用6DOF来计算3D环境内的HMD的一个或更多个姿态，在第二模式中，姿态跟踪器使用3DOF来计算一个或更多个姿态。姿态跟踪器根据所选择的模式计算3D环境内的HMD的一个或更多个姿态。渲染引擎基于所计算的姿态为人工现实应用渲染内容。工现实应用渲染内容。工现实应用渲染内容。

【技术实现步骤摘要】
【国外来华专利技术】具有自适应自由度(DOF)选择的人工现实系统
[0001]相关申请的交叉引用
[0002]本申请要求2019年2月1日提交的美国申请号16/264,805的优先权，该申请的全部内容出于所有目的通过引用并入本文。


[0003]本公开整体涉及人工现实系统(诸如虚拟现实系统、混合现实系统和/或增强现实系统)，并且更具体地讲，涉及头戴式显示器(HMD)和人工现实系统的其他部件。
[0004]背景
[0005]人工现实系统正变得越来越普遍，应用于许多领域，诸如计算机游戏、健康和安全、工业和教育。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)、或它们的某种组合和/或衍生物。
[0006]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可包含头戴式显示器(HMD)，该HMD由用户佩戴并且被配置为向用户输出人工现实内容。具体地，人工现实系统通常计算参照系(frame of reference)(诸如HMD)的当前姿态(例如，位置和取向)，并且基于当前姿态选择性地渲染内容以向用户显示。人工现实内容可包括完全生成的内容或与捕获内容(例如，真实世界视频和/或图像)组合的生成内容。
[0007]概述
[0008]一般而言，本公开涉及具有自适应自由度(DOF)选择的人工现实系统。如本文进一步描述的，人工现实系统可监测各种操作条件，并且自适应地选择不同的DOF以用于根据人工现实系统的一个或更多个参照系计算一个或更多个姿态。人工现实系统可监测可能影响系统准确跟踪参照系(诸如头戴式显示器(HMD)的显示器)的能力的操作条件，并且基于参照系的当前观看视角渲染高质量的人工现实内容。示例性操作条件包括特征跟踪质量、特征照明质量、网络性能、计算资源使用率或可能对系统能力产生负面影响的其他因素。人工现实系统可将策略应用于根据所监测的条件确定的性能指示符，以在不同的DOF之间自适应地进行选择以用于实时或伪实时地计算一个或更多个姿态。例如，人工现实系统可将策略应用于性能指示符以在使用6DOF(例如，沿着参照系的轴线的旋转移动和平移移动两者)来计算姿态或仅使用3DOF(例如，仅沿着参照系的轴线的旋转移动)来计算姿态之间进行选择。
[0009]因此，本公开的技术可对在人工现实系统内渲染和显示内容的计算机相关领域提供特定改进。例如，本文所述的人工现实系统可以通过使用6DOF计算姿态来向人工现实系统的用户提供高质量的人工现实体验。此外，如果性能指示符指示如果要使用6DOF来计算姿态则用户体验将受到影响，则这样的系统可无缝地切换到使用3DOF来计算姿态。作为示例，如本文所述的系统可以在一些情况下避免使用6DOF，否则在这些情况下软件、硬件、网
络或环境条件将导致用户体验的劣化。此外，如本文所述的示例性系统可减小人工现实系统的一些用户所经历的负面影响，诸如定向障碍、恶心、“模糊”和其他副作用。
[0010]根据本专利技术的第一方面，提供了一种人工现实系统，包括：头戴式显示器HMD，所述HMD被配置为输出人工现实内容；姿态跟踪器，所述姿态跟踪器被配置为计算三维3D环境内的所述HMD的一个或更多个姿态；性能监测器，所述性能监测器在一个或更多个处理器上执行，被配置为确定与所述人工现实系统相关联的一个或更多个性能指示符；自由度DOF选择器，所述自由度选择器被配置为将一个或更多个策略应用于所述性能指示符以在第一模式和第二模式之间进行选择，在所述第一模式中，所述姿态跟踪器被配置为使用六个自由度6DOF来计算所述HMD的一个或更多个姿态，在所述第二模式中，所述姿态跟踪器被配置为使用三个自由度3DOF来计算一个或更多个姿态；以及渲染引擎，所述渲染引擎被配置为基于所计算的一个或更多个姿态来渲染所述人工现实内容。
[0011]为了使用6DOF来计算HMD的一个或更多个姿态，姿态跟踪器可被进一步配置为相对于HMD的旋转移动和平移移动两者计算HMD的一个或更多个姿态。
[0012]为了使用3DOF来计算HMD的一个或更多个姿态，姿态跟踪器可被进一步配置为相对于HMD的旋转移动而不是HMD的平移移动计算HMD的一个或更多个姿态。
[0013]HMD的旋转移动可包括围绕HMD的垂直轴线、HMD的横向轴线、或HMD的纵向轴线中的至少一个的旋转移动。
[0014]HMD的平移移动可包括沿着HMD的垂直轴线、HMD的横向轴线、或HMD的纵向轴线中的至少一个的平移移动。
[0015]为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于由性能监测器确定的图像跟踪的质量水平以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0016]另选地和/或附加地，为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于由性能监测器确定的眼睛跟踪质量以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0017]另选地和/或附加地，为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于由性能监测器确定的环境亮度的水平以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0018]另选地和/或附加地，为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于当前正在由人工现实系统跟踪的特征的数量以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0019]另选地和/或附加地，为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于由性能监测器确定的真实世界特征的图像纹理以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0020]另选地和/或附加地，为了将一个或更多个策略应用于性能指示符以在第一模式和第二模式之间进行选择，DOF选择器可被配置为将一个或更多个策略应用于由性能监测器确定的网络性能或延迟以确定已满足转变条件。DOF选择器还可配置为基于确定已满足转变条件，在第一模式和第二模式之间进行选择。
[0021]为了将一个或更多个策略应用于性能指示符以在其中姿态跟踪器使用6DOF来计算3D环境内的HMD的一个或更多个姿态的第一模式和其中姿态跟踪器使用3DOF来计算一个或更多个姿态的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统，包括：头戴式显示器HMD，所述HMD被配置为输出人工现实内容；姿态跟踪器，所述姿态跟踪器被配置为计算三维3D环境内的所述HMD的一个或更多个姿态；性能监测器，所述性能监测器在一个或更多个处理器上执行，被配置为确定与所述人工现实系统相关联的一个或更多个性能指示符；自由度DOF选择器，所述DOF选择器被配置为将一个或更多个策略应用于所述性能指示符以在第一模式和第二模式之间进行选择，在所述第一模式中，所述姿态跟踪器被配置为使用六个自由度6DOF来计算所述HMD的一个或更多个姿态，在所述第二模式中，所述姿态跟踪器被配置为使用三个自由度3DOF来计算一个或更多个姿态；以及渲染引擎，所述渲染引擎被配置为基于所计算的一个或更多个姿态来渲染所述人工现实内容。2.根据权利要求1所述的人工现实系统，其中，为了使用6DOF来计算所述HMD的一个或更多个姿态，所述姿态跟踪器被进一步配置为相对于所述HMD的旋转移动和平移移动两者计算所述HMD的一个或更多个姿态，其中，为了使用3DOF来计算所述HMD的一个或更多个姿态，所述姿态跟踪器被进一步配置为相对于所述HMD的旋转移动而不是所述HMD的平移移动计算所述HMD的一个或更多个姿态，其中所述HMD的旋转移动包括围绕所述HMD的垂直轴线、所述HMD的横向轴线、或所述HMD的纵向轴线中的至少一个的旋转移动，并且其中所述HMD的平移移动包括沿着所述HMD的垂直轴线、所述HMD的横向轴线、或所述HMD的纵向轴线中的至少一个的平移移动。3.根据权利要求1或权利要求2所述的人工现实系统，其中，为了将所述一个或更多个策略应用于所述性能指示符以在所述第一模式和所述第二模式之间进行选择，所述DOF选择器被配置为：将所述一个或更多个策略应用于以下中的一项或更多项以确定已满足转变条件：由所述性能监测器确定的图像跟踪的质量水平；以及由所述性能监测器确定的眼睛跟踪质量，以及基于确定已满足所述转变条件，在所述第一模式和所述第二模式之间进行选择。4.根据权利要求1或权利要求2所述的人工现实系统，其中，为了将所述一个或更多个策略应用于所述性能指示符以在所述第一模式和所述第二模式之间进行选择，所述DOF选择器被配置为：将所述一个或更多个策略应用于以下中的一项或更多项以确定已满足转变条件：由所述性能监测器确定的环境亮度的水平；当前正在由所述人工现实系统跟踪的特征的数量；以及由所述性能监测器确定的真实世界特征的图像纹理，以及基于确定已满足所述转变条件，在所述第一模式和所述第二模式之间进行选择。5.根据权利要求1或权利要求2所述的人工现实系统，其中，为了将所述一个或更多个策略应用于所述性能指示符以在所述第一模式和所述第二模式之间进行选择，所述DOF选择器被配置为：
将所述一个或更多个策略应用于以下中的一项或更多项以确定已满足转变条件：由所述性能监测器确定的网络性能或延迟；由所述性能监测器确定的计算资源使用率；以及由所述性能监测器确定的抖动的度量，以及基于确定已满足所述转变条件，在所述第一模式和所述第二模式之间进行选择。6.根据任一前述权利要求所述的人工现实系统，其中所述HMD包括所述性能监测器、所述DOF选择器、所述姿态跟踪器和所述渲染引擎。7.根据权利要求1至5中任一项所述的人工现实系统，还包括控制台设备，其中所述控制台设备包括所述性能监测器、所述DOF选择器、所述姿态跟踪器和所述渲染引擎。8.根据任一前述权利要求所述的人工现实系统，其中为了将所述一个或更多个策略应用于所述性能指示符以在所述姿态跟踪器使用6DOF来计算所述3D环境内的所述HMD的一个或更多个姿态的所述第一模式和所述姿态跟踪器使用3DOF来计算一个或更多个姿态的所述第二模式之间进行选择，所述DOF选择器被配置为将所述一个或更多个策略应用于所述性能指示符以从选择所述姿态跟踪器使用6DOF来计算所述3D环境内的所述HMD的一个或更多个姿态的所述第一模式切换到选择所述姿态跟踪器使用3DOF来计算所述3D环境内的所述H...

【专利技术属性】
技术研发人员：阿南思，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：