虚拟、增强和混合现实系统和方法技术方案

一种虚拟、增强或混合现实显示系统包括显示器，所述显示器被配置为显示虚拟、增强或混合现实图像数据，该显示器包括将光学畸变或像差引入到图像数据的一个或多个光学部件。该系统还包括显示控制器，所述显示控制器被配置为将图像数据提供给显示器。该显示控制器包括用于存储光学畸变校正信息的存储器，以及使用光学畸变校正信息至少部分地校正图像数据的光学畸变或像差的一个或多个处理元件。

Virtual, Augmented and Hybrid Reality Systems and Systems

A virtual, augmented or hybrid reality display system includes a display configured to display virtual, augmented or mixed real image data, which includes one or more optical components that introduce optical distortion or aberration into image data. The system also includes a display controller configured to provide image data to the display. The display controller includes a memory for storing optical distortion correction information, and one or more processing elements for at least partially correcting optical distortion or aberration of image data using optical distortion correction information.

【技术实现步骤摘要】
【国外来华专利技术】虚拟、增强和混合现实系统和方法相关申请的交叉引用本申请要求2016年8月22日提交的代理案卷号为ML.30085.00、名称为“MIXEDREALITYSYSTEMSANDMETHODS(混合现实系统和方法)”、序列号为62/377,829的美国临时申请；2016年8月22日提交的代理案卷号为ML.30086.00、名称为“MIXEDREALITYSYSTEMSANDMETHODS(混合现实系统和方法)”、序列号为62/377,804的美国临时申请；以及2017年2月22日提交的代理案卷号为MLk-30093、名称为“VIRTUAL,AUGMENTED,ANDMIXEDREALITYSYSTEMSANDMETHODS(虚拟、增强和混合现实系统和方法)”、序列号为62/462,279的美国临时申请的优先权。本申请涉及2014年11月27日提交的代理案卷号为ML.20011.00、名称为“VIRTUALANDAUGMENTEDREALITYSYSTEMSANDMETHODS(虚拟和增强现实系统和方法)”、序列号为14/555,585的美国技术专利申请。上述专利申请的全部内容通过引用特此明确地全部并入本文中，就像完整阐述一样。上述并入的专利申请中描述了虚拟、增强和混合现实系统和方法的各种实施例。本文描述了虚拟、增强和混合现实系统的进一步实施例。版权注意事项本专利文件的一部分公开内容包含受版权保护的材料。版权所有者不反对任何人对专利和商标局专利文件或记录中出现的专利文件或专利公开内容进行传真复制，但在其它方面保留所有版权。
本公开涉及虚拟现实、增强现实和混合现实成像、可视化及显示系统和方法。
技术介绍
现代计算和显示技术促进了虚拟现实(“VR”)、增强现实(“AR”)和混合现实(“MR”)系统的开发。VR系统为用户创建用于体验的模拟环境。这可通过使用头戴式显示器向用户呈现计算机生成的图像来实现。该图像创建使用户沉浸在模拟环境中的感官体验。VR场景通常涉及仅呈现计算机生成的图像，而不包括实际的真实世界图像。AR系统通常用模拟元素补充真实世界环境。例如，AR系统可以经由头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也可以被呈现在显示器上，以增强真实世界环境。该计算机生成的图像可以包括与真实世界环境在情境上相关的元素。这些元素可以包括模拟的文本、图像、对象等。MR系统还将模拟的对象引入到真实世界环境中，但是这些对象的交互程度通常大于AR系统中的交互程度。模拟的元素经常可以实时交互。图1示出了示例性AR/MR场景1，其中用户看到以人、树、位于背景中的建筑物以及混凝土平台20为特征的真实世界公园设置6。除了这些项目之外，还向用户呈现计算机生成的图像。该计算机生成的图像例如可以包括站在真实世界平台20上的机器人雕像10，以及飞过的卡通式化身角色2，该化身角色看起来是大黄蜂的化身，即使这些元素2、10在真实世界中实际上不存在。各种光学系统在不同的深度处产生用于显示VR、AR和MR场景的图像。有些这样的光学系统在2014年11月27日提交的序列号为14/555,585(代理案卷号ML.20011.00)的美国技术专利申请中进行了描述，该专利申请的内容之前已经通过引用并入本文中。其它这样的用于显示MR体验的光学系统在序列号为14/738,877(代理案卷号ML.20019.00)的美国技术专利申请中进行了描述，该专利申请的全部内容通过引用特此明确地全部并入本文中，就像完整阐述一样。由于人类视觉感知系统复杂，因此产生便于除其它虚拟或真实世界图像元素之外还舒适、自然、丰富地呈现虚拟图像元素的VR/AR/MR技术极具挑战性。需要改进的技术以在这样的系统中处理图像数据，包括例如，用于提供控制数据以控制如何显示图像数据的技术；用于校正图像数据中的光学畸变的技术；用于显示和混合来自许多深度平面的图像数据的技术，以及用于基于用户的头部姿势使图像数据变形(warp)的技术。VR/AR/MR技术还具有尺寸和便携性问题、电池寿命问题、系统过热问题以及其它系统和光学挑战。需要改进的技术来解决这些问题，包括例如过热原因识别、时域功率管理、离散成像模式，以及基于眼睛/注视跟踪的渲染修改。本文中描述的系统和方法被配置为解决这些以及其它挑战。需要一种或多种对旧技术和/或优于其它所考虑方案进行改进的技术。该
技术介绍
中描述的一些途径是可以遵从的方案，但是不一定是之前已经构想或遵从的方案。
技术实现思路
镜头畸变校正在一个实施例中，一种虚拟、增强或混合现实显示系统包括显示器，其被配置为显示虚拟、增强或混合现实图像数据，所述显示器包括一个或多个光学部件，所述光学部件将光学畸变或像差引入到所述图像数据。所述系统还包括显示控制器，其被配置为将所述图像数据提供给所述显示器。述显示控制器包括用于存储光学畸变校正信息的存储器以及一个或多个处理元件，所述一个或多个处理元件用于使用所述光学畸变校正信息至少部分地校正所述图像数据的所述光学畸变或像差。在一个或多个实施例中，所述光学畸变校正信息由所述显示控制器用于以与所述光学畸变或像差至少部分地逆相关的方式使所述图像数据预畸变。所述显示控制器可以被配置为，通过基于由所述显示控制器接收的非畸变校正图像数据中不同的第二位置(x',y')附近的一个或多个非畸变校正像素确定第一位置(x,y)处的畸变校正像素，使其提供给所述显示器的所述图像数据预畸变。所述光学畸变校正信息可以被用于确定所述第二位置(x',y')。所述第二位置的(x',y')坐标可以是分数。所述显示控制器可以被配置为通过在所述第二位置(x',y')周围的一个或多个非畸变校正像素之间进行插值来确定所述第一位置(x,y)处的畸变校正像素。所述显示控制器可以使用双线性内插。在一个或多个实施例中，所述显示器包括与所述图像数据的一种或多种颜色对应的一个或多个至少部分地不同的光学路径，并且所述光学畸变校正信息可以包括所述图像数据的所述多种颜色中的每一者的单独光学畸变校正信息。所述光学畸变校正信息可以以一个或多个查找表的形式被存储。所述一个或多个查找表可以以压缩格式被存储，并且所述显示控制器可以被配置为在使用所述光学畸变校正信息校正所述光学畸变或像差之前扩展所述一个或多个查找表。所述光学畸变校正信息还可以包括用于执行一个或多个图像变形(warp)操作的信息，并且其中所述显示控制器被进一步配置为对所述图像数据执行所述一个或多个图像变形操作。在另一实施例中，一种在虚拟、增强或混合现实显示系统中的方法包括提供要在显示器上显示的虚拟、增强或混合现实图像数据，所述显示器包括一个或多个光学部件，所述光学部件将光学畸变或像差引入到所述图像数据。所述方法还包括存储光学畸变校正信息。所述方法进一步包括使用所述光学畸变校正信息至少部分地校正所述图像数据的所述光学畸变或像差。此外，所述方法包括使用所述显示器将所述图像数据显示给所述用户。在一个或多个实施例中，所述方法还包括使用所述光学畸变校正信息以与所述光学畸变或像差至少部分地逆相关的方式使所述图像数据预畸变。所述方法可以进一步包括：通过基于未畸变图像数据中不同的第二位置(x',y')附近的一个或多个非畸变校正像素确定第本文档来自技高网...

【技术保护点】
1.一种虚拟、增强或混合现实显示系统，包括：显示器，其被配置为显示虚拟、增强或混合现实图像数据，所述显示器包括一个或多个光学部件，所述光学部件将光学畸变或像差引入到所述图像数据；以及显示控制器，其被配置为将所述图像数据提供给所述显示器，所述显示控制器包括：存储器，其用于存储光学畸变校正信息；以及一个或多个处理元件，其使用所述光学畸变校正信息至少部分地校正所述图像数据的所述光学畸变或像差。

【技术特征摘要】
【国外来华专利技术】2016.08.22 US 62/377,804;2016.08.22 US 62/377,829;1.一种虚拟、增强或混合现实显示系统，包括：显示器，其被配置为显示虚拟、增强或混合现实图像数据，所述显示器包括一个或多个光学部件，所述光学部件将光学畸变或像差引入到所述图像数据；以及显示控制器，其被配置为将所述图像数据提供给所述显示器，所述显示控制器包括：存储器，其用于存储光学畸变校正信息；以及一个或多个处理元件，其使用所述光学畸变校正信息至少部分地校正所述图像数据的所述光学畸变或像差。2.根据权利要求1所述的系统，其中所述光学畸变校正信息由所述显示控制器用于以与所述光学畸变或像差至少部分地逆相关的方式使所述图像数据预畸变。3.根据权利要求2所述的系统，其中所述显示控制器被配置为，通过确定第一位置(x,y)处的畸变校正像素来使所述显示控制器提供给所述显示器的所述图像数据预畸变，所述第一位置(x,y)处的畸变校正像素是基于由所述显示控制器接收的非畸变校正图像数据中不同的第二位置(x',y')附近的一个或多个非畸变校正像素而确定的。4.根据权利要求3所述的系统，其中所述光学畸变校正信息被用于确定所述第二位置(x',y')。5.根据权利要求4所述的系统，其中所述第二位置的(x',y')坐标是分数。6.根据权利要求5所述的系统，其中所述显示控制器被配置为，通过在所述第二位置(x',y')周围的多个非畸变校正像素之间进行内插来确定所述第一位置(x,y)处的畸变校正像素。7.根据权利要求6所述的系统，其中所述显示控制器使用双线性内插。8.根据权利要求1所述的系统，其中所述显示器包括与所述图像数据的多种颜色对应的多个至少部分地不同的光学路径，并且其中所述光学畸变校正信息包括用于所述图像数据的所述多种颜色中每一者的单独的光学畸变校正信息。9.根据权利要求1所述的系统，其中所述光学畸变校正信息以一个或多个查找表的形式被存储。10.根据权利要求9所述的系统，其中所述一个或多个查找表以压缩格式被存储，并且其中所述显示控制器被配置为在使用所述光学畸变校正信息校正所述光学畸变或像差之前扩展所述一个或多个查找表。11.根据权利要求1所述的系统，其中所述光学畸变校正信息进一步包括用于执行一个或多个图像变形操作的信息，并且其中所述显示控制器被进一步配置为对所述图像数据执行所述一个或多个图像变形操作。12.一种虚拟、增强或混合现实显示系统中的方法，所述方法包括：提供要在显示器上显示的虚拟、增强或混合现实图像数据，所述显示器包括一个或多个光学部件，所述光学部件将光学畸变或像差引入到所述图像数据；存储光学畸变校正信息；使用所述光学畸变校正信息至少部分地校正所述图像数据的所述光学畸变或像差；以及使用所述显示器将所述图像数据显示给所述用户。13.根据权利要求12所述的方法，进一步包括使用所述光学畸变校正信息以与所述光学畸变或像差至少部分地逆相关的方式使所述图像数据预畸变。14.根据权利要求13所述的方法，进一步包括通过确定第一位置(x,y)处的畸变校正像素来使提供给所述显示器的所述图像数据预畸变，所述第一位置(x,y)处的畸变校正像素是基于未畸变图像数据中不同的第二位置(x',y')附近的一个或多个非畸变校正像素而确定的。15.根据权利要求14所述的方法，进一步包括使用所述光学畸变校正信息确定所述第二位置(x',y')。16.根据权利要求15所述的方法，其中所述第二位置的(x',y')坐标是分数。17.根据权利要求16所述的方法，进一步包括通过在所述第二位置(x',y')周围的多个非畸变校正像素之间进行内插来确定所述第一位置(x,y)处的畸变校正像素。18.根据权利要求17所述的方法，进一步包括使用双线性内插。19.根据权利要求12所述的方法，其中所述显示器包括与所述图像数据的多种颜色对应的多个至少部分地不同的光学路径，并且其中所述光学畸变校正信息包括用于所述图像数据的所述多种颜色中每一者的单独的光学畸变校正信息。20.根据权利要求12所述的方法，进一步包括以一个或多个查找表的形式存储所述光学畸变校正信息。21.根据权利要求20所述的方法，进一步包括以压缩格式存储所述一个或多个查找表，并且在使用所述光学畸变校正信息校正所述光学畸变或像差之前扩展所述一个或多个查找表。22.根据权利要求12所述的方法，其中所述光学畸变校正信息进一步包括用于执行一个或多个图像变形操作的信息，并且进一步包括对所述图像数据执行所述一个或多个图像变形操作。23.一种虚拟、增强或混合现实显示系统，包括：显示器，其被配置为显示多个深度平面的数字图像数据，所述显示器包括用于显示对应于第一深度平面的图像数据的第一光学路径和用于显示对应于第二深度平面的图像数据的至少部分地不同的第二光学路径；以及显示控制器，其被配置为将对应于所述第一深度平面的图像数据与对应于所述第二深度平面的图像数据进行混合，以使得当混合的图像数据由所述显示器显示时，所述混合的图像数据看起来对应于位于所述第一深度平面和所述第二深度平面之间的虚拟深度平面。24.根据权利要求23所述的系统，其中所述显示控制器被配置为，通过计算对应于所述第一深度平面的图像数据和对应于所述第二深度平面的图像数据的加权组合，将对应于所述第一深度平面的图像数据与对应于所述第二深度平面的图像数据进行混合。25.根据权利要求24所述的系统，其中所述显示控制器被配置为，基于被嵌入在所述数字图像数据中的虚拟深度平面指示信息而确定所述加权组合，所述虚拟深度平面指示数据指定多个可能的虚拟深度平面中的一个。26.根据权利要求25所述的系统，其中所述虚拟深度平面指示数据被嵌入在所述数字图像数据的像素值中。27.根据权利要求26所述的系统，其中所述数字图像数据包括针对每个像素的多个颜色值，所述颜色值的多个最低有效位是所述虚拟深度平面指示数据。28.根据权利要求26所述的系统，其中所述虚拟深度平面指示数据被用于访问与由所述虚拟深度平面指示数据指定的虚拟深度平面相关联的混合加权值。29.根据权利要求28所述的系统，其中每个虚拟深度平面的混合加权值被存储在查找表中。30.根据权利要求29所述的系统，其中为所述数字图像数据的每个深度平面提供一个或多个查找表。31.根据权利要求23所述的系统，其中所述显示控制器被配置为将对应于所述第一深度平面的图像数据的所有像素与对应于所述第二深度平面的图像数据的所有像素混合到同一虚拟深度平面。32.根据权利要求23所述的系统，其中所述显示控制器被配置为将对应于所述第一深度平面的图像数据的不同像素混合到不同的虚拟深度平面。33.一种虚拟、增强或混合现实显示系统中的方法，所述方法包括：提供要在显示器上显示的多个深度平面的数字图像数据，所述显示器包括用于显示对应于第一深度平面的图像数据的第一光学路径和用于显示对应于第二深度平面的图像数据的至少部分地不同的第二光学路径；以及将对应于所述第一深度平面的图像数据与对应于所述第二深度平面的图像数据进行混合，以使得当混合的图像数据由所述显示器显示时，所述混合的图像数据看起来对应于位于所述第一深度平面和所述第二深度平面之间的虚拟深度平面。34.根据权利要求33所述的方法，进一步包括：通过计算对应于所述第一深度平面的图像数据和对应于所述第二深度平面的图像数据的加权组合，将对应于所述第一深度平面的图像数据与对应于所述第二深度平面的图像数据进行混合。35.根据权利要求34所述的方法，进一步包括基于被嵌入在所述数字图像数据中的虚拟深度平面指示信息而确定所述加权组合，所述虚拟深度平面指示数据指定多个可能的虚拟深度平面中的一个。36.根据权利要求35所述的方法，其中所述虚拟深度平面指示数据被嵌入在所述数字图像数据的像素值中。37.根据权利要求36所述的方法，其中所述数字图像数据包括针对每个像素的多个颜色值，所述颜色值的多个最低有效位是所述虚拟深度平面指示数据。38.根据权利要求36所述的方法，进一步包括使用所述虚拟深度平面指示数据访问与由所述虚拟深度平面指示数据指定的虚拟深度平面相关联的混合加权值。39.根据权利要求38所述的方法，进一步包括将每个虚拟深度平面的混合加权值存储在查找表中。40.根据权利要求39所述的方法，进一步包括为所述数字图像数据的每个深度平面提供一个或多个查找表。41.根据权利要求33所述的方法，进一步包括将对应于所述第一深度平面的图像数据的所有像素与对应于所述第二深度平面的图像数据的所有像素混合到同一虚拟深度平面。42.根据权利要求33所述的方法，进一步包括将对应于所述第一深度平面的图像数据的不同像素混合到不同的虚拟深度平面。43.一种虚拟、增强或混合现实显示系统，包括：惯性测量单元，其被配置为执行与用户的头部位置相关的测量；图形处理单元，其被配置为渲染虚拟、增强或混合现实图像数据；显示器，其被配置为向所述用户显示变换后的图像数据；显示驱动器，其被配置为接收已被扫描输出的渲染图像数据并使所述显示器显示所述变换后的图像数据，其中所述显示驱动器包括：头部姿势处理器，其被配置为从所述惯性测量单元接收测量值并确定头部姿势信息；以及图像变形处理器，其被配置为基于所述头部姿势信息将所述渲染图像数据变换为所述变换后的图像数据。44.根据权利要求43所述的系统，进一步包括显示控制器，所述显示控制器被配置为从所述图形处理单元接收所述渲染图像数据，并将所述渲染图像数据扫描输出到所述显示驱动器。45.根据权利要求44所述的系统，其中：所述图形处理单元和所述显示控制器中的至少一者被配置为，基于使用来自所述惯性测量单元的第一测量值确定的第一头部姿势信息而对所述渲染图像数据执行第一变换；以及所述显示驱动器被配置为，基于使用来自所述惯性测量单元的更新的第二测量值确定的第二头部姿势信息而对所述渲染图像数据执行第二变换，所述第二头部姿势信息涉及由所述第一头部姿势信息指示的所述用户的头部位置和由所述第二头部姿势信息指示的所述用户的头部位置之间的差异。46.根据权利要求43所述的系统，其中所述渲染图像数据包括多个颜色分量，所述图像变形处理器被配置为基于单独的头部姿势信息而变换所述渲染图像数据的每个颜色分量，以及所述显示器被配置为顺序地显示所述变换后的图像数据的多个颜色分量。47.根据权利要求46所述的系统，其中所述显示器被配置为，在第一时间显示所述变换后的图像数据的第一颜色分量，并且在随后的第二时间显示所述变换后的图像数据的第二颜色分量，以及所述图像变形处理器被配置为，基于在所述第一时间之后确定的头部姿势信息而变换所述渲染图像数据的第二颜色分量。48.根据权利要求46所述的系统，其中由所述图像变形处理器执行的变换包括所述渲染图像数据的每个颜色分量的旋转或平移。49.根据权利要求43所述的系统，其中所述渲染图像数据包括多个深度平面，所述图像变形处理器被配置为，基于单独的头部姿势信息而变换所述渲染图像数据的每个深度平面，以及所述显示器被配置为顺序地显示所述变换后的图像数据的多个深度平面。50.根据权利要求49所述的系统，其中所述显示器被配置为，在第一时间显示所述变换后的图像数据的第一深度平面，并且在随后的第二时间显示所述变换后的图像数据的第二深度平面，以及所述图像变形处理器被配置为基于在所述第一时间之后确定的头部姿势信息而变换所述渲染图像数据的第二深度平面。51.根据权利要求49所述的系统，其中由所述图像变形处理器执行的变换包括所述渲染图像数据的每个深度平面的旋转或平移。52.根据权利要求43所述的系统，其中由所述图像变形处理器执行的变换包括图像旋转或平移。53.根据权利要求43所述的系统，其中所述显示器被配置为显示包括第一数量的像素列和第二数量的像素行的所述变换后的图像数据，以及所述图形处理单元被配置为向所述显示驱动器提供渲染图像数据，所述渲染图像数据包括多于所述第一数量的像素列或多于所述第二数量的像素行。54.根据权利要求53所述的系统，其中提供给所述显示驱动器的渲染图像数据包括渲染图像数据的中心区域和渲染图像数据的缓冲区域，所述中心区域具有所述第一数量的像素列和所述第二数量的像素行，所述缓冲区域包括延伸超出所述中心区域的像素，以及基于所述头部姿势信息变换所述渲染图像数据使得来自所述缓冲区域的所述渲染图像数据进入所述中心区域。55.根据权利要求43所述的系统，其中所述图形处理单元不被配置为基于头部姿势信息执行图像变形。56.根据权利要求43所述的系统，其中所述图形处理单元被配置为，将来自所述惯性测量单元的更新的测量值或更新的头部姿势信息添加到所述渲染图像数据。57.根据权利要求56所述的系统，其中所述图形处理单元被配置为在扫描输出渲染图像数据的最后一行之后，将来自所述惯性测量单元的更新的测量值或更新的头部姿势信息添加到所述渲染图像数据。58.根据权利要求43所述的系统，进一步包括时钟，所述时钟被配置为向所述惯性测量单元、所述图形处理单元和所述显示驱动器提供共同时钟信号，以便为与所述用户的头部位置相关的测量值、头部姿势信息、或基于头部姿势信息的变换提供共同基准。59.一种虚拟、增强或混合现实显示系统中的方法，所述方法包括：使用图形处理单元渲染虚拟、增强或混合现实图像数据；将所述渲染图像数据扫描输出到显示器以显示给用户；使用惯性测量单元执行与用户的头部位置相关的测量；使用来自所述惯性测量单元的测量值确定头部姿势信息；在将所述渲染图像数据扫描输出到所述显示器之后，基于所述头部姿势信息变换所述渲染图像数据；以及在所述显示器上显示变换后的图像数据。60.根据权利要求59所述的方法，进一步包括：基于使用来自所述惯性测量单元的第一测量值确定的第一头部姿势信息，对所述渲染图像数据执行第一变换；以及基于使用来自所述惯性测量单元的更新的第二测量值确定的第二头部姿势信息，对扫描输出的渲染图像数据执行第二变换，所述第二头部姿势信息涉及由所述第一头部姿势信息指示的所述用户的头部位置和由所述第二头部姿势信息指示的所述用户的头部位置之间的差异。61.根据权利要求59所述的方法，其中在将所述渲染图像数据扫描输出到所述显示器之后，使用来自所述惯性测量单元的测量值确定头部姿势信息。62.根据权利要求59所述的方法，其中所述渲染图像数据包括多个颜色分量，所述方法进一步包括：基于单独的头部姿势信息而变换所述渲染图像数据的每个颜色分量；以及顺序地显示所述变换后的图像数据的所述多个颜色分量。63.根据权利要求62所述的方法，进一步包括：在第一时间显示所述变换后的图像数据的第一颜色分量，并且在随后的第二时间显示所述变换后的图像数据的第二颜色分量，以及基于在所述第一时间之后确定的头部姿势信息而变换所述渲染图像数据的第二颜色分量。64.根据权利要求62所述的方法，其中变换所述渲染图像数据的每个颜色分量包括旋转或平移所述渲染图像数据的每个颜色分量。65.根据权利要求59所述的方法，其中所述渲染图像数据包括多个深度平面，所述方法进一步包括：基于单独的头部姿势信息而变换所述渲染图像数据的每个深度平面，以及顺序地显示所述变换后的图像数据的多个深度平面。66.根据权利要求65所述的方法，进一步包括：在第一时间显示所述变换后的图像数据的第一深度平面，并且在随后的第二时间显示所述变换后的图像数据的第二深度平面，以及基于在所述第一时间之后确定的头部姿势信息而变换所述渲染图像数据的第二深度平面。67.根据权利要求65所述的方法，其中变换所述渲染图像数据的每个深度平面包括旋转或平移所述渲染图像数据的每个深度平面。68.根据权利要求59所述的方法，其中基于所述头部姿势信息变换所述渲染图像数据包括旋转或移位所述渲染图像数据。69.根据权利要求59所述的方法，其中所述变换后的图像数据包括所述显示器上的第一数量的像素列和第二数量的像素行，所述方法进一步包括：向所述显示驱动器提供渲染图像数据，所述渲染图像数据包括多于所述第一数量的像素列或多于所述第二数量的像素行。70.根据权利要求69所述的方法，其中提供给所述显示驱动器的渲染图像数据包括渲染图像数据的中心区域和渲染图像数据的缓冲区域，所述中心区域具有所述第一数量的像素列和所述第二数量的像素行，所述缓冲区域包括延伸超出所述中心区域的像素，所述方法进一步包括：通过使渲染图像数据从所述缓冲区域进入所述中心区域，基于所述头部姿势信息变换所述渲染图像数据。71.根据权利要求58所述的方法，其中基于所述头部姿势信息变换所述渲染图像数据不是由渲染所述虚拟、增强或混合现实图像数据的图形处理单元执行的。72.根据权利要求58所述的方法，进一步包括将来自所述惯性测量单元的更新的测量值或更新的头部姿势信息添加到所述渲染图像数据。73.根据权利要求72所述的方法，进一步包括在扫描输出渲染图像数据的最后一行之后，将来自所述惯性测量单元的更新的测量值或更新的头部姿势信息添加到所述渲染图像数据。74.根据权利要求58所述的方法，进一步包括提供共同时钟信号，以便为与所述用户的头部位置相关的测量值、头部姿势信息、或基于头部姿势信息的变换提供共同基准。75.一种虚拟、增强或混合现实显示系统，包括：显示器，其包括一个或多个光学部件，所述光学部件引起所述显示器的不同部分处的亮度变化；以及显示控制器，其被配置为将多个不同的亮度校正值应用于图像数据中的多个像素值以产生校正的图像数据，其中所述显示器被配置为向用户显示所述校正的图像数据，以便减小所述亮度变化。76.根据权利要求75所述的系统，其中所述显示控制器被配置为通过将来自所述多个不同的亮度校正值当中的一亮度校正值与来自所述图像数据中的所述多个像素值当中的对应像素值相乘来应用亮度校正值。77.根据权利要求76所述的系统，其中基于所述显示器上显示的校准图像而确定所述多个不同的亮度校正值。78.根据权利要求75所述的系统，其中所述多个不同的亮度校正值被存储在查找表中。79.根据权利要求78所述的系统，其中所存储的查找表的分辨率小于所述图像数据的分辨率，并且所述显示控制器被配置为将所述查找表扩展为与所述图像数据的分辨率匹配。80.根据权利要求75所述的系统，其中所述显示器包括：多个波导，其用于引导所述校正的图像数据的多个颜色分量；以及多个光重定向元件，其用于将光从所述波导重定向到用户的眼睛作为多个出射光束，其中所述多个出射光束之间存在变化，这导致在所述显示器的不同部分处显示的图像数据的亮度变化。81.根据权利要求80所述的系统，其中来自所述多个波导当中的不同波导与不同的光焦度相关联，以便在不同的表观深度处显示所述图像数据的不同深度平面。82.一种虚拟、增强或混合现实显示系统中的方法，所述方法包括：使用包括一个或多个光学部件的显示器，所述光学部件引起所述显示器的不同部分处的亮度变化；将多个不同的亮度校正值应用于图像数据中的多个像素值以产生校正的图像数据；以及...

【专利技术属性】
技术研发人员：J·F·罗德里格兹，R·M·佩雷兹，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US