用于使用自适应焦平面渲染虚拟现实的配置制造技术

虚拟现实装置包括虚拟现实显示屏幕。此外，虚拟现实装置包括跟踪用户的一只或多只眼睛的注视方向以确定虚拟现实显示器中的焦点对象的眼睛跟踪系统。此外，虚拟现实装置包括处理器。虚拟现实装置还包括具有一组指令的存储器，当该指令由处理器执行时，使得虚拟现实装置基于由虚拟现实显示器显示的虚拟现实图像的亮度来估计一只或多只眼睛的一个或多个瞳孔尺寸。虚拟现实装置还被使得基于所估计的一个或多个瞳孔尺寸来确定焦平面。

Configuration for rendering virtual reality using adaptive focal plane

Virtual reality devices include virtual reality display screen. In addition, a virtual reality device includes an eye tracking system that tracks the direction of one or more eyes of a user to determine the focus object in a virtual reality display. In addition, virtual reality devices include processors. The virtual reality device also includes a memory with a set of instructions that, when executed by a processor, enables the virtual reality device to estimate one or more pupil sizes of one or more eyes based on the brightness of the virtual reality image displayed by the virtual reality display. The virtual reality device is also made to determine the focal plane based on one or more estimated pupil sizes.

【技术实现步骤摘要】
【国外来华专利技术】用于使用自适应焦平面渲染虚拟现实的配置
本公开总体上涉及计算系统的领域。更具体地，本公开涉及虚拟现实系统。
技术介绍
虚拟现实(“VR”)系统模拟真实世界环境中的用户的物理存在。该模拟是通过向用户提供各种感官体验(例如视觉、声音、触觉、气味等)来人为生成。一些当前VR系统经由立体显示设备来实现。立体显示设备通过立体视觉提供图像中的深度错觉，即，向用户的第一只眼睛呈现第一图像，并向用户的第二只眼睛呈现第二图像以从2D图像人工生成3D图像。VR眼镜是利用立体视觉的VR系统的示例。例如，VR眼镜通常包括头戴式显示屏幕，其覆盖用户双眼的直接和周边视觉。VR眼镜显示相同3D场景的两幅图像，然后由计算机图形系统合成相应数量的视差，以现实的方式呈现3D场景。视差是从两个不同的视线观看的物体的感知位置的差异。3D场景的现实渲染通常对附近的对象具有较大的视差，对远处的对象具有较小的视差。一些VR系统还可以利用立体图像捕获装备来捕获图像以供VR眼镜显示。立体图像捕获装备将图像捕获为三百六十度全景图，使得当利用VR系统的观看者利用VR系统环顾VR系统提供的虚拟环境中的不同对象时，可以执行头部旋转。
技术实现思路
虚拟现实装置包括虚拟现实显示屏幕。此外，虚拟现实装置包括跟踪用户的一只或多只眼睛的注视方向以确定虚拟现实显示器中的焦点对象的眼睛跟踪系统。此外，虚拟现实装置包括处理器。虚拟现实装置还包括具有一组指令的存储器，当该指令由处理器执行时，使得虚拟现实装置基于由虚拟现实显示器显示的虚拟现实图像的亮度来估计一只或多只眼睛的一个或多个瞳孔尺寸。虚拟现实装置还被使得基于所估计的一个或多个瞳孔尺寸来确定焦平面。此外，使虚拟现实装置基于焦平面生成合成景深。此外，使虚拟现实装置基于虚拟现实显示器的一个或多个像素在合成景深之外，将模糊效应应用于该一个或多个像素。此外，过程利用眼睛跟踪系统跟踪用户的一只或多只眼睛的注视方向，以确定虚拟现实装置的虚拟现实显示器中的焦点对象。此外，该过程利用处理器基于由虚拟现实显示器显示的虚拟现实图像的亮度来估计一只或多只眼睛的一个或多个瞳孔尺寸。该过程还利用处理器基于估计的一个或多个瞳孔尺寸来确定焦平面。此外，该过程利用处理器基于焦平面生成合成景深。此外，该过程利用处理器基于虚拟现实显示器的一个或多个像素在合成景深之外，将模糊效应应用于该一个或多个像素。附图说明参考以下结合附图的描述，本公开的上述特征将变得更加明显，其中相同的附图标记表示相同的元件，并且其中：图1示出了其中用户利用头戴式VR设备来观看VR环境的VR配置；图2示出了如由图1所示的用户观看的VR头戴式设备的内部组件的顶视图；图3示出具有不同焦平面和相应的景深(“DoF”)的VR头戴式设备的内部组件的顶视图；图4示出了图2和3中所示的自适应焦平面系统的内部组件；图5示出了由自适应焦平面系统利用的基于亮度来调整焦平面的过程。具体实施方式提供了用于使用自适应焦平面渲染VR的配置。虽然先前的VR系统能够在利用计算机图形管线来点亮和渲染3D世界几何的合成3D场景的环境中生成视差，但是这类VR系统通常将所有对象显示在焦点处。换言之，所有虚拟对象都保持在用户所关注的对象的前景和背景中的焦点处。因为人视觉系统除了视差之外还依赖于焦平面，所以这样的环境具有不现实的外观。换言之，现实的环境具有在一个特定深度的焦平面上的对象，该对象对用户来说是清晰的，而位于前景或背景中的平面上的对象有一定程度的模糊。尽管各种系统已经尝试通过跟踪用户的眼睛并测量瞳孔扩张来确定要清晰地显示的焦点的对象和将应用模糊的其他对象，从而将模糊应用于虚拟环境的部分，但是这样的系统通常利用复杂的图像处理。例如，这样的系统分析瞳孔的图像，以确定瞳孔是否扩张以应用更多的模糊来模拟低DoF，即，由于大瞳孔扩张得到对象在焦点中的前方和后方的深度使得深度在焦点中可察觉，或确定瞳孔是否收缩以减少模糊来模拟小瞳孔扩张的高DoF。换言之，DoF测量场景中最近和最远对象之间的距离，该距离应该反应在焦点上，而在该距离之外的对象应该有一定程度的模糊。相反，用自适应焦平面渲染VR的配置基于虚拟场景的亮度来估计用户瞳孔的直径。因此，VR系统的计算效率(例如处理速度)得到改善，因为瞳孔直径估计比瞳孔扩张的图像处理更有效。此外，与先前的VR系统相比，用于利用自适应焦平面渲染VR的配置降低了先前的VR系统的成本，因为用于复杂图像分析的设备对于用自适应焦平面渲染VR的配置是不必要的。用自适应焦平面渲染VR的配置还比先前的VR系统更精确。例如，真实户外场景中的用户的瞳孔将被收缩，使得场景中的所有对象都处于焦点。当在VR环境中观看相似的场景时，用户可能会降低显示器的亮度，这可能导致瞳孔扩张，这与真实世界场景的不相称。先前的VR系统基于测量的瞳孔扩张将模糊应用于前景和背景对象，即使用户正在看向虚拟环境中明亮地照亮的场景。换言之，用户可能期望将虚拟场景中的所有对象在焦点中进行观看，但是由于先前的VR系统利用测量的瞳孔扩张用于模糊应用，所以可能观看到关于某些前景和背景对象的模糊。相反，由于场景的亮度被用作模糊应用的标准，所以用于用自适应焦平面渲染VR的配置通过为模糊应用提供更高的准确度，而改善了先前的VR系统。例如，由于阳光照射的VR场景的亮度未被用户改变，所以用于用自适应焦平面渲染VR的配置将不会向用户已经降低了显示亮度的阳光照射的VR场景施加尽可能多的模糊。图1示出了用户101利用头戴式VR设备102来观看VR环境的VR配置100。如图5所示，用户101观看位于头戴式安装的VR设备102中的VR显示屏幕203。在各种实施例中，VR环境已经捕获真实世界图像的立体图像，其在VR环境中被渲染为合成图像。用户101可以经由各种形式(例如头部转动、向位于头戴式VR设备102上的麦克风提供语音输入、向位于头戴式VR设备102上的致动器提供触摸输入、向位于VR头戴式设备102附近的致动器提供触摸输入等)操纵VR环境。可以使用各种头戴式安装设备(例如带条配置)来实现将VF设备102到用户101的头部的头戴式安装。尽管VR配置100被图示为利用头戴式VR设备102，但VR系统的各种其他实施例包括VR显示屏幕，该VR显示屏幕位于距离用户一定距离处并基于跟踪的用户相对于VR显示屏幕的头部移动来改变VR环境。因此，VR配置100不限于特定的VR系统。图2示出了由图1所示的用户101观看的VR头戴式设备102的内部组件的俯视图。用户101观看显示屏幕203以感知VR环境中的各对象207-211。例如，用户101的左眼201和右眼202注视焦点对象207。眼睛跟踪系统204(例如，一个或多个图像捕获设备)捕获眼睛201和202的注视以确定焦点对象207。眼睛跟踪系统204将捕获的眼睛跟踪数据提供给自适应焦平面系统205。在各种实施例中，眼睛跟踪系统204可以具有用于眼睛201和202中的每一个的照相机坐标系统，例如x和y坐标。世界几何可以根据照相机坐标系统来向眼睛201和202呈现，使得眼睛201和202中的每一个被认为处于世界几何的原点。眼睛跟踪系统204根据VR显示屏幕203上的(x，y)像素坐标来估计每只眼睛201和202的观看方向。自适应焦平面系本文档来自技高网...

【技术保护点】
1.一种虚拟现实装置(102)，包括：虚拟现实显示屏幕(203)；眼睛跟踪系统(204)，跟踪用户的一只或多只眼睛的注视方向以确定虚拟现实显示器(203)中的焦点对象(207)；处理器(401)；以及存储器(403)，具有一组指令，当该指令由所述处理器(401)执行时使得所述虚拟现实设备(102)：基于由所述虚拟现实显示器(203)显示的虚拟现实图像的亮度估计所述一只或多只眼睛的一个或多个瞳孔尺寸；基于所估计的一个或多个瞳孔尺寸确定焦平面(206)；基于所述焦平面生成合成景深(206)；以及基于所述虚拟现实显示器(203)的一个或多个像素在所述合成景深之外，将模糊效应应用于所述一个或多个像素。

【技术特征摘要】
【国外来华专利技术】2015.12.31 US 62/273,8331.一种虚拟现实装置(102)，包括：虚拟现实显示屏幕(203)；眼睛跟踪系统(204)，跟踪用户的一只或多只眼睛的注视方向以确定虚拟现实显示器(203)中的焦点对象(207)；处理器(401)；以及存储器(403)，具有一组指令，当该指令由所述处理器(401)执行时使得所述虚拟现实设备(102)：基于由所述虚拟现实显示器(203)显示的虚拟现实图像的亮度估计所述一只或多只眼睛的一个或多个瞳孔尺寸；基于所估计的一个或多个瞳孔尺寸确定焦平面(206)；基于所述焦平面生成合成景深(206)；以及基于所述虚拟现实显示器(203)的一个或多个像素在所述合成景深之外，将模糊效应应用于所述一个或多个像素。2.根据权利要求1所述的虚拟现实装置(102)，其中，所述处理器(401)还使得所述虚拟现实装置(102)通过分析与所述虚拟现实图像相关联的帧数据来确定所述虚拟现实图像的亮度。3.根据权利要求1所述的虚拟现实装置(102)，其中，所述处理器(401)还使得所述虚拟现实装置(102)基于所述虚拟现实显示器(203)的一个或多个像素在所述合成景深内，从所述一个或多个像素中移除先前的模糊效应。4.根据权利要求1所述的虚拟现实装置(102)，其中，所述眼睛跟踪系统(204)包括一个或多个图像捕获设备。5.根据权利要求1所述的虚拟现实装置(102)，其中，所述眼睛跟踪系统(204)通过所述虚拟现实显示器(203)中的像素坐标来跟踪所述注视方向。6.根据权利要求1所述的虚拟现实装置(102)，其中，所述虚拟现实图像是所捕获的真实世界场景的立体图像。7.根据权利要求1所述的虚拟现实装置(102)，还包括将所述虚拟现实装置(102)安装到用户的头部的安装设备。8.根据权利要求1所述的虚拟现实装置(102)，其中，所述合成景深之外的一个或多个像素对应于在所述合成景深之外并且在焦点对象(207)之前的前景对象(210)。9.根据权利要求1所述的虚拟现实装置(102)，其中，所述合成景深之外的一个或多个像素对应于在所述合成景深之外并且在焦点对象(207)之后的背景对象(211)。10.根据权利要求1所述的虚拟现实装置(102)，其中，所述处理器(401)还使得所述虚拟现实装置(102)提供所述虚拟现实图像的全景视图。11.一种方法，包括：利用眼睛跟踪系统(204)跟踪用户的一只或多只眼睛的注视方向以确定虚拟现实装置(102)的虚拟现实显示器(203)中的焦点对象(207)；利用处理器(401)基于由所述虚拟现实显示器(203)显示的虚拟现实图像的亮度估计所述一只或多只眼睛的一个或多个瞳孔尺寸；利用所述处理器(401)基于所估计的一个或多个瞳孔尺寸来确定焦平面(206)；利用所述处理器(401)基于所述焦平面(206)生成合成景深；以及利用所述处理器(401)基于所述虚拟现实显示器(203)的一个或多个像素在所述合成景深之外，将模糊效应应用于所述一个或多个像素。12.根据权利要求11所述的方法，还包括利用所述处理器(401)通过分析与所述虚拟现实图像相关联的帧数据来确定所述虚拟现实图像的亮度。13.根据权利要求11所述的方法，还包括利用所述处理器(401)基于所述虚拟现...

【专利技术属性】
技术研发人员：皮特·洛佩兹，约书亚·派恩斯，基兰·瓦拉纳西，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR