头戴式显示器图像和中心凹区亮度计算制造技术

可显示在头戴式显示器(HMD)处的图像被下采样为表示所述图像的图像像素。从图像像素的颜色值计算出图像像素的照度以确定图像亮度。从HMD的用户的眼睛跟踪信息来计算图像的中心凹区。图像的中心凹区被下采样到代表中心凹区的中心凹像素。从中心凹像素的颜色值计算出中心凹像素的照度以确定中心凹区亮度。心凹像素的照度以确定中心凹区亮度。心凹像素的照度以确定中心凹区亮度。

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器图像和中心凹区亮度计算

技术介绍

[0001]扩展现实(XR)技术包括虚拟现实(VR)、增强现实(AR)和混合现实(MR)技术，并且相当确实地扩展了用户体验的现实。XR技术可以采用头戴式显示器(HMD)。HMD是可以佩戴在头部上的一种显示设备。在VR技术中，HMD佩戴者沉浸在完全虚拟的世界中，而在AR技术中，HMD佩戴者对物理的、真实世界环境的直接或间接视图被增强了。在MR或混合现实技术中，HMD佩戴者体验现实和虚拟世界的融合。
附图说明
[0002]图1是用于计算头戴式显示器(HMD)图像和中心凹(foveal)区亮度的一个示例性拓扑的图。
[0003]图2是一个示例性图像及其中心凹区的图。
[0004]图3是用于确定表示图像的图像像素和表示该图像的中心凹区的中心凹像素的一个示例性方法的流程图。
[0005]图4是图像或中心凹区到代表性图像或中心凹区像素的示例性下采样的图。
[0006]图5是用于从图像或中心凹区像素中计算图像或中心凹区的照度作为图像或中心凹区亮度的一个示例性方法的流程图。
[0007]图6是一个示例性非暂时性计算机可读数据存储介质的图。
[0008]图7是一个示例性方法的流程图。
具体实施方式
[0009]如
技术介绍
中所述，头戴式显示器(HMD)可以被用作扩展现实(XR)技术以扩展HMD的佩戴者体验的现实。HMD可包括在佩戴者的每只眼睛前方的小显示面板，以及用于检测或感测佩戴者和/或佩戴者的环境的各种传感器，使得显示面板上的图像使佩戴者令人信服地沉浸在XR其中，该XR是虚拟现实(VR)、增强现实(AR)、混合现实(MR)或另一种类型的XR。HMD可包括位于每个显示面板与用户的对应眼睛之间的光路中的一个透镜或多个透镜。
[0010]HMD可用作生物计量推断处理的附件，该生物计量推断处理是对HMD的佩戴者的生物计量信息的分析以作出关于佩戴者的状态的推断。一种类型这样的生物计量推断处理是认知负荷的估计或测定。用户的认知负荷可以非限制性地定义为多维构造，其表示执行特定任务对用户的认知系统施加的负荷。任务可能客观上要求更高或更低，人们可以具有不同的认知能力，并且某些任务对于精通该任务的那些人来说可能较容易。
[0011]认知负荷可以从瞳孔变化来计量，这使其自身很好地针对HMD佩戴者进行估计，因为HMD通常测量的眼睛跟踪信息可以包括这样的瞳孔度量。然而，为了使用瞳孔变化作为认知负荷的准确估计，必须首先去除或以其他方式补偿图像和中心凹区亮度的影响。这是因为除了HMD佩戴者的认知负荷之外，图像和中心凹区亮度两者也影响瞳孔变化。
[0012]图像亮度是显示给眼睛并因此被眼睛观看到的整个图像的亮度。在HMD是具有在使用期间邻近地定位成抵靠着佩戴者的面部的眼罩的护目镜或头盔形式的情况下，佩戴者
的眼睛不暴露于除了来自显示图像的HMD的面板的光之外的光。相比之下，在HMD是眼镜形式的情况下，佩戴者的眼睛也可能会暴露于外部或环境周围光。
[0013]图像的中心凹区可被估计为HMD佩戴者正注视的图像的部分。更准确地说，中心凹区是显示的图像的一部分，所述部分的光进入眼睛的瞳孔并入射在眼睛的中心凹区上。眼睛的中心凹区位于眼睛的内侧后部，在那里眼睛对光是最敏感的。也就是说，眼睛的中心凹区是眼睛的具有最大锥体密度的部分。
[0014]本文描述的技术提供了可以以实时计算图像和中心凹区亮度而不影响HMD处的图像显示的方式。例如，当眼睛跟踪信息被刷新时以及当显示给每只眼睛的图像被刷新时，可以为每只眼睛计算图像和中心凹区亮度。更具体讲，图像和中心凹区亮度可以被计算为每只眼睛的图像和中心凹区的照度，如在HMD的显示面板处显示的。
[0015]因此可以计算四个照度：针对左眼的图像的照度和该图像的中心凹区的照度，以及针对右眼的图像的照度和该图像的中心凹区的照度。如果照度是实际上实时可测量的，则每个照度可以准确地对应于HMD处的实际测量照度。这种照度与感知照度形成对比，感知照度是由人类感知系统在大脑中感知的照度，并且可以因人而异。
[0016]图1示出了整个过程的一个示例性拓扑100，通过该过程可以结合HMD 102来计算左和右图像以及中心凹区亮度。HMD 102包括左目镜组件104L和右目镜组件104R，它们被统称为目镜组件104。左目镜组件104L和右目镜组件104R在与HMD 102的用户将他或她的眼睛定位在的端部110L和110R相对的端部108L和108R处具有各自的显示面板106L和106R，其统称为显示面板106。显示面板106可以是扁平面板显示器，诸如液晶显示器(LCD)或发光二极管(LED)显示器，如有机LED(OLED)和微LED显示器。
[0017]HMD 102还包括左眼跟踪传感器109L和右眼跟踪传感器109R，它们被统称为眼睛跟踪传感器109。眼睛跟踪传感器109跟踪HMD用户的眼睛相对于显示面板108的注视，并且可以包括例如相机和其他类型的硬件组件。HMD 102本身也可以包括其他组件，诸如在目镜组件104的端部110L和110R处的用户眼睛与组件104的端部108L和108R处的显示面板106之间的光路中的一个或多个各种透镜。
[0018]左图像112L和右图像112R，统称为图像112，分别显示在显示面板108L和108R上。图像112彼此不同，但是彼此对应，使得在眼睛同时观看图像112时，HMD用户的大脑立体地感知单个图像。左眼跟踪信息114L和右眼跟踪信息114R，统称为眼跟踪信息114，是从HMD102获取的，基于此，可以估计地确定图像112L和112R的左中心凹区116L和右中心凹区116R。中心凹区116L和116R被统称为中心凹区116。
[0019]左图像112L被下采样或压缩以确定表示图像112L的左图像像素118L，并且右图像112R同样被下采样或压缩以确定表示图像112R的右图像像素118R。图像像素118L和118R统称为图像像素118。每个图像像素118代表其相应的图像112，因为图像像素118具有作为相应图像112的组成像素的颜色值的平均值的颜色值。颜色值可以被表达为三个颜色值(诸如红色、绿色和蓝色值)的元组。
[0020]类似地，左中心凹区116L被下采样或压缩以确定代表左图像112L的中心凹区116L的左中心凹像素120L，并且右中心凹区116R同样被下采样或压缩以确定代表右图像112R的中心凹区116R的右中心凹像素120R。中心凹像素120L和120R被统称为中心凹像素120。每个中心凹像素120代表其相应中心凹区116，因为中心凹像素120具有作为所讨论的图像112的
相应中心凹区116的像素的颜色值的平均值的颜色值。
[0021]左图像亮度122L和右图像亮度122R分别从左图像像素118L和右图像像素118R中计算。左图像亮度122L和右图像亮度122R统称为图像亮度122。每个图像亮度122表示其相应图像112的总亮度，并且可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由计算设备将可显示在头戴式显示器(HMD)处的图像下采样为表示所述图像的图像像素；由所述计算设备从所述图像像素的颜色值计算出所述图像像素的照度，以确定图像亮度；由所述计算设备从所述HMD的用户的眼睛跟踪信息确定所述图像的中心凹区；由所述计算设备将所述图像的中心凹区下采样至表示所述图像的中心凹区的中心凹像素；以及由所述计算设备从所述中心凹像素的颜色值计算出所述中心凹像素的照度，以确定中心凹区亮度。2.根据权利要求1所述的方法，其中，所述图像是左眼图像，所述中心凹区是左眼中心凹区，所述图像亮度是左眼图像亮度，并且所述中心凹区亮度是左眼中心凹区亮度，并且其中，重复所述方法以确定右眼图像的右眼图像亮度和所述右眼图像的右眼中心凹区的右眼中心凹区亮度。3.根据权利要求1所述的方法，其中，在关于所述HMD的所述用户的生物计量推断处理期间在评估瞳孔直径变化时去除计算的图像和中心凹区亮度。4.根据权利要求3所述的方法，其中，所述生物计量信息处理包括计量所述HMD的用户的认知负荷。5.根据权利要求3所述的方法，其中，基于关于所述HMD的用户的生物计量推断处理来调整可显示在所述HMD处的图像。6.根据权利要求1所述的方法，其中，所述眼睛跟踪信息具有比所述图像大的刷新速率，且在所述眼睛跟踪信息的每次刷新时重复所述方法，并且其中，如果自从眼睛跟踪信息的先前刷新以来所述图像已经被刷新，则在眼睛跟踪信息的每次刷新时图像被下采样并且图像亮度被确定。7.根据权利要求1所述的方法，其中，所述图像具有比所述眼睛跟踪信息大的刷新速率，且在所述图像的每次刷新时重复所述方法。8.根据权利要求1所述的方法，其中，通过将所述图像纹理映射到一像素乘一像素纹理映射作为图像像素来对所述图像进行下采样，并且其中，通过将所述图像纹理映射到一像素乘一像素纹理映射作为中心凹像素来对所述图像的中心凹区下采样。9.根据权利要求1所述的方法，其中，所述图像像素是所选图像像素，通过将所述图像纹理映射到包括所选图像像素的多个图像像素的n像素乘n像素纹理映射来对所述图像进行下采样，并且计算每个图像像素的照度，其中，所述中心凹像素是所选中心凹像素，通过将所述图像...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：惠普发展公司，有限责任合伙企业，
类型：发明
国别省市：