闭塞直接视图增强现实系统的图像补偿技术方案

描述了用于闭塞直接视图增强现实系统的图像补偿。在一个或多个实施例中，增强现实装置包括发射显示层，用于向用户的眼睛呈现发射图形；和衰减显示层，用于在发射显示层和真实世界场景之间呈现衰减图形以阻挡来自发射图形的真实世界场景的光。亮区补偿模块基于观看者的眼睛的属性(诸如瞳孔的大小)来扩张衰减图形，以产生阻挡附加的光的扩展衰减图形以补偿非预期亮区。暗区补偿模块掩盖具有发射显示层中的复制图形的非预期暗区，该复制图形再现非预期暗区中的真实世界场景的外观。相机提供用于生成复制图形的光数据。

Image compensation of occluded direct view augmented reality system

Image compensation for occluded direct view augmented reality system is described. In one or more embodiment, augmented reality display device comprises a transmitting layer for transmitting graphics to the user's eyes appear; and the attenuation of display layer, used in emission display graphics to block the attenuation of real world scenes from the light emission pattern between the layer and the real world scene. The bright region compensation module expands the attenuation pattern based on the viewer's property (such as pupil size) to produce an extended attenuation pattern blocking additional light to compensate for the unexpected bright region. The dark zone compensation module masks the unexpected dark area of the replication pattern in the emissive display layer, which reproduces the appearance of the real world scene in the unexpected dark region. The camera provides optical data for generating replication patterns.

【技术实现步骤摘要】
闭塞直接视图增强现实系统的图像补偿
技术介绍
增强现实对于提供与人的当前环境相关的信息而言是很有希望的。利用增强现实，将视觉图像添加到人当前正在观看的环境的场景中。视觉图像是由计算机生成并且被添加到真实世界场景的合成图形图像(以下还被称为“合成图形”)。例如，合成图形可以被覆盖或叠加在真实世界场景的前面。合成图形还可以被插入到真实世界场景中，使得合成图形的所插入的视觉图像看起来在视场中的某一深度处部分地在真实世界对象后面。通过精细编排插入合成图形，合成图形可以看起来与真实世界场景集成在一起，这可以提供增加的真实性或者使得注释不会阻挡重要的视觉方面，但仍清楚地指示什么可见对象正在被注释。合成图形可以是有帮助的、幽默的、娱乐的等等。例如，增强现实系统可以在街道上或走廊下方显示方向箭头和文本说明，以帮助人导航到所请求的目的地。在另一示例中，汽车零件的推荐公差或详细的安装说明被显示以帮助汽车修理工。在又一示例中，增强现实系统可以将所计划的结构重建结果或新家具的引入投影到建筑物的内部的真实世界视图中。合成图形可以进一步用于娱乐，诸如，显示有趣的评论或最近的社交媒体通信，例如，在朋友和同事的头上。在另一示例中，电子“伙伴”可以被引入到儿童的周围空间中以充当玩伴、导师或指导者。因此，增强现实有可能通过使得合成图形能够添加到真实世界场景中来积极影响许多生活领域。增强现实系统可以以多种方式配置。例如，增强现实系统可以被配置为设置在用户眼睛前面的眼镜、覆盖眼睛的护目镜、另一类型的头戴式显示器、显示屏、视频投影仪、或它们的某种组合。这些系统还包括结合真实世界场景生成用于视觉呈现的合成图形的功能性。增强现实系统通常被构建为两种主要类型中的一种：支持直接视图的透视系统、或支持间接视图的相机介导系统。对于前一类型的系统，人通过呈现合成图形的显示屏来观看，并且还可以直接观看设置在显示屏后面的真实世界场景。对于后一类型的系统，人查看显示屏以看到如在显示屏上共同呈现的合成图形和真实世界场景两者。对于两种类型的增强现实系统，建立一些途径以将合成图形与真实世界场景合成以创建合成视图。遗憾的是，若干种技术障碍妨碍了用直接观察途径或相机介导途径来实现增强现实的全部潜能。对于相机介导增强现实系统，人的视野通常被约束到呈现通过使用相机捕获的世界的单层显示屏，但是显示屏从观看显示屏的人的眼睛的视角看对真实世界物理上是不透明的。换句话说，人的视野是间接的，因为人不接收源自真实世界的光。相反，具有图像传感器的相机暴露于真实世界场景，并且一个或两个小型显示屏通过管道传输来自相机的图像传感器的数据来显示真实世界场景。相机介导增强现实系统类似于通过现代摄像机的取景器观察，其中液晶显示(LCD)屏幕呈现了当照明或聚焦指示在正在被记录的场景上叠加时，摄像机的图像传感器当前“看到”的视图。因此，因为真实世界场景和合成图形的组合以电子方式执行，然后一起显示在单层显示屏上，所以相机介导增强现实系统允许精确合成。遗憾的是，由于相机的分辨率和延迟约束、图像处理部件以及显示屏本身的限制，所以相机介导系统降低了人对真实世界环境的视野。如果系统经历电源故障，则相机介导增强现实系统也变得黑暗并且完全不透明。相反，对于直接视图增强现实系统，人的眼睛暴露于源自真实世界对象的光线。直接视图系统包括显示屏，该显示屏具有被配置成插入在人的眼睛和如直接观看的真实世界场景之间的一个或多个显示层。用于至少部分透视的显示屏的显示层的示例是发射显示层。发射显示层可以主要对于源自真实世界对象的光而言是透明的，但是发射显示层还可以选择性地呈现足够不透明以便人眼可辨别的图像。因此，直接视图增强现实系统使用并入到一个或多个显示层中的先进光学器件，以在如叠加在真实世界场景上的观看者前方的固定距离处创建透明显示器的错觉。因为真实世界对象被直接观察，所以以最小的延迟看到真实世界。遗憾的是，直接视图增强现实系统也存在许多缺点，诸如窄视场。更进一步地，添加到真实世界场景的合成图形经受显示子系统的分辨率约束，该显示子系统可以包括显示屏的多个显示层以及相关联的处理能力。附加地，一旦合成图形由直接视图增强现实系统叠加，人正确聚焦在合成图形上的能力可能受到人眼的解剖特征的影响。例如，以使眼睛和头脑将合成图形定位在真实世界视图中的期望深度处的方式呈现合成图形是困难的。当人的眼睛和大脑试图将源自眼睛大约一英寸的光与源自距离人几十、几百或更多英尺的真实世界对象的光组合时，这是特别的如此。为了便于特写合成图形和远距离真实世界对象的精确合成，自由形态光学棱镜透镜可以用作直接视图增强现实系统中的显示屏的显示层。自由形态光学棱镜透镜呈现具有适当聚焦线索的合成图形，以帮助人看到所显示的合成图形，而没有模糊性并且在视场中的预期深度。可以采用集成的轻重量眼睛跟踪来估计人的眼睛当前聚焦在哪里或聚焦在什么对象上以确定焦深。然而，具有挑战性的问题仍然是将闭塞合成图形引入到直接视图增强现实系统。添加到真实世界场景的合成图形遮挡了人对一个或多个真实世界对象的视野。尽管闭塞合成图形阻挡了一些真实世界对象的视图，但是闭塞合成图形仍然是期望的，因为图形向人提供信息，诸如真实世界场景中的对象的描述或其它注释。另一方面，使人分心的图像伪影是不期望的。直接视图增强现实系统仍旧是有问题的，因为这样的系统与闭塞合成图形的呈现结合产生使人分心的图像伪影。图像伪影的示例是围绕所显示的合成图形的暗光晕。这种图像伪影由多个透视显示层、源自真实世界场景的光、或多个层与入射光的相互作用来产生。至少从光学角度来看，用于将闭塞合成图形引入到真实世界场景的一种相对简单的方法利用了LCD层的常规叠层。LCD层的叠层可以衰减真实世界并且在前景中提供合成图形以及适当的聚焦线索。遗憾的是，这种设备具有低空间分辨率，并且需要计算昂贵的优化处理来显示合成图形。而且，对于堆叠的LCD层来获得角分辨率，LCD层的分辨率被增加。但是，由于衍射效应，足够高分辨率的LCD层可以模糊真实世界的透射视图。采用堆叠在彼此顶部上的三个这种LCD层进一步加剧了这个问题。附加地，如果使用LCD层的常规叠层来衰减人对周围环境的视野以支持观看合成图形，则在合成图形周围可见到暗光晕。已经提出了备选光学系统，但是备选光学系统既庞大又复杂。备选方案还影响增强现实系统的其它期望方面，诸如良好的对比度。
技术实现思路
描述了用于闭塞直接视图增强现实系统的图像补偿。增强现实装置包括具有选择性透明的两个显示层的显示屏。当两个显示层均是透明的时，用户可以看穿两个层以直接观看真实世界场景。然而，当层中的一个或两个层正在显示合成图形时，所显示的图形闭塞了用户对真实世界场景的视野的至少一部分，并且这些闭塞可能产生不期望的图像伪影。两种类型的使人分心的不期望的图像伪影是非预期亮区和非预期暗区。在一个所描述的方面中，直接视图增强现实装置补偿非预期亮区。在另一所描述的方面中，直接视图增强现实装置补偿非预期暗区。对于所描述的两方面，增强现实装置包括具有发射显示层和衰减显示层的显示屏，以呈现合成图形。在操作中，发射显示层呈现显示给用户眼睛的发射图形，并且包括一些信息内容。衰减显示层位于发射显示层和真实世界场景之间，并且呈现衰减(例如，基本上阻挡)源自真本文档来自技高网...

【技术保护点】
至少一种计算设备，所述设备操作在数字媒体环境中以减少图像伪影的可见性的方式结合现实世界场景的直接视图来呈现合成图形图像，所述设备包括：合成图形模块，被配置成获得发射图形和衰减图形；亮区补偿模块，被配置成扩张所述衰减图形以基于用户的眼睛的属性产生扩展衰减图形；以及显示模块，被配置成：指令发射显示层将所述发射图形呈现给所述用户的所述眼睛；以及指令衰减显示层呈现所述扩展衰减图形以阻挡来自所述发射图形的所述真实世界场景的光，并且以防止在所述发射图形上形成非预期亮区。

【技术特征摘要】
2016.04.19 US 15/133,0251.至少一种计算设备，所述设备操作在数字媒体环境中以减少图像伪影的可见性的方式结合现实世界场景的直接视图来呈现合成图形图像，所述设备包括：合成图形模块，被配置成获得发射图形和衰减图形；亮区补偿模块，被配置成扩张所述衰减图形以基于用户的眼睛的属性产生扩展衰减图形；以及显示模块，被配置成：指令发射显示层将所述发射图形呈现给所述用户的所述眼睛；以及指令衰减显示层呈现所述扩展衰减图形以阻挡来自所述发射图形的所述真实世界场景的光，并且以防止在所述发射图形上形成非预期亮区。2.根据权利要求1所述的设备，其中所述用户的所述眼睛的所述属性包括指示所述用户的所述眼睛的大小的值。3.根据权利要求2所述的设备，其中指示所述用户的所述眼睛的所述大小的所述值基于所述眼睛的瞳孔的半径。4.根据权利要求1所述的设备，其中所述亮区补偿模块还被配置成通过应用基于所述用户的所述眼睛的所述属性调谐的卷积核来产生所述扩展衰减图形。5.根据权利要求4所述的设备，其中基于从所述发射显示层的位置测量的距离进一步调谐所述卷积核。6.根据权利要求1所述的设备，其中所述亮区补偿模块还被配置成通过应用基于所述用户的所述眼睛的所述属性调谐的最小滤波器来产生所述扩展衰减图形。7.根据权利要求1所述的设备，其中所述非预期亮区包括与所述发射图形的至少一部分接壤的内亮光晕。8.根据权利要求1所述的设备，其中：所述亮区补偿模块还被配置成通过扩张衰减蒙板来产生所述扩展衰减图形；并且所述显示模块还被配置成基于扩张的所述衰减蒙板来指令所述衰减显示层呈现所述扩展衰减图形。9.根据权利要求1所述的设备，还包括：暗区补偿模块，被配置成生成复制图形以再现其中来自所述真实世界场景的所述直接视图的光被所述扩展衰减图形阻挡的区域中的所述真实世界场景的外观，其中所述显示模块还被配置成指令所述发射显示层以向所述用户的所述眼睛呈现所述区域中的所述复制图形。10.一种系统，所述系统操作在数字媒体环境中以减少图像伪影的可见性的方式结合现实世界场景的直接视图来呈现合成图形图像，所述系统包括：相机，被配置成检测代表所述真实世界场景的光；发射显示层，被配置成呈现发射图形；衰减显示层，被配置成呈现衰减图形；暗区补偿模块，被配置成：确定其中所述衰减图形阻挡来自用户的眼睛的所述真实世界场景的光的非预期暗区；以及基于代表所述真实世界场景的所述光来生成用于所述非预期暗区的复制图形；以及显示模块，被配置成使所述发射显示层呈现所述复制图形以再现所述非预期暗区中的所述真实世界场景的外观。11.根据权利要求10所述的系统，其中：所述非预期暗区包括模糊的非预期暗区；并且所述暗区补偿模块还被配置成：对衰减蒙板的边界进行散焦以产生模糊衰减蒙板；以及基于所述模糊衰减蒙板来生成所述复...

【专利技术属性】
技术研发人员：G·S·P·米勒，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国,US