用于在虚拟和增强现实中产生焦平面的方法和系统技术方案

公开了一种用于向用户呈现虚拟现实和增强现实体验的配置。该系统可以包括：空间光调制器，其可操作地耦合到用于投射与一帧或多帧图像数据相关联的光的图像源；以及用于改变投射光的焦点的可变焦元件(VFE)，使得第一帧图像数据在第一深度平面处聚焦，且第二帧图像数据在第二深度平面处聚焦，并且其中，第一深度平面和第二深度平面之间的距离是固定的。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求以代理人案号ML30017.00于2014年5月30日提交的名为“用于在虚拟和增强现实中产生焦平面的方法和系统(METHODSANDSYSTEMSFORCREATINGFOCALPLANESINVIRTUALANDAUGMENTEDREALITY)”的美国临时专利申请序列号62/005，834的优先权。本申请与以代理人案号ML30016.00于2014年5月30日提交的名为“用于虚拟和增强现实的方法和系统(METHODSANDSYSTEMSFORVIRTUALANDAUGMENTEDREALITY)”的美国专利申请序列号62/005，807，以及以代理人案号ML30018.00也于2014年5月30日提交的名为“利用具有用于虚拟和增强现实的可寻址聚焦的自由形态光学系统来显示立体视觉的方法和系统(METHODSANDSYSTEMSFORDISPLAYINGSTEREOSCOPYWITHAFREEFORMOPTICALSYSTEMWITHADDRESSABLEFOCUSFORVIRTUALANDAUGMENTEDREALITY)”的美国临时专利申请序列号62/005，865交叉相关。本申请还与以代理人案号ML20011.00于2014年11月27日提交的名为“虚拟和增强现实方法和系统(VIRTUALANDAUGMENTEDREALITYSYSTEMSANDMETHODS)”的美国专利申请序列号14/555，585，和以代理人案号ML20012.00于2015年1月30日提交的名为“多焦点显示系统和方法(MULTI-FOCALDISPLAYSYSTEMANDMETHOD)”的美国专利申请序列号14/611，154，以及以代理人案号ML20013.00于2015年1月30日提交的名为“多焦点显示系统和方法(MULTI-FOCALDISPLAYSYSTEMANDMETHOD)”的美国专利申请序列号14/611,162交叉相关。
技术介绍
现代计算技术和显示技术已经促进了用于所谓“虚拟现实”或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。例如，参考图1，描绘了增强的现实场景(4)，其中，AR技术的用户看见了以在背景中的人、树、建筑为特征的真实世界公园状的设置(6)和实体平台(1120)。除了这些项以外，AR技术的使用者还感知到他“看到”站在真实世界的平台(1120)上的机器人雕像(1110)，以及正在飞行的卡通式的头像角色(2)，通过其看起来是大黄蜂的拟人化，即使这些元素(2，1110)在真实世界中不存在。事实证明，人类视觉感知系统很复杂，产生一种促进虚拟图像元素在其他虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的VR或AR技术具有挑战。参考图2A，已经开发了立体可穿戴眼镜式配置，其通常以两个显示器(10，12)为特征，两个显示器被配置为显示具有轻微不同的元素呈现的图像，以使得三维透视图被人类视觉系统感知。已经发现这种配置由于聚散和调节之间的不匹配令很多使用者不舒服，必须克服该不匹配以在三维中感知图像。实际上，一些使用者不能够忍受立体配置。图2B示出了以两个朝前取向的照相机(16,18)为特征的另一副立体可穿戴眼镜(14)式配置，该两个朝前取向的照相机(16,18)被配置为捕获用于通过立体显示器向用户呈现增强现实的图像。当眼镜(14)在用户的头上安装时，通常照相机(16，18)和显示器的位置阻挡用户的固有视场。参考图2C，示出了增强现实配置(20)，其以耦合到眼镜框架(24)的可视化模块(26)为特征，该眼镜框架(24)还保持传统眼镜透镜(22)。采用这种系统用户能够看到至少部分畅通无阻的真实世界的视图，并且具有小显示器(28)，采用该显示器(28)可在AR配置中向一只眼睛呈现数字图像-用于单眼AR呈现。图2D以具有耦合到帽子或头盔(30)的可视化模块(32)的配置为特征。该可视化模块可被配置为通过小显示器(34)向用户呈现单眼增强数字图像。图2E示出了另一类似的配置，包括以与眼镜耦合类似的方式能够耦合到用户的头部的框架(36)，使得可视化模块(38)可用于捕获图像并且也通过小显示器(40)向用户呈现单眼增强数字图像。这种配置例如可从福尼亚州山景城的的谷歌公司以商品名为GoogleGlass(RTM)得到。这些配置中没有一种以对用户舒适且最大的有用的方式，最佳地适用于呈现丰富的、双眼的、三维增强现实体验，部分地因为之前的系统不能解决人类感知系统的一些基本方面，包括视网膜的光感受器以及它们与大脑的交互以向用户产生可视化感知。参考图3，描绘了人眼的简化截面视图(58)，其以角膜(42)、虹膜(44)、晶状体(lens)-或“晶状体”(“crystallinelens”)(46)、巩膜(48)、脉络膜层(50)、黄斑(52)、视网膜(54)、以及通向大脑的视神经路径(56)为特征。黄斑是视网膜的中心，其用于看见适度的细节。在黄斑的中心是称为“中心凹”的视网膜的一部分，其用于观察场景的最细微的细节，并且其含有比视网膜的任何其它部分更多的光感受器(每视度大约120个视锥)。人类视觉系统不是被动传感式系统；它被配置为主动地扫描环境。以某种类似于使用平板扫描仪捕获图像或使用手指从纸上读取盲文的方式，眼睛的光感受器响应于刺激的变化而激发，而不是不断地响应于刺激的恒定状态。因此，需要运动来向大脑呈现光感受器信息(正如线性扫描仪阵列跨过在平板扫描仪中的一张纸的运动，或手指跨过印在纸中的盲文的运动。实际上，采用已经用于麻痹眼睛的肌肉的物质(诸如眼镜蛇毒)的实验已经表明，在眼睛的毒液诱导麻痹的下观看静态场景，人类受试者如果在他的眼睛睁开的情况下定位将经历失明。换言之，没有刺激的变化，光感受器不会向大脑提供输入并经历失明。认为这是至少一个原因：已经观察到普通人的眼睛在所谓的左右运动中来回移动，或抖动。如上所述，视网膜的中心凹包含最大密度的光感受器。虽然通常认为人类在他们的整个视场具有高分辨率可视化能力，但是他们一般实际上只具有较小的高分辨率中心，该高分辨率中心几乎不断地机械扫描，伴随由中心凹最近捕获的高分辨率信息的持久存储。以某种类似的方式，眼睛的焦距控制机制(睫状肌以如下方式可操作地耦合到晶状体，其中睫状肌松弛引起紧绷的睫状肌结缔纤维将晶状体变平，以获得更远的焦距；睫状肌收缩引起睫状肌结缔纤维放松，其允许晶状体呈现更圆的几何形状，以获得更近的焦距)以大约1/4到1/2的屈光度来回抖动，以周期性地在目标焦距的近端和远端引起少量的所谓“屈光模糊”。这被大脑的调节控制回路用作周期性的负反馈，其有助于不断地纠正过程并保持注视对象的视网膜图像近似对焦。大脑的可视化中心同样根据眼睛和其组件相对于彼此的运动来获得有价值的感知信息。两只眼睛相对于彼此的聚散运动(即，瞳孔朝向或远离彼此的滚动运动，以汇聚眼睛视线来注视到对象上)与眼睛的本文档来自技高网...

【技术保护点】
一种显示增强现实的方法，包括：投射与第一帧图像数据相关联的光；将与所述第一帧图像数据相关联的光聚焦在第一深度平面处；投射与第二帧图像数据相关联的光；以及将与所述第二帧图像数据相关联的光聚焦在第二深度平面处，其中，所述第一深度平面不同于所述第二深度平面，并且其中，当由用户观看时，所述第一深度平面和所述第二深度平面被同时感知。

【技术特征摘要】
【国外来华专利技术】2014.05.30 US 62/005,8341.一种显示增强现实的方法，包括：投射与第一帧图像数据相关联的光；将与所述第一帧图像数据相关联的光聚焦在第一深度平面处；投射与第二帧图像数据相关联的光；以及将与所述第二帧图像数据相关联的光聚焦在第二深度平面处，其中，所述第一深度平面不同于所述第二深度平面，并且其中，当由用户观看时，所述第一深度平面和所述第二深度平面被同时感知。2.根据权利要求1所述的方法，还包括跟踪所述用户的眼睛的聚散度，其中，所述光至少部分地基于所跟踪的聚散度来聚焦。3.根据权利要求1所述的方法，其中，所述第一深度平面对应于在z方向上距离所述用户的第一距离，并且所述第二深度平面对应于在z方向上距离所述用户的第二距离，并且其中，所述第一深度平面和所述第二深度平面之间的间隔随时间保持不变。4.根据权利要求2所述的方法，还包括：投射与第三帧图像数据相关联的光；将与所述第三帧图像数据相关联的光聚焦在所述第一深度平面处。5.根据权利要求2所述的方法，其中，所述第一深度平面对应于光学无穷远。6.根据权利要求2所述的方法，其中，所述第一帧图像数据和所述第二帧图像数据是连续的帧。7.根据权利要求2所述的方法，其中，所述第一和第二帧图像数据的焦点在逐帧的基础上变化。8.根据权利要求2所述的方法，还包括将所聚焦的光递送到用户的眼睛。9.根据权利要求2所述的方法，其中，所述第一和第二帧图像数据包括三维场景的切片。10.根据权利要求2所述的方法，其中，以时间顺序方式提供所述第一和第二帧图像数据。11.根据权利要求2所述的方法，其中，所述第一深度平面对应于光学无穷远，以及所述第二深度平面对应于比光学无穷远更近的深度平面。12.根据权利要求2所述的方法，其中，所投射的光通过可变焦元件来聚焦。13.根据权利要求12所述的方法，其中，所述可变焦元件是可变形膜镜。14.一种显示增强现实的方法，包括：确定用户的眼睛的焦点；投射与图像数据的帧相关联的光；至少部分地基于所确定的用户的眼睛的焦点来聚焦与所述图像数据的帧相关联的光以生成深度平面；以及至少部分地基于所述用户的眼睛的焦点的变化在z方向上的范围内移动所述深度平面。15.根据权利要求14所述的方法，还包括至少部分地基于所述深度平面被生成的距离来模糊在所述第一帧图像数据中的一个或多个虚拟对象，并且其中，所述一个或多个虚拟对象对应于与所述深度平面相比的不同深度。16.根据权利要求14所述的方法，其中，所述光通过空间光调制器来投射。17.根据权利要求16所述的方法，其中，所述空间光调制器包括DLP。18.根据权利要求17所述的方法，其中，所述DLP以大约120Hz的功率操作。19.根据权利要求15所述的方法，其中，多帧图像数据被投射在所述深度平面处，并且其中，所述多帧图像数据中的一帧的至少一部分被模糊。20.根据权利要求14所述的方法，其中，所述深度平面至少部分地通过可变焦元件(VFE)来生成。21.根据权利要求20所述的方法，其中，所述VFE包括光折射膜透镜。22.根据权利要求16所述的方法，其中，所述空间光调制器是高刷新速率显示器。23.根据权利要求14所述的方法，还包括通过一组光学元件将所述光递送到所述用户的眼睛。24.根据权利要求14所述的方法，其中，所述图像数据的帧包括三维场景的至少一个切片。25.根据权利要求24所述的方法，其中，以时间顺序的方式提供一帧或多帧图像数据。26.一种显示增强现实的方法，包括：投射与第一帧图像数据相关联的光；在波导的堆叠的第一波导处接收与所述第一帧图像数据相关联的所投射的光，所述第一波导包括第一衍射光学元件...

【专利技术属性】
技术研发人员：W·H·韦尔奇，R·D·泰克尔斯特，H·钟，HC·程，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US