基于棱镜的眼睛跟踪制造技术

一种HMD设备(100、300)包括：显示面板(102、308、310)；以及x棱镜分束器(104)，其沿着所述显示面板与眼睛(112)的期望位置之间的第一轴(202)布置。所述X棱镜分束器沿着所述第一轴在从所述显示面板到所述眼睛的第一方向上引导第一光束(212)，沿着基本上垂直于所述第一轴的第二轴(208)在第二方向上引导第二光束(216)，并且沿着所述第二轴在所述第二方向上引导第三光束(222)，其中所述第二光束表示所述第一光束并且所述第三光束表示离开所述眼睛的所述第一光束的反射。所述HMD设备还包括成像相机(106)以捕获合成图像(232)，其包括所述第二光束的表示和所述第三光束的表示二者的组合。

Eye tracking based on prism

An HMD device (100, 300) includes a display panel (102, 308, 310) and an X-prism beam splitter (104) arranged along the first axis (202) between the display panel and the desired position of the eye (112). The X-prism beam splitter guides the first beam (212) along the first axis in the first direction from the display panel to the eyes, the second beam (216) in the second direction along the second axis (208) substantially perpendicular to the first axis, and the third beam (222) in the second direction along the second axis. The second beam represents the first beam and the third beam represents the reflection of the first beam leaving the eye. The HMD device also includes an imaging camera (106) to capture a composite image (232), including a combination of the representation of the second beam and the representation of the third beam.

【技术实现步骤摘要】
【国外来华专利技术】基于棱镜的眼睛跟踪
本公开大体涉及头戴式显示系统，并且更特别地，涉及头戴式显示系统中的眼睛跟踪。
技术介绍
头戴式显示器(HMD)设备利用被安装在用户的眼睛前面的显示面板来显示各种类型的内容，包括虚拟现实(VR)内容、增强现实(AR)内容等。眼睛跟踪常常被实现在HMD系统中以促进各种功能性，诸如小凹成像(还被称为注视跟随成像)、基于眼球运动的用户输入或者交互等。常规眼睛跟踪机构通常采用透镜和反射镜的复杂布置捕获眼睛的图像，并且从该图像估计眼睛的注视方向。然而，HMD设备制造商力图给HMD设备提供减少的形状因子，并且在常规系统中被要求以在不挡住显示面板的情况下提供该眼睛跟踪功能的复杂光学机构常常禁止针对HMD设备的小形状因子的实施方式。而且，被实现为基于常规捕获的眼睛图像来估计眼睛注视的算法常常计算密集并且因此难以在缺少昂贵和耗用功率高性能计算系统的情况下在HMD设备中实现。附图说明通过参考附图，本领域的技术人员可以更好地理解本公开，且使本公开的很多特征和优点对于本领域的技术人员显而易见。不同的附图中的相同附图标记的使用指示类似或者相同的项。图1是根据本公开的至少一个实施例的图示利用x棱镜分束器的眼睛跟踪系统的部件的布置的示图。图2是根据本公开的至少一个实施例的图1的眼睛跟踪系统的剖视图的示图。图3是图示实现根据本公开的至少一个实施例的图1的眼睛跟踪系统的HMD设备的后视图的示图。图4是图示根据本公开的至少一个实施例的图3的HMD设备的处理系统的示图。图5是图示根据本公开的至少一个实施例的用于使用在眼睛跟踪中的合成图像的两个示例的示图。具体实施方式以下描述旨在通过提供包含基于HMD的眼睛跟踪系统的许多特定实施例和细节传达本公开的透彻理解。然而，应理解到，本公开不限于仅作为示例的这些特定实施例和细节，并且本公开的范围因此旨在仅由以下权利要求和其等同物限制。为了图示，除基于HMD的系统之外，本文所描述的眼睛跟踪系统可以被利用在其它系统中。还应理解到，鉴于已知系统和方法，本领域的普通技术人员还应理解到，在任何数量的备选实施例中出于其预期目的和益处的本公开的使用取决于特定设计和其它需要。图1-5图示了HMD设备或者其它类似设备中的眼睛跟踪的示例设备和技术。在至少一个实施例中，x棱镜分束器沿着显示面板与用户的眼睛的期望位置之间的视轴定位，并且定位眼睛跟踪相机以便聚焦于x棱镜分束器的一部分，其垂直于和视轴相交的x棱镜分束器的两个部分。出于眼睛跟踪目的，具有与显示面板固定位置关系的IR光集合被触发或者“被闪光”以便通过x棱镜分束器照射用户的眼睛。x棱镜分束器使得来自显示屏的光和来自IR光源集合的IR光的图像或者其它表示被投影到眼睛跟踪相机，同时还同时地使得来自用户的眼睛和眼睛周围的区域的光的反射的图像或者其它表示被投影到眼睛跟踪相机。眼睛跟踪相机因此能够捕获包括显示面板和IR光源的影像和来自用户的眼睛和周围区域的反射的影像的合成图像。该合成图像然后可以被分析以确定用户的眼睛的当前位置、定向或者注视方向中的一个或多个。图1图示了根据至少一个实施例的用于实现在头戴式设备(HMD)或者类似显示系统中的眼睛跟踪系统100。如所描绘的，眼睛跟踪系统100包括显示面板102、x棱镜分束器104、成像相机106和眼睛跟踪处理子系统108。显示面板102被用于将影像显示给用户。在一些实施例中，单个显示面板102被用于联合地显示分离的并排式图像，针对用户的每只眼睛112使用单个并排式图像。在其它实施例中，针对每只眼睛112使用分离的显示面板102。进一步地，在一些实施例中，跟踪用户的两只眼睛，在该情况下针对每只眼睛112实现分离的眼睛跟踪相机106。同样地可以针对每只眼睛实现分离的x棱镜分束器104，或者可以使用具有跨用户的两只眼睛112延伸的宽度(即，在与显示面板102的表面上平行的方向上)的单个x棱镜分束器104。可以沿着在显示面板102与x棱镜分束器104之间的视轴、在x棱镜分束器104与眼睛112之间的视轴或者在这两个位置中定位一个或多个光学透镜(未示出)。沿着显示面板102与眼睛112的期望或者预期位置之间的视轴(图2的视轴202)定位x棱镜分束器104(在下文中，为了方便引用，“x棱镜104”)。x棱镜104包括具有两个部分反射面114、115的立方体或平行六面体棱镜，所述部分反射面基本上彼此垂直(即，90°+/-10°)并且在相对于视轴的基本上非垂直角处。如在视图116中所描绘的，x棱镜104可以通过粘附在一起或者以其它方式机械联合以形成平行六面体分束器的四个分离的直角三面体棱镜117、118、119、120构建。实现棱镜117-120，使得对于每个部分反射面114、115而言，入射光束被部分地透射并且部分地反射。例如，棱镜117-120可以使用具有基于感兴趣波长的厚度的透明(针对感兴趣波长)粘结层被粘附在一起，使得由于由棱镜与其之间的粘结层的厚度之间的界面引起的受抑全内反射现象，入射光束的某个比例(例如，50％)在相对于入射角的90度角处被反射，并且入射光的剩余比例(例如，50％)基本上沿着其原始路径被透射通过x棱镜104。替选地，棱镜117-120中的一些棱镜的面对侧可以涂敷有金属(例如，铝)或其它适合的材料(例如，IR/可见光双色性材料)的薄或不连续涂层，使得当棱镜117-120被结合在一起以形成x棱镜104时，薄/不连续涂层形成部分反射面114、115。例如，棱镜117的表面121和棱镜119的表面122各自可以接收适当的材料的薄或不连续涂层，使得当棱镜117-120被结合时，表面121、122上的薄/不连续涂层一起形成部分反射层115。类似地，棱镜118的表面123和棱镜120的表面124各自可以接收材料的薄或不连续涂层，使得当棱镜117-120被结合时，表面123和124上的薄/不连续涂层一起形成部分反射面114。在一些实施例中，可见光谱外部的光诸如红外(IR)光(并且更特别地近红外(NIR)光)被用于出于眼睛跟踪的目的照射眼睛112，以及用作用于眼睛跟踪过程的坐标系参考点。为了图示，诸如IR光源126、127、128、129的一个或多个IR光源的集合可以在指定模式中被实现在与显示面板102的固定位置关系中。如下面所描述的，IR光源集合的特定模式和其相对于显示面板102的固定关系用作坐标系参考。在一些实施例中，通过在显示面板102中，诸如在如图1中所描绘的显示面板102的四个角处或者沿着显示面板102的边界或者“弯曲”，添加IR光源126-129来获得该固定位置关系。在其它实施例中，IR光源能够关于显示面板102“虚拟地”嵌入，诸如通过将IR光源物理地定位在相机空间附近，使得其通过一个或多个透镜“虚拟地”定位在显示面板102上。在任一方法中，由于IR光源是固定的并且显示面板102每个是固定的，因而其相对位置将不改变并且因此建立IR光源与显示面板102之间的固定的相对位置关系。IR光源126-129每个可以包括例如IR发射垂直腔面发射激光器(VECSEL)、IR发光二极管(LED)等。参考图2更好地理解眼睛跟踪系统100的一般操作，图2图示了根据一些实施例的眼睛跟踪系统100的剖视图200。如本文档来自技高网...

【技术保护点】
1.一种头戴式显示器HMD设备(100、300)，包括：显示面板(102、308、310)，所述显示面板用于显示影像；x棱镜分束器(104)，所述x棱镜分束器沿着在所述显示面板与用户的眼睛(112)的期望位置之间的第一轴(202)布置，所述x棱镜分束器用于沿着所述第一轴在从所述显示面板到所述眼睛的第一方向上引导第一光束(212)，沿着基本上垂直于所述第一轴的第二轴(208)在第二方向上引导第二光束(216)，并且沿着所述第二轴在所述第二方向上引导第三光束(222)，其中所述第二光束表示所述第一光束并且所述第三光束表示离开所述眼睛的所述第一光束的反射；以及成像相机(106)，所述成像相机具有与所述第二轴对准的光轴，所述成像相机用于捕获合成图像(232)，所述合成图像包括所述第二光束的表示和所述第三光束的表示二者的组合。

【技术特征摘要】
【国外来华专利技术】2015.11.25 US 62/259,7611.一种头戴式显示器HMD设备(100、300)，包括：显示面板(102、308、310)，所述显示面板用于显示影像；x棱镜分束器(104)，所述x棱镜分束器沿着在所述显示面板与用户的眼睛(112)的期望位置之间的第一轴(202)布置，所述x棱镜分束器用于沿着所述第一轴在从所述显示面板到所述眼睛的第一方向上引导第一光束(212)，沿着基本上垂直于所述第一轴的第二轴(208)在第二方向上引导第二光束(216)，并且沿着所述第二轴在所述第二方向上引导第三光束(222)，其中所述第二光束表示所述第一光束并且所述第三光束表示离开所述眼睛的所述第一光束的反射；以及成像相机(106)，所述成像相机具有与所述第二轴对准的光轴，所述成像相机用于捕获合成图像(232)，所述合成图像包括所述第二光束的表示和所述第三光束的表示二者的组合。2.根据权利要求1所述的HMD设备，还包括：一个或多个红外IR光源(126、127、128、129)的集合，所述一个或多个IR光源的集合被布置在与所述显示面板相关联的对应的位置处；以及其中，所述第一光束包括由所述一个或多个IR光源的集合发射的IR光。3.根据权利要求2所述的HMD设备，其中：所述成像相机包括具有全局快门的IR相机；以及其中，所述一个或多个IR光源的集合基于所述全局快门的垂直同步信号来触发。4.根据权利要求2所述的HMD设备，还包括：眼睛跟踪模块(412)，所述眼睛跟踪模块用于基于所述合成图像来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。5.根据权利要求4所述的HMD设备，其中：所述眼睛跟踪模块用于基于使用存在于所述合成图像中的来自所述一个或多个IR光源的集合的所述IR光作为参考坐标系来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。6.根据权利要求2所述的HMD设备，其中：所述x棱镜分束器包括：第一部分反射面(114)，所述第一部分反射面被布置在相对于所述第一轴的第一角处；第二部分反射面(115)，所述第二部分反射面被布置在相对于所述第一轴的第二角处，所述第二角基本上垂直于所述第一角；以及其中，所述第一部分反射面部分地反射可见光和IR光二者，并且所述第二部分反射面部分地反射IR光并且对于可见光而言基本上是透明的。7.根据权利要求2所述的HMD设备，其中：所述一个或多个IR光源的集合包括一个或多个垂直腔面发射激光器的集合。8.根据权利要求1所述的HMD设备，还包括：眼睛跟踪模块(412)，所述眼睛跟踪模块用于基于所述合成图像来确定所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向中的至少一个。9.根据权利要求8所述的HMD设备，其中：基于所确定的所述眼睛的位置、所述眼睛的定向或者所述眼睛的注视方向来控制所述HMD设备的至少一个部件(404、408)。10.一种在头戴式显示器HMD设备(100、300)中的方法，包括：通过x棱镜分束器(104)沿着第一轴(202)将第一...

【专利技术属性】
技术研发人员：张智彬，杰里·卡罗洛，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US