使用结构光的眼睛追踪制造技术

公开了一种用于使用结构光追踪用户的眼睛的系统与方法。通过训练用户眼睛表面的模型来校准结构光系统。结构光发射器投射结构光图案(例如，红外结构光)到眼睛表面的一部分上。从照相机的视点，该照射图案出现失真。基于在所捕获的图像中的照射图案的失真，眼睛追踪系统可以确定结构光入射到的用户眼睛的部分的形状。通过比较确定的用户眼睛的部分的形状与该模型，可以确定眼睛的方位。眼睛追踪系统或其元件由此可以是头戴式显示器的部分，例如作为虚拟现实系统的部分。

Eye tracking using structured light

A system and method for tracking user's eyes using structured light are disclosed. The structure light system is calibrated by training the user's eye surface model. A structured light transmitter projects a structured light pattern (for example, infrared structural light) onto a part of the eye surface. From the camera's viewpoint, the illumination pattern is distorted. Based on the distortion of the illumination pattern in the captured image, the eye tracking system can determine the shape of the part of the user's eye that the structured light enters. The orientation of the eye can be determined by comparing the shape of the part of the user's eyes and the model. The eye tracking system or its components can thus be part of the head mounted display, for example, as part of the virtual reality system.

【技术实现步骤摘要】
【国外来华专利技术】使用结构光的眼睛追踪
本公开总体涉及眼睛追踪，并且特别地涉及在虚拟现实和/或增强现实应用中使用结构光进行眼睛追踪。
技术介绍
眼睛追踪指检测用户的目光的方向的处理，可以包括检测眼睛在三维(3D)空间中的角定向。眼睛追踪还可以包括检测眼睛的位置(例如，眼睛的中心)、眼睛的扭转(即，眼睛关于瞳孔中心轴的滚转)、眼睛的形状、眼睛的当前焦距、瞳孔的扩张、眼睛的状态的其他特征、或它们的组合。一种用于眼睛追踪的已知技术是捕获用户的视频图像并且使用机器视觉算法识别用户的瞳孔的方位。然而，这种技术需要显著的计算资源，并且对通过睫毛和眼睑的眼睛的闭合敏感。此外，这种方法是基于在虹膜与瞳孔之间的差别对比，其并非跨用户不变。因此，基于视频的瞳孔追踪可能不能精确地追踪某些用户的眼睛。在诸如在虚拟现实耳机中的头戴式显示器(HMD)的背景下，这种技术具有额外的缺点。用于捕获对于这种追踪方法所需的图像的类型的照相机可能是相对昂贵或大的。类似地，这种技术可能在照相机与用户眼睛的接近度上加入限制条件。此外，当照相机脱离用户目光的轴线定位时，这种技术可能执行不良。然而，当在HMD中使用眼睛追踪时，眼睛追踪系统的检测元件本文档来自技高网...

【技术保护点】
1.一种眼睛追踪单元，包括：结构光的发射器，被配置为以结构光图案照射用户的眼睛，其中，所述结构光图案在所述眼睛的表面的一部分上产生失真的照射图案；照相机，被配置为捕获与所述眼睛的表面的一部分相关联的所述失真的照射图案的图像；以及眼睛方位估计模块，被配置为基于由所述照相机捕获的图像和所述眼睛的模型来估计所述眼睛的方位。

【技术特征摘要】
【国外来华专利技术】2015.11.02 US 62/249,852;2016.10.27 US 15/335,6341.一种眼睛追踪单元，包括：结构光的发射器，被配置为以结构光图案照射用户的眼睛，其中，所述结构光图案在所述眼睛的表面的一部分上产生失真的照射图案；照相机，被配置为捕获与所述眼睛的表面的一部分相关联的所述失真的照射图案的图像；以及眼睛方位估计模块，被配置为基于由所述照相机捕获的图像和所述眼睛的模型来估计所述眼睛的方位。2.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛追踪单元是头戴式显示器(HMD)的组件，所述头戴式显示器包括：显示元件，被配置为向佩带所述头戴式显示器的用户显示内容；以及光学块，被配置为引导来自所述显示元件的光至所述头戴式显示器的出射光孔。3.根据权利要求1所述的眼睛追踪单元，还包括校准模块，所述校准模块被配置为：控制显示元件，以在电子元件上在一位置处显示视觉指示器；从所述照相机接收由所述发射器投射到所述眼睛上的第二失真照射图案的第二图像；以及基于捕获的所述第二图像并且基于所述视觉指示器的所述位置训练用户的所述眼睛的所述模型。4.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：估计眼睛的瞳孔中心轴的方向；以及基于估计的所述瞳孔中心轴的方向并且基于所述瞳孔中心轴与所述眼睛的凹轴之间的偏移，来估计所述凹轴的方向。5.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：基于在所述图像中捕获的所述照射图案中的失真来确定所述眼睛的表面的所述部分的形状；以及比较所述眼睛的模型与确定的所述眼睛的表面的所述部分的形状。6.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：检测捕获的所述图像中的多个照射点中的每个照射点的位置；基于所述失真的照射图案在捕获的所述图像中的位置与在所述结构光图案中所述照射点自所述发射器的对应角的比较，确定每个照射点的三维位置；以及比较所述眼睛的模型与确定的所述照射点的三维位置。7.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为：部分地基于对所述眼睛的特征的位置进行检测来估计所述眼睛的方位，其中，基于捕获的所述图像和所述眼睛的模型来进行所述检测，所述特征选自由角膜的曲率、角膜-巩膜界面、所述角膜之下的虹膜特征、以及所述角膜的顶点组成的组。8.根据权利要求1所述的眼睛追踪单元，其中，所述眼睛方位估计模块被配置为部分地基于确定眼睛的偏转、俯仰和滚转转动以及所述眼睛的三维移位矢量来估计所述眼睛的方位。9.根据权利要求1所述的眼睛追踪单元，其中，所述结构光图案选自由点矩阵、正弦曲线、单线或多线片段、以及多色调图案组成的组。10.根据权利要求1所述的眼睛追踪单元，其中，所述结构光图案包括红外光，并且其中，所述照相机是红外照相机。11.一种眼睛追踪单元，包括：结构光的第一发射器，被配置为以第一结构光图案照射用户的第一眼睛，其中所述第一结构光图案在所述第一眼睛的表面的一部分上产生失真的第...

【专利技术属性】
技术研发人员：尼古拉斯·丹尼尔·特雷尔，罗伯特·戴尔·卡文，
申请(专利权)人：欧库勒斯虚拟现实有限责任公司，
类型：发明
国别省市：美国,US