基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪制造技术

公开了基于对眼睛进行成像和跟踪眼睛中眼睛特征的某些图像进行光学眼睛跟踪的技术和设备。所公开的技术和设备可以被实现为使用结构光来照射眼睛，以获得眼睛图像来生成准确的眼睛移动信息。

Eye tracking based on imaging of eye features and light detection of structural illumination

【技术实现步骤摘要】
【国外来华专利技术】基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪相关申请的交叉引用本专利文献要求于2018年8月27日提交的专利技术名称为“基于结构照明探测的眼睛跟踪”的美国临时专利申请No.62/723,476的优先权和权益。上述专利申请的全部内容通过引用合并到本专利文献的公开内容的一部分。
本专利文献涉及眼睛跟踪及眼睛感测技术。
技术介绍
电子设备依靠各种用户移动作为输入，以执行不同的功能并以各种模式或状态进行操作。例如，可以检测诸如手部移动的用户手势并将其转换为对菜单项或游戏功能的用户控制。与手势类似，可以检测眼睛移动，以执行滚动操作、保持屏幕开启或操作抬头显示器。取代传统的输入方法需要额外的设备和技术。
技术实现思路
公开了方法、系统和设备以进行眼睛移动的光学感测和跟踪。所描述的方法、系统和设备可以用于通过对眼睛进行成像并跟踪眼睛中眼睛特征的某些图像来跟踪用户眼睛或双眼的凝视点或焦点。所公开的技术和设备可以被实现为使用结构光来照射眼睛，以获得眼睛图像来生成准确的眼睛移动信息。一方面，基于所公开的技术，一种眼睛跟踪设备可以被实现为包括：可附接到用户的支撑结构；一个或多个探测光源，所述一个或多个探测光源放置在所述支撑结构上，用于产生照明探测光；光学设备，所述光学设备放置在所述支撑结构上，用于接收所述照明探测光并引导所述照明探测光照射所述用户的眼睛；光学检测器阵列，所述光学检测器阵列放置在所述支撑结构上，包括多个光学检测器，用于捕获照射下的所述眼睛图像以产生来自所述光学检测器的检测器信号；光学成像模块，所述光学成像模块放置在所述支撑结构上，用于将所述眼睛成像到所述光学检测器阵列上；以及处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取每个捕获的所述眼睛图像中所述眼睛的特征的光学图像，并监控每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置的变化，以跟踪所述眼睛。另一方面，所公开的技术可以被实现为提供一种利用光学成像跟踪眼睛的方法，包括：将设备附接到用户；投射照明探测光以照射所述用户的眼睛；操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及处理来自所述光学检测器阵列的检测器信号，以生成所述眼睛的光学图像，并识别生成的所述眼睛图像内所述眼睛的所选特征的光学图像，以及监控生成的所述眼睛图像中所述眼睛的所选特征的光学图像的位置的变化，以跟踪所述眼睛。另一方面，基于所公开的技术可以提供一种眼睛跟踪设备。所述眼睛跟踪设备包括观看设备，所述观看设备可以附接到用户，并且被构造为包括当所述观看设备附接到所述用户时对所述用户可见的显示屏。所述设备包括：一个或多个探测光源，所述一个或多个探测光源位于所述观看设备中，用于产生照明探测光；以及光学设备，所述光学设备位于所述观看设备中，用于接收所述照明探测光，并在所述照明探测光上产生空间图案，以及将具有所述空间图案的所述照明探测光引导至眼睛中。所述设备还包括：具有光学检测器的光学检测器阵列，所述光学检测器阵列位于所述观看设备中，用于接收来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及光学成像模块，所述光学成像模块位于所述观看设备中，用于收集来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，并将收集的所述光学反射成像到所述光学检测器阵列上。所述设备包括处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取(1)从所述眼睛反射的所述空间图案的光学图像，以及(2)与从所述眼睛反射的所述空间图案的光学图像重叠的所述眼睛图像，并基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛相对于所述显示屏的位置或运动。另一方面，所公开的技术可以被实现为提供一种利用光学成像跟踪眼睛的方法，包括：朝用户的眼睛投射被调制来携带空间图案的照明探测光；操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有所述空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；处理来自所述光学检测器阵列的检测器信号，以提取(1)从所述眼睛反射的所述空间图案的光学图像，以及(2)与从所述眼睛反射的所述空间图案的光学图像重叠的所述眼睛的另一光学图像；以及处理提取的光学图像，以基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。该方法的一种实现方式包括：将周期性图案用作呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案；提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述周期性图案的已知尺寸的预定网格几何形状来校正所述光学图像中的光学畸变；以及在对所述周期性图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。该方法的另一种实现方式包括：将编码的散斑图案用作呈所述周期性图案的已知尺寸的预定几何形状的所述照明探测光上的所述空间图案；提取从所述眼睛反射的所述空间图案的光学图像的几何形状和尺寸，以基于由所述光学设备生成的所述编码的散斑图案来校正所述光学图像中的光学畸变；以及在对所述编码的散斑图案的光学畸变被校正后，基于所述眼睛图像中的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。附图、说明书和权利要求书中更详细地描述了所公开的技术的这些及其他方面。附图说明图1描绘了根据一些示例实施例的由用户穿戴的眼睛跟踪头戴式设备。图2描绘了根据一些示例实施例的使用结构光来确定眼睛移动。图3描绘了根据一些示例实施例的结构光的示例。图4描绘了根据一些示例实施例的眼睛跟踪装置的示例。图5描绘了根据一些示例实施例的眼睛跟踪系统的示例。图6描绘了根据一些示例实施例的使用所公开的技术进行眼睛跟踪的示例装置。具体实施方式跟踪人眼睛或双眼的位置和/或运动在技术上由于各种原因可能很难，并且已经存在设计用于使用光学方法跟踪眼睛的各种技术或设备。例如，2017年1月24日向深圳市汇顶科技股份有限公司发布的专利技术名称为“眼睛跟踪及用户反应探测”的美国专利No.9,552,064提供了用于跟踪眼睛的硬件设计和技术的各种示例，所公开内容作为一部分包括在本专利文献要求优先权的美国临时专利申请No.62/723,476的文件中。美国专利No.9,552,064的公开内容通过引用合并到本专利文献的一部分。如本专利文献中公开的示例所示，眼睛跟踪可以通过监控经由眼睛的光学本文档来自技高网...

【技术保护点】
1.一种眼睛跟踪设备，包括/n可附接到用户的支撑结构；/n一个或多个探测光源，所述一个或多个探测光源放置在所述支撑结构上，用于产生照明探测光；/n光学设备，所述光学设备放置在所述支撑结构上，用于接收所述照明探测光并引导所述照明探测光照射所述用户的眼睛；/n光学检测器阵列，包括多个光学检测器，所述光学检测器阵列放置在所述支撑结构上，用于捕获照射下的眼睛图像以从所述光学检测器产生检测器信号；/n光学成像模块，所述光学成像模块放置在所述支撑结构上，用于将所述眼睛成像到所述光学检测器阵列上；以及/n处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取每个捕获的所述眼睛图像中所述眼睛的特征的光学图像，并监控每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置的变化，以跟踪所述眼睛。/n

【技术特征摘要】
【国外来华专利技术】20180827 US 62/723,4761.一种眼睛跟踪设备，包括
可附接到用户的支撑结构；
一个或多个探测光源，所述一个或多个探测光源放置在所述支撑结构上，用于产生照明探测光；
光学设备，所述光学设备放置在所述支撑结构上，用于接收所述照明探测光并引导所述照明探测光照射所述用户的眼睛；
光学检测器阵列，包括多个光学检测器，所述光学检测器阵列放置在所述支撑结构上，用于捕获照射下的眼睛图像以从所述光学检测器产生检测器信号；
光学成像模块，所述光学成像模块放置在所述支撑结构上，用于将所述眼睛成像到所述光学检测器阵列上；以及
处理器，所述处理器被耦合以接收和处理来自所述光学检测器阵列的检测器信号，并且用于提取每个捕获的所述眼睛图像中所述眼睛的特征的光学图像，并监控每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置的变化，以跟踪所述眼睛。


2.根据权利要求1所述的设备，其中，所述光学设备包括光学投射器，所述光学投射器调制所述照明探测光来携带图案作为空间位置参考，用于所述处理器确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。


3.根据权利要求2所述的设备，其中，所述光学设备包括光学投射器，所述光学投射器调制所述照明探测光来携带周期性空间图案，以确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。


4.根据权利要求2所述的设备，其中，所述光学设备包括光学投射器，所述光学投射器调制所述照明探测光来携带编码的非周期性图案，以确定每个捕获的所述眼睛图像中所述眼睛的特征的光学图像的位置。


5.根据权利要求2所述的设备，其中，所述光学投射器包括衍射光学元件。


6.根据权利要求1所述的设备，其中，可附接到所述用户的所述支撑结构是一副护目镜。


7.根据权利要求1所述的设备，其中，所述处理器用于基于所述光学检测器阵列中捕获提取的所述光学图像的光学检测器的行列位置，确定每个捕获的所述眼睛图像中提取的所述眼睛的特征的光学图像的位置。


8.一种利用光学成像跟踪眼睛的方法，包括：
将设备附接到用户；
投射照明探测光以照射所述用户的眼睛；
操作位于所述设备中的具有光学检测器的光学检测器阵列来接收来自照射下的所述眼睛的具有空间图案的所述照明探测光的光学反射，以产生来自所述光学检测器的检测器信号，所述检测器信号表示接收的所述光学反射的检测图像；以及
处理来自所述光学检测器阵列的检测器信号，以生成所述眼睛的光学图像，并识别生成的所述眼睛图像内所述眼睛的所选特征的光学图像，以及监控生成的所述眼睛图像中所述眼睛的所选特征的光学图像的位置的变化，以跟踪所述眼睛。


9.根据权利要求8所述的方法，包括：
利用所述光学检测器阵列中捕获所述眼睛的光学图像的光学检测器的行列位置来确定所述眼睛内所选特征的光学图像的位置；以及
根据所述光学检测器阵列中空间上对应于所述眼睛内所选特征的光学检测器的行列位置，监控所述眼睛内所选特征的光学图像的变化，以跟踪所述眼睛的运动。


10.根据权利要求8所述的方法，包括：
调制所述照明探测光来携带空间图案，以照射所述用户的眼睛；
操作所述光学检测器阵列以对所述眼睛进行成像；
在对所述眼睛进行成像时，处理来自所述光学检测器阵列的检测器信号，以生成(1)从所述眼睛反射的调制的所述照明探测光中的所述空间图案的光学图像，以及(2)与所述空间图案的光学图像重叠的所述眼睛的光学图像；以及
处理所述光学图像，以基于生成的所述眼睛图像内所述眼睛的所选特征的光学图像的信息，参考从所述眼睛反射的所述空间图案的光学图像中的已知位置，确定所述眼睛的位置或运动。


11.根据权利要求10所述的方法，包括：
将周期性图案用作所述照明探测光上的所述空间...

【专利技术属性】
技术研发人员：何毅，皮波，
申请(专利权)人：深圳市汇顶科技股份有限公司，
类型：发明
国别省市：广东;44