各种具体实施基于角膜中心和(a)瞳孔中心或(b)眼球中心来确定注视方向。使用定向光源以产生从眼睛表面反射并由传感器捕获的一个或多个闪光来确定角膜中心。例如使用记录光源取向的编码器可以知道来自定向光源的光的角度(例如，方向)。光源的已知方向有助于确定角膜上的闪光的距离，并且使得能够例如基于单个闪光来确定角膜位置。可以确定角膜中心(例如，使用平均角膜半径或先前测量的角膜半径或使用来自第二闪光的信息)。可以使用角膜中心和瞳孔中心或眼球中心来确定注视方向。瞳孔中心或眼球中心来确定注视方向。瞳孔中心或眼球中心来确定注视方向。
【技术实现步骤摘要】
【国外来华专利技术】使用定向光源的基于闪光的注视跟踪
[0001]相关申请的交叉引用
[0002]本申请要求2019年9月9日提交的美国临时申请序列号62/897,540的权益，该申请全文并入本文。
[0003]本公开一般涉及注视跟踪，并且具体地涉及用于使用用于在眼睛表面上产生一个或多个闪光的光源的光源方向进行注视跟踪的系统、方法和设备。
技术介绍
[0004]一些现有注视跟踪系统使用从眼睛表面反射的光来估计注视方向。此类技术可以使用多个闪光以识别沿用户注视的位置(例如，瞳孔中心、眼睛中心和角膜中心)或通过识别用户的眼睛形状、位置和取向来估计用户的注视方向。现有技术可能无法从单个闪光确定注视方向，并且可能不像期望的那样准确或有效。
技术实现思路
[0005]本文公开的各种具体实施包括基于角膜中心和(a)瞳孔中心或(b)眼球中心来确定注视方向的设备、系统和方法。使用定向光源(例如，产生窄束光)以产生从眼睛表面反射并由传感器捕获的一个或多个闪光来确定角膜中心。使用定向光源而不是全向光源(例如，产生漫射光)可提供各种优点。例如使用编码器可以知道来自定向光源的光的方向(例如，角度)，该编码器记录当光产生时光源的取向以及所识别的反射。可以基于来自传感器的数据来确定反射的方向(例如，角度)。使用基于像素的传感器可以提供各种优点。例如，可以解释来自相机或其他基于像素的传感器的像素数据以确定反射方向。光源方向和反射方向有助于确定角膜表面上发生反射(例如，闪光)的位置的距离。这可以使得例如基于单个闪光来确定角膜位置。然后可以确定角膜中心(例如，使用平均角膜半径或先前测量的角膜半径或使用来自第二闪光的信息)。然后可以使用角膜中心和瞳孔中心或眼球中心来确定注视方向。
[0006]一些具体实施涉及一种在具有处理器的电子设备处确定注视方向的方法。例如，该处理器可执行存储在非暂态计算机可读介质中的指令以确定或跟踪注视方向。该方法经由光源产生光束。光束随时间在多个方向上移动，并且当在多个方向中的第一方向上产生光束时，在传感器处接收来自眼睛的一部分的反射，例如，检测到闪光。光源是定向光源，并且因此光源的方向(例如，角度)是可变的。在一些具体实施中，扫描仪被配置为从多个角度(例如，方向)扫描来自光源的光，使得光在不同时间从眼睛表面上的各个点反射离开。在一些具体实施中，扫描仪被实现为具有一个或两个旋转度以及能够响应于控制信号而改变所述角度的一个或两个马达的机电组件，并且每个旋转度具有测量当前角度的一个编码器。扫描仪可以用于直接改变光源的照明锥的主要方向(如果其安装在扫描仪上)，或者它可以通过改变光源的光朝向其引导的镜子的角度来间接执行。例如，扫描仪可以使用电动马达
或伺服马达或电流计或压电致动器来控制两个旋转接头；或者又如，其可以是MEMS镜。另选地，可以在不使用任何移动部件的情况下实现扫描仪；在这种情况下，可以使用以1D或2D阵列组织的多个窄束光源；每个光源以不同的角度指向，并且具有控制逻辑部件，所述控制逻辑部件响应于控制信号而打开/关闭特定光源，例如打开根据以与由控制信号设定的目标角度最接近的匹配而取向的光源。
[0007]当检测到闪光时，与产生闪光的光相关联的光源的相关联的方向或角度可被识别并且用于确定角膜表面上的闪光位置并最终确定注视方向。在此示例中，反射中的一些但不是所有反射将产生可用于确定注视方向的闪光。定向光源可以是激光、垂直腔面发射激光器(VCSEL)、窄束光源、准直光源等。编码器可以在产生光束时识别光源的第一角度(例如，方向)，使得方向(例如，角度)可以与相应的闪光相关联。
[0008]该方法基于由传感器产生的数据(例如，像素数据)来确定反射的第二方向。在一些具体实施中，传感器是被配置为检测像素处强度变化的事件相机(例如，动态视觉传感器(DVS))。在一些具体实施中，传感器是基于帧的(例如，基于快门的)相机，其被配置为捕获像素处的强度值。
[0009]该方法基于光束的第一方向和反射的第二方向来确定眼睛的角膜中心。例如，这可以涉及通过使用第一角度(例如，光源的方向)和第二角度(例如，从闪光到传感器的光的方向)进行三角测量来确定角膜表面点(例如，在3D空间中)的位置。此确定可以涉及确定闪光的深度/距离，并且因此确定角膜表面上的点的深度/距离。考虑到该点在角膜表面上的位置，可以确定角膜中心。在一些具体实施中，使用平均角膜半径来确定角膜中心。在其他具体实施中，例如通过校准程序，使用针对所述眼睛的先前测量的角膜半径来确定角膜中心。在其他具体实施中，基于由第二窄束光源产生的第二闪光来确定角膜中心。在一些具体实施中，基于角膜表面点和关于该用户或一般用户的角膜形状的其他信息来确定角膜的3D重建。在一些具体实施中，使用单个闪光来确定角膜中心。
[0010]该方法还确定眼睛的瞳孔中心或眼睛的眼球中心，或两者。在一些具体实施中，基于在相同或不同传感器处检测到的从瞳孔/虹膜反射的环境光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，基于来自另一漫射光源的反射光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，通过基于随时间推移而检测到的角膜点并且基于眼球将已经相对于先前确定的眼球位置(例如，在先前的某个时刻)移动很少或根本没有移动的假设来拟合球体而确定眼球中心。
[0011]该方法通过确定从瞳孔中心穿过角膜中心的方向或从眼球中心穿过角膜中心的方向来确定注视方向。在一些具体实施中，基于角膜中心、瞳孔中心和角膜中心来确定注视方向。
[0012]根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
附图说明
[0013]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0014]图1是根据一些具体实施的示例性操作环境的框图。
[0015]图2是根据一些具体实施的示例性控制器的框图。
[0016]图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。
[0017]图4是根据一些具体实施的示例性头戴式设备(HMD)的框图。
[0018]图5是根据一些具体实施的注视跟踪的方法的流程图表示。
[0019]图6示出了使用漫射光源来示出注视跟踪的功能框图。
[0020]图7示出了示出当使用漫射光源进行注视跟踪时识别到的多个可能的角膜位置的功能框图。
[0021]图8示出了根据一些具体实施的功能框图，其示出了以已知角度使用可变角度光源(例如，扫描仪)进本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在具有处理器的电子设备处：经由光源产生光束，其中所述光束随时间在多个方向上移动，并且当在所述多个方向中的第一方向上产生所述光束时，在传感器处接收来自眼睛的一部分的反射；基于由所述传感器产生的数据来确定所述反射的第二方向；基于所述光束的所述第一方向和所述反射的所述第二方向来确定所述眼睛的角膜中心；确定所述眼睛的瞳孔中心或所述眼睛的眼球中心；以及通过确定从所述瞳孔中心穿过所述角膜中心的方向或从所述眼球中心穿过所述角膜中心的方向来确定注视方向。2.根据权利要求1所述的方法，其中使用单个闪光来确定所述角膜中心。3.根据权利要求1所述的方法，其中通过确定从所述瞳孔中心穿过所述角膜中心的方向来确定所述注视方向。4.根据权利要求3所述的方法，其中基于从所述眼睛反射并且在所述传感器或第二传感器处检测到的环境光来确定所述瞳孔中心。5.根据权利要求3所述的方法，其中基于来自漫射光源的在所述传感器或第二传感器处检测到的光来确定所述瞳孔中心。6.根据权利要求1所述的方法，其中通过根据基于眼球位置的位置拟合球体来确定所述眼球中心。7.根据权利要求1所述的方法，其中基于所述角膜上的点来确定所述眼球中心，所述点是基于来自所述光源的光束的闪光随时间推移而检测到的。8.根据权利要求1所述的方法，其中基于确定所述闪光的位置和平均或先前测量的角膜半径来确定所述角膜位置。9.根据权利要求1所述的方法，其中基于由来自第二光源的第二光束产生的第二反射来确定所述角膜中心，其中通过确定所述角膜上的所述反射的位置和所述角膜上的所述第二反射的位置来确定所述角膜中心。10.根据权利要求1所述的方法，还包括：生成所述角膜的三维(3D)重建；以及基于所述3D重建来确定所述角膜中心。11.根据权利要求1所述的方法，其中所述光源是激光、垂直腔面发射激光器(VCSEL)、窄束光源或准直光源。12.根据权利要求1所述的方法，还包括经由扫描仪将所述光束移动到所述眼睛上方。13.根据权利要求12所述的方法，还包括在将所述光束移动到所述眼睛上方时跟踪所述光源的第一角度。14.根据权利要求1所述的方法，还包括：基于...
【专利技术属性】
技术研发人员：W，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。