当前位置: 首页 > 专利查询>苹果公司专利>正文

用于使用事件相机数据的眼动跟踪的方法和设备技术

技术编号:24468638 阅读:82 留言:0更新日期:2020-06-10 19:41
在一个具体实施中,一种方法包括从多个光源朝用户的眼睛发射具有调制强度的光。该方法包括接收指示多个闪烁形式的被用户的眼睛反射的多个闪烁的强度的光强度数据,以及基于光强度数据确定用户的眼动跟踪特征。在一个具体实施中,一种方法包括使用包括多个相应位置处的多个光传感器的事件相机生成多个事件消息,所述多个事件消息中的每一者响应于特定光传感器检测到光强度变化而生成并且指示所述特定光传感器的特定位置。所述方法包括基于所述多个事件消息确定用户的眼动跟踪特征。

Methods and devices for eye tracking using event camera data

【技术实现步骤摘要】
【国外来华专利技术】用于使用事件相机数据的眼动跟踪的方法和设备相关申请的交叉引用本申请要求于2017年9月28日提交的美国临时专利申请62/564,875的优先权,该美国临时专利申请据此全文以引用方式并入。
本公开整体涉及眼动跟踪,并且具体地涉及用于使用事件相机数据的眼动跟踪的系统、方法和设备。
技术介绍
在各种具体实施中,头戴式设备包括确定头戴式设备的用户的注视方向的眼动跟踪系统。眼动跟踪系统常常包括相机,所述相机将用户的眼睛的图像传输给执行眼动跟踪的处理器。以足以使得能够实现眼动跟踪的帧速率传输图像就需要具有相当大带宽的通信链路,并且使用此类通信链路就增大头戴式设备的发热和功率消耗。附图说明因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。图1是根据一些具体实施的示例性操作环境的框图。图2是根据一些具体实施的示例性控制器的框图。图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。图4示出了根据一些具体实施的头戴式设备的框图。图5A示出了根据一些具体实施的用户的眼睛具有第一注视方向。图5B示出了根据一些具体实施的用户的眼睛具有第二注视方向。图6A至图6D示出了根据一些具体实施在不同时间的图5的用户的眼睛。图7示出了根据一些具体实施的事件相机的功能框图。图8示出了根据一些具体实施的事件消息的数据图示。图9A示出了根据一些具体实施的包括事件相机的眼动跟踪系统的功能框图。图9B示出了根据一些具体实施的包括机器学习回归器的眼动跟踪系统的功能框图。图9C示出了根据一些具体实施的包括注视估计器的眼动跟踪系统的功能框图。图10是根据一些具体实施的使用强度调制闪烁确定注视方向的方法的流程图表示。图11是根据一些具体实施的使用事件相机确定注视方向的方法的流程图表示。根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
技术实现思路
本文所公开的各种具体实施包括用于使用强度调制光源来确定眼动跟踪特征的设备、系统和方法。所述方法包括从多个光源朝用户的眼睛发射具有调制强度的光。所述方法包括接收指示多个闪烁形式的被用户的眼睛反射的所发射光的强度的光强度数据。所述方法包括基于所述光强度数据确定用户的眼动跟踪特征。本文所公开的各种具体实施包括用于使用事件相机确定眼动跟踪特征的设备、系统和方法。所述方法包括使用包括多个相应位置处的多个光传感器的事件相机生成多个事件消息,所述多个事件消息中的每一者响应于特定光传感器检测到光强度变化而生成并且指示所述特定光传感器的特定位置。所述方法包括基于所述多个事件消息确定用户的眼动跟踪特征。根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。具体实施方式描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将理解,其他有效方面和/或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。在各种具体实施中,眼动跟踪用于使能用户交互,提供中央凹渲染,或减轻几何失真。眼动跟踪系统包括光源、相机和处理器,所述处理器对从所述相机接收的关于从用户的眼睛反射的来自所述光源的光的数据执行眼动跟踪。在各种具体实施中,相机包括具有多个相应位置处的多个光传感器的事件相机,所述事件相机响应于特定光传感器检测到光强度变化而生成指示所述特定光传感器的特定位置的事件消息。事件相机可包括或被称为动态视觉传感器(DVS)、硅视网膜、基于事件的相机、或无帧相机。因此,事件相机生成(并传输)关于光强度变化的数据,而不是更大量的关于每个光传感器处的绝对强度的数据。另外,因为在强度变化时生成数据,所以在各种具体实施中,光源发射具有调制强度的光。图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征,但本领域的普通技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,操作环境100包括控制器110和头戴式设备(HMD)120。在一些实施方案中,控制器110被配置为管理和协调用户的增强现实/虚拟现实(AR/VR)体验。在一些实施方案中,控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中,控制器110是相对于场景105处于本地或远程位置的计算设备。例如,控制器110是位于场景105内的本地服务器。在另一个示例中,控制器110是位于场景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些实施方案中,控制器110经由一个或多个有线或无线通信信道144(例如,蓝牙、IEEE802.11x、IEEE802.16x、IEEE802.3x等)与HMD120通信耦接。在一些实施方案中,HMD120被配置为向用户呈现AR/VR体验。在一些实施方案中,HMD120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述HMD120。在一些实施方案中,控制器110的功能由HMD120提供和/或与该HMD结合。根据一些实施方案,在用户虚拟地和/或物理地存在于场景105内的同时,HMD120向用户提供增强现实/虚拟现实(AR/VR)体验。在一些实施方案中,在呈现增强现实(AR)体验的同时,HMD120被配置为呈现AR内容以及使得能够实现场景105的光学透视。在一些实施方案中,在呈现虚拟现实(VR)体验的同时,HMD120被配置为呈现VR内容以及使得能够实现场景105的视频透视。在一些实施方案中,用户将HMD120佩戴在其头上。因此,HMD120包括被提供用于显示AR/VR内容的一个或多个AR/VR显示器。例如,HMD120包围用户的视野。在一些实施方案中,HMD120被替换成被配置为向用户呈现AR/VR内容的手持式电子设备(例如,智能电话或平板电脑)。在一些实施方案中,用被配置为呈现AR/VR内容的AR/VR室、围场或房间替代HMD120,用户在其中不佩戴或握持HM本文档来自技高网
...

【技术保护点】
1.一种方法,包括:/n从多个光源朝用户的眼睛发射具有调制强度的光;/n接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及/n基于所述光强度数据确定所述用户的眼动跟踪特征。/n

【技术特征摘要】
【国外来华专利技术】20170928 US 62/564,8751.一种方法,包括:
从多个光源朝用户的眼睛发射具有调制强度的光;
接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
基于所述光强度数据确定所述用户的眼动跟踪特征。


2.根据权利要求1所述的方法,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。


3.根据权利要求1所述的方法,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。


4.根据权利要求1至3中任一项所述的方法,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。


5.根据权利要求1至4中任一项所述的方法,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。


6.根据权利要求1至4中任一项所述的方法,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。


7.根据权利要求6所述的方法,其中所述高强度值为接通状态,并且所述低强度值为关断状态。


8.根据权利要求7所述的方法,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。


9.根据权利要求1至8中任一项所述的方法,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。


10.根据权利要求1至9中任一项所述的方法,其中所述多个光源发射近红外波长范围中的光。


11.根据权利要求1至10中任一项所述的方法,其中所述光强度数据包括所述用户的所述眼睛的多个图像。


12.根据权利要求1至10中任一项所述的方法,其中所述光强度数据包括多个事件消息。


13.根据权利要求1至12中任一项所述的方法,还包括根据所述调制的频率范围过滤所述光强度数据,其中确定所述用户的所述眼动跟踪特征是基于所过滤后的光强度数据。


14.根据权利要求1至13中任一项所述的方法,还包括基于所述光强度数据中的调制来标识相应光源,其中确定所述用户的所述眼动跟踪特征是基于所述相应光源的所述标识。


15.根据权利要求1至14中任一项所述的方法,其中所述眼动跟踪特征包括注视方向和/或眨眼状态。


16.一种系统,包括:
多个光源,所述多个光源用于朝用户的眼睛发射具有调制强度的光;
相机,所述相机用于生成指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
处理器,所述处理器用于基于所述光强度数据确定所述用户的眼动跟踪特征。


17.根据权利要求16所述的系统,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。


18.根据权利要求16所述的系统,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。


19.根据权利要求16至18中任一项所述的系统,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。


20.根据权利要求16至19中任一项所述的系统,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。


21.根据权利要求16至19中任一项所述的系统,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。


22.根据权利要求21所述的系统,其中所述高强度值为接通状态,并且所述低强度值为关断状态。


23.根据权利要求22所述的系统,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。


24.根据权利要求16至23中任一项所述的系统,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。


25.根据权利要求16至24中任一项所述的系统,其中所述多个光源发射近红外波长范围中的光。


26.根据权利要求16至25中任一项所述的系统,其中所述相机包括用于生成所述用户的所述眼睛的多个图像的图像相机。


27.根据权利要求16至26中任一项所述的系统,其中所述相机包括用于生成多个事件消息的事件相机。


28.根据权利要求16至27中任一项所述的系统,其中所述处理器还用于根据所述调制的频率范围过滤所述光强度数据,以及基于所过滤后的光强度数据确定所述用户的所述眼动跟踪特征。


29.根据权利要求16至28中任一项所述的系统,其中所述处理器还用于基于所述光强度数据中的调制来标识相应光源,以及基于所述相应光源的所述标识确定所述用户的所述眼动跟踪特征。


30.根据权利要求16至29中任一项所述的系统,其中所述眼动跟踪特征包括注视方向和/或眨眼状态。


31.一种非暂态计算机可读介质,所述非暂态计算机可读介质上编码有指令,所述指令在被处理器执行时使所述处理器执行包括以下的操作:
从多个光源朝用户的眼睛发射具有调制强度的光;
接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
基于所述光强度数据确定所述用户的眼动跟踪特征。


32.根据权利要求31所述的非暂态计算机可读介质,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。


33.根据权利要求31所述的非暂态计算机可读介质,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。


34.根据权利要求31至33中任一项所述的非暂态计算机可读介质,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。


35.根据权利要求31至34中任一项所述的非暂态计算机可读介质,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。


36.根据权利要求31至34中任一项所述的非暂态计算机可读介质,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。


37.根据权利要求36所述的非暂态计算机可读介质,其中所述高强度值为接通状态,并且所述低强度值为关断状态。


38.根据权利要求37所述的非暂态计算机可读介质,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。


39.根据权利要求31至38中任一项所述的非暂态计算机可读介质,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。


40.根据权利要求31至39中任一项所述的非暂态计算机可读介质,其中所述多个光源发射近红外波长范围中的光...

【专利技术属性】
技术研发人员:R·A·贝迪肯D·库尔茨L·贾T·盖保尔B·佩托简斯基
申请(专利权)人:苹果公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1