【技术实现步骤摘要】
【国外来华专利技术】用于使用事件相机数据的眼动跟踪的方法和设备相关申请的交叉引用本申请要求于2017年9月28日提交的美国临时专利申请62/564,875的优先权,该美国临时专利申请据此全文以引用方式并入。
本公开整体涉及眼动跟踪,并且具体地涉及用于使用事件相机数据的眼动跟踪的系统、方法和设备。
技术介绍
在各种具体实施中,头戴式设备包括确定头戴式设备的用户的注视方向的眼动跟踪系统。眼动跟踪系统常常包括相机,所述相机将用户的眼睛的图像传输给执行眼动跟踪的处理器。以足以使得能够实现眼动跟踪的帧速率传输图像就需要具有相当大带宽的通信链路,并且使用此类通信链路就增大头戴式设备的发热和功率消耗。附图说明因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。图1是根据一些具体实施的示例性操作环境的框图。图2是根据一些具体实施的示例性控制器的框图。图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。图4示出了根据一些具体实施的头戴式设备的框图。图5A示出了根据一些具体实施的用户的眼睛具有第一注视方向。图5B示出了根据一些具体实施的用户的眼睛具有第二注视方向。图6A至图6D示出了根据一些具体实施在不同时间的图5的用户的眼睛。图7示出了根据一些具体实施的事件相机的功能框图。图8示出了根据一些具体实施的事件消息的数据图示。图9A示出了根据一些具体实施的包括事件相机的眼动 ...
【技术保护点】
1.一种方法,包括:/n从多个光源朝用户的眼睛发射具有调制强度的光;/n接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及/n基于所述光强度数据确定所述用户的眼动跟踪特征。/n
【技术特征摘要】
【国外来华专利技术】20170928 US 62/564,8751.一种方法,包括:
从多个光源朝用户的眼睛发射具有调制强度的光;
接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
基于所述光强度数据确定所述用户的眼动跟踪特征。
2.根据权利要求1所述的方法,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。
3.根据权利要求1所述的方法,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。
4.根据权利要求1至3中任一项所述的方法,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。
5.根据权利要求1至4中任一项所述的方法,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。
6.根据权利要求1至4中任一项所述的方法,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。
7.根据权利要求6所述的方法,其中所述高强度值为接通状态,并且所述低强度值为关断状态。
8.根据权利要求7所述的方法,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。
9.根据权利要求1至8中任一项所述的方法,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。
10.根据权利要求1至9中任一项所述的方法,其中所述多个光源发射近红外波长范围中的光。
11.根据权利要求1至10中任一项所述的方法,其中所述光强度数据包括所述用户的所述眼睛的多个图像。
12.根据权利要求1至10中任一项所述的方法,其中所述光强度数据包括多个事件消息。
13.根据权利要求1至12中任一项所述的方法,还包括根据所述调制的频率范围过滤所述光强度数据,其中确定所述用户的所述眼动跟踪特征是基于所过滤后的光强度数据。
14.根据权利要求1至13中任一项所述的方法,还包括基于所述光强度数据中的调制来标识相应光源,其中确定所述用户的所述眼动跟踪特征是基于所述相应光源的所述标识。
15.根据权利要求1至14中任一项所述的方法,其中所述眼动跟踪特征包括注视方向和/或眨眼状态。
16.一种系统,包括:
多个光源,所述多个光源用于朝用户的眼睛发射具有调制强度的光;
相机,所述相机用于生成指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
处理器,所述处理器用于基于所述光强度数据确定所述用户的眼动跟踪特征。
17.根据权利要求16所述的系统,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。
18.根据权利要求16所述的系统,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。
19.根据权利要求16至18中任一项所述的系统,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。
20.根据权利要求16至19中任一项所述的系统,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。
21.根据权利要求16至19中任一项所述的系统,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。
22.根据权利要求21所述的系统,其中所述高强度值为接通状态,并且所述低强度值为关断状态。
23.根据权利要求22所述的系统,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。
24.根据权利要求16至23中任一项所述的系统,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。
25.根据权利要求16至24中任一项所述的系统,其中所述多个光源发射近红外波长范围中的光。
26.根据权利要求16至25中任一项所述的系统,其中所述相机包括用于生成所述用户的所述眼睛的多个图像的图像相机。
27.根据权利要求16至26中任一项所述的系统,其中所述相机包括用于生成多个事件消息的事件相机。
28.根据权利要求16至27中任一项所述的系统,其中所述处理器还用于根据所述调制的频率范围过滤所述光强度数据,以及基于所过滤后的光强度数据确定所述用户的所述眼动跟踪特征。
29.根据权利要求16至28中任一项所述的系统,其中所述处理器还用于基于所述光强度数据中的调制来标识相应光源,以及基于所述相应光源的所述标识确定所述用户的所述眼动跟踪特征。
30.根据权利要求16至29中任一项所述的系统,其中所述眼动跟踪特征包括注视方向和/或眨眼状态。
31.一种非暂态计算机可读介质,所述非暂态计算机可读介质上编码有指令,所述指令在被处理器执行时使所述处理器执行包括以下的操作:
从多个光源朝用户的眼睛发射具有调制强度的光;
接收指示多个闪烁形式的被所述用户的所述眼睛反射的所发射光的强度的光强度数据;以及
基于所述光强度数据确定所述用户的眼动跟踪特征。
32.根据权利要求31所述的非暂态计算机可读介质,其中所述多个光源中的第一光源以第一频率被调制具有第一相位偏移,并且所述多个光源中的第二光源以所述第一频率被调制具有不同于所述第一相位偏移的第二相位偏移。
33.根据权利要求31所述的非暂态计算机可读介质,其中所述多个光源中的第一光源以第一频率调制,并且所述多个光源中的第二光源以不同于所述第一频率的第二频率调制。
34.根据权利要求31至33中任一项所述的非暂态计算机可读介质,其中所述多个光源中的第一光源根据第一正交码调制,并且所述多个光源中的第二光源根据第二正交码调制。
35.根据权利要求31至34中任一项所述的非暂态计算机可读介质,其中所述多个光源中的第一光源在第一强度范围内调制,并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内调制。
36.根据权利要求31至34中任一项所述的非暂态计算机可读介质,其中所述多个光源中的每个光源在高强度值和低强度值之间调制。
37.根据权利要求36所述的非暂态计算机可读介质,其中所述高强度值为接通状态,并且所述低强度值为关断状态。
38.根据权利要求37所述的非暂态计算机可读介质,其中所述多个光源中处于所述接通状态的光源的数量是恒定的。
39.根据权利要求31至38中任一项所述的非暂态计算机可读介质,其中所述强度根据先前确定的眼动跟踪特征、用户生物计量或呈现的用户界面中的至少一者来调制。
40.根据权利要求31至39中任一项所述的非暂态计算机可读介质,其中所述多个光源发射近红外波长范围中的光...
【专利技术属性】
技术研发人员:R·A·贝迪肯,D·库尔茨,L·贾,T·盖保尔,B·佩托简斯基,
申请(专利权)人:苹果公司,
类型:发明
国别省市:美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。