【技术实现步骤摘要】
【国外来华专利技术】传感器融合眼睛跟踪相关申请的交叉引用本申请要求2018年9月28日提交的美国临时申请序列号62/738431的权益，该申请全文以引用方式并入本文。
本公开整体涉及用于电子设备的远程眼睛跟踪，并且具体地涉及用于为相对于眼睛移动的电子设备提供远程眼睛跟踪的系统、方法和设备。
技术介绍
相关领域的眼睛跟踪分为两种不同的类型。第一类型是安装好的眼睛跟踪，其包括与用户(例如，眼球)一起非独立地物理移动的传感器。例如，头戴式显示器(HMD)随用户一起移动并且可提供眼睛跟踪。第二类型的眼睛跟踪是远程眼睛跟踪，其包括相对于用户(例如，与用户分开或独立于用户)物理地移动的传感器。第二类型的远程眼睛跟踪的一些具体实施使用由最小基准距离分开的两个红外(IR)光源(例如，有源照明)来产生单独的角膜反射(例如，角膜上单独的、可检测的闪光)。这些远程眼睛跟踪方法已知(i)照明和(ii)传感器两者的外参数。现有计算系统、传感器和应用程序不足以为相对于用户移动的电子设备提供远程眼睛跟踪。
技术实现思路
本文所公开的各种具...
【技术保护点】
1.一种方法，包括：/n在具有一个或多个处理器、一个或多个图像传感器和照明源的设备处，/n基于与眼睛的第一图像中的光的不同波长相关联的像素差异来检测所述眼睛的第一属性；/n基于来自深度传感器的深度信息来确定三维(3D)坐标系中的与所述第一属性相关联的第一位置；/n基于由所述照明源的光反射离开所述眼睛的角膜所产生的闪光来检测所述眼睛的第二属性；/n基于来自所述深度传感器的所述深度信息来确定3D坐标系中的与所述第二属性相关联的第二位置；以及/n基于所述第一位置和所述第二位置来确定所述3D坐标系中的注视方向。/n
【技术特征摘要】
【国外来华专利技术】20180928 US 62/738,4311.一种方法，包括：
在具有一个或多个处理器、一个或多个图像传感器和照明源的设备处，
基于与眼睛的第一图像中的光的不同波长相关联的像素差异来检测所述眼睛的第一属性；
基于来自深度传感器的深度信息来确定三维(3D)坐标系中的与所述第一属性相关联的第一位置；
基于由所述照明源的光反射离开所述眼睛的角膜所产生的闪光来检测所述眼睛的第二属性；
基于来自所述深度传感器的所述深度信息来确定3D坐标系中的与所述第二属性相关联的第二位置；以及
基于所述第一位置和所述第二位置来确定所述3D坐标系中的注视方向。
2.根据权利要求1所述的方法，其中检测所述第一属性包括基于与环境光对应的RGB图像中的色差来识别所述眼睛的角膜缘。
3.根据权利要求1所述的方法，其中检测所述第一属性包括基于与从所述照明源发射的反射的红外(IR)泛光对应的IR图像中的差异来识别所述眼睛的角膜缘。
4.根据权利要求1至3中的任一项所述的方法，其中检测所述第一属性包括：
检测所述第一图像中的面部特征点；
基于所述面部特征点识别所述第一图像的眼睛区域；以及
检测所述眼睛区域中的所述第一属性。
5.根据权利要求1至4所述的方法，其中确定所述第一位置基于与所述第一图像的眼睛区域对应的深度映射图的一部分。
6.根据权利要求1至5所述的方法，其中确定所述第一位置基于头部姿态检测。
7.根据权利要求1至6中的任一项所述的方法，其中确定所述第一位置包括使用所检测到的第一属性和来自深度传感器的深度映射图来定位角膜缘。
8.根据权利要求1至7中的任一项所述的方法，其中确定所述第一位置包括基于所述眼睛的3D模型来定位所述眼睛的旋转中心。
9.根据权利要求1至7中的任一项所述的方法，其中确定所述第一位置包括基于所述眼睛的3D模型来定位角膜缘中心。
10.根据权利要求1至9中的任一项所述的方法，其中确定所述第二位置包括使用所检测到的角膜和来自深度传感器的深度映射图来定位所述角膜。
11.根据权利要求1至9中的任一项所述的方法，其中确定所述第二位置包括定位角膜中心。
12.根据权利要求1至11中的任一项所述的方法，还包括基于所述注视方向和所述设备的位置来确定所述设备上的凝视点。
13.根据权利要求1至12中的任一项所述的方法，其中所述一个或多个图像传感器包括：
红-绿-蓝(RGB)图像传感器，其中所述第一图像由所述RGB图像传感器捕获；以及
红外(IR)传感器，其中所述第二图像由所述IR传感器捕获。
14.根据权利要求13所述的方法，其中所述IR传感器为所述深度传感器，其中所述IR传感器随时间推移交替捕获深度信息和用于角膜检测的闪光的IR图像。
15.根据权利要求13所述的方法，其中所述IR传感器为所述深度传感器，其中所述IR传感器使用从所述照明源发射的反射离开所述眼睛的结构光来同时捕获深度信息和用于角膜检测的闪光的IR图像。
16.根据权利要求1和3至12中的任一项所述的方法，其中所述一个或多个图像传感器包括单个红外(IR)传感器，其中所述第一图像和所述第二图像由所述IR传感器捕获，其中所述IR传感器随时间推移交替捕获第一属性图像和第二属性图像。
17.根据权利要求1至16中的任一项所述的方法，还包括：
确定所述3D坐标系中的头部姿态；
确定所述3D坐标系中所述眼睛的旋转中心；以及
识别所述头部姿态和所述眼睛的所述旋转中心之间的空间关系。
18.一种方法，包括：
在具有一个或多个处理器、一个或多个图像传感器和照明源的设备处，
基于与眼睛的第一图像中的光的不同波长相关联的像素差异来检测所述眼睛的第一属性；
基于来自深度传感器的深度信息来确定三维(3D)坐标系中的与所述第一属性相关联的第一位置；
基于在第二图像中检测到的头部和来自所述深度传感器的所述深度信息来确定所述三维(3D)坐标系中的头部位置；
基于所述头部位置以及所述头部和所述眼睛之间的先前确定的空间关系来确定与所述眼睛的第二属性相关联的第二位置；以及
基于所述第一位置和所述第二位置来确定所述3D坐标系中的注视方向。
19.根据权利要求18所述的方法，其中检测所述第一属性包括基于与反射环境光对应的RGB图像中的色差来识别所述眼睛的角膜缘。
20.根据权利要求18所述的方法，其中检测所述第一属性包括基于与从所述照明源发射的反射的红外(IR)泛光对应的IR图像中的差异来识别所述眼睛的角膜缘。
21.根据权利要求18至20中的任一项所述的方法，其中检测所述第一属性包括：
检测所述第一图像中的面部特征点；
基于所述面部特征点识别所述第一图像的眼睛区域；以及
检测所述眼睛区域中的所述第一属性。
22.根据权利要求18至21所述的方法，其中确定所述第一位置基于与所述第一图像的眼睛区域对应的深度映射图的一部分。
23.根据权利要求18至22中的任一项所述的方法，其中确定所述第一位置包括使用所检测到的第一属性和来自深度传感器的深度映射图来定位角膜缘。
24.根据权利要求18至23中的任一项所述的方法，其中确定所述第一位置包括基于所述眼睛的3D模型来定位角膜缘中心。
25.根据权利要求18至24中的任一项所述的方法，其中确定所述头部位置基于RGB图像。
26.根据权利要求18至25中的任一项所述的方法，其中确定所述头部位置基于特征匹配技术。
27.根据权利要求18至24中的任一项所述的方法，其中确定所述头部位置基于红外图像。
28.根据权利要求18至27中的任一项所述的方法，还包括基于所述注视方向和所述设备的位置来确定所述设备上的凝视点。
29.一种电子设备，包括：
至少一个有源照明源；
传感器，所述传感器被配置为检测第一图像中的深度信息以及第二图像中的用于角膜检测的闪光，所述闪光来自由所述至少一个有源照明源发射的光的反射；以及
一个或多个处理器，所述一个或多个处理器耦接到所述有源照明源和所述传感器以提供远程注视跟踪；
其中所述一个或多个处理器基于所述深度信息确定三维(3D)坐标系中的与所述第一图像中检测到的第一属性相关联的第一位置；
其中所述一个或多个处理器基于所述深度信息确定所述3D坐标系中的与所述第二图像中检测到的所检测到的闪光相关联的第二位置；并且
其中所述一个或多个处理器基于所述第一位置和所述第二位置确定所述3D坐标系中的注视方向。
30.根据权利要求29所述的电子设备，其中所检测到的第一属性包括基于与结构光图案IR成像对应的红外(IR)图像中的差异而检测到的所述眼睛的角膜缘。
31.根据权利要求29所述的电子设备，其中所述一个或多个处理器被配置为：
检测所述第一图像中的面部特征点；
基于所述面部特征点识别所述第一图像的眼睛区域；以及
检测所述眼睛区域中的所述第一属性。
32.根据权利要求29至31中的任一项所述的电子设备，其中基于深度映射图的与所述第一图像的眼睛区域对应的部分来确定所述第一位置。
33.根据权利要求29至32中的任一项所述的电子设备，其中基于头部姿态检测来确定所述第一位置。
34.根据权利要求29至33中的任一项所述的电子设备，其中通过使用所检测到的第一属性和来自深度传感器的深度映射图定位角膜缘来确定所述第一位置。
35.根据权利要求29至34中的任一项所述的电子设备，其中通过基于所述眼睛的3D模型定位所述眼睛的旋转中心来确定所述第一位置。
36.根据权利要求29至35中的任一项所述的电子设备，其中通过基于所述眼睛的3D模型定位角膜缘中心来确定所述第一位置。
37.根据权利要求29至36中的任一项所述的电子设备，其中通过使用所检测到的角膜和来自深度传感器的深度映射图定位所述角膜来确定所述第二位置。
38.根据权利要求29至37中的任一项所述的电子设备，其中确定所述第二位置包括定位角膜中心。
39.根据权利要求29所述的电子设备，其中所述有源照明源为IR照明源，并且所述传感器为IR传感器，其中所述IR传感器随时间推移交替捕获深度信息的IR图像和闪光的IR图像。
40.根据权利要求29所述的电子设备，其中所述有源照明源为IR照明源，并且所述传感器为IR传感器，其中所述IR传感器使用从所述照明源发射的反射离开所述眼睛的结构光来同时捕获深度信息和用于角膜检测的闪光的IR图像。
41.根据权利要求29和39至40中的任一项所述的电子设备，其中所述有源照明源为IR照明源，并且所述传感器为单个红外(IR)传感器，其中所述IR传感器捕获用于深度信息的第一图像并捕获用于闪光检测的第二图像。
42.根据权利要求29至41中的任一项所述的电子设备，其中所述一个或多个处理器被配置为基于所述注视方向和所述电子设备的位置来确定所述设备上的凝视点。
43.根据权利要求29至43中的任一项所述的电子设备，其中所述注视方向基于单眼检测或双眼检测。
44.一种系统，包括：
非暂态计算机可读存储介质；以及
一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使系统执行包括以下操作的操作：
基于与眼睛的第一图像中的光的不同波长相关联的像素差异来检测所述眼睛的第一属性；
基于来自深度传感器的深度信息来确定三维(3D)坐标系中的与所述第一属性相关联的第一位置；
基于由所述照明源的光反射离开所述眼睛的角膜所产生的闪光来检测所述眼睛的第二属性；
基于来自所述深度传感器的所述深度信息来确定3D坐标系中的与所述第二属性相关联的第二位置；以及
基于所述第一位置和所述第二位置来确定所述3D坐标系中的注视方向。
45.根据权利要求44所述的系统，其中检测所述第一属性包括基于与环境光对应的RGB图像中的色差来识别所述眼睛的角膜缘。
46.根据权利要求44所述的系统，其中检测所述第一属性包括基于与从所述照明源发射的反射的红外(IR)泛光对应的IR图像中的差异来识别所述眼睛的角膜缘。
47.根据权利要求44至46中的任一项所述的系统，其中检测所述第一属性包括：
检测所述第一图像中的面部特征点；
基于所述面部特征点识别所述第一图像的眼睛区域；以及
检测所述眼睛区域中的所述第一属性。
48.根据权利要求44至47所述的系统，其中确定所述第一位置基于与所述第一图像的眼睛区域对应的深度映射图的一部分。
49.根据权利要求44至48所述的系统，其中确定所述第一位置基于头部姿态检测。
50.根据权利要求44至49中的任一项所述的系统，其中确定所述第一位置包括使用所检测到的第一属性和来...
【专利技术属性】
技术研发人员：T·森格劳布，高华，秦浩，J·本多夫，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。