【技术实现步骤摘要】
【国外来华专利技术】眼球跟踪方法及系统相关申请的交叉引用本申请要求2018年02月22日提交的美国临时专利申请62/633,646的优先权或受益于该专利，其说明书的全部内容通过引用合并于本文中。
本专利技术通常涉及眼球跟踪方法和系统，更具体地涉及使用相机而不需要任何其它跟踪设备的视线跟踪方法和系统。
技术介绍
眼球运动非常快速和精确，其在几种造成全身无力和失去说话和书写能力的神经学和医学疾病下仍会在很大程度上保持完好无损。这类相对常见的疾病包括中风、肌萎缩性侧索硬化症(LouGehrig氏病)、炎性多发性神经病变、重症插管等。仅使用眼球运动的通信对于虚拟现实、游戏、行销以及各种不可能或不希望讲话的环境中也很有价值。已经提出了几种眼球跟踪方案。其中一些方案通常需要使用例如红外相机之类的专用硬件，因此降低了这些方案的可用性并增加了此类技术的成本。例如，为瘫痪患者设计的眼球跟踪系统非常昂贵，以致于大多数患者和临床单位无法负担。虽然存在一些仅使用环境光和普通网络摄像头的实验系统，但是当照明条件下降(昏暗照明或侧向照明)或未严格控制用户的面部特征时(面部不垂直于相机、浅的眼睛颜色、深色皮肤等))，这些系统的性能较差。使用普通移动设备相机来捕捉眼球的运动是很具有挑战性的，这是因为以下要素：例如这种系统的包括头部和眼睛的平行运动的多种自由度，变化的照明条件，眼睛和面部形状及其颜色的可变性，普通移动设备相机的采样率限制和/或移动设备的处理器速度限制。因此，需要可以在环境光条件下运行的改进的眼球跟踪...
【技术保护点】
1.一种用于确定用户的视线位置的计算机实现的方法，包括：/n接收所述用户的至少一只眼睛的初始图像；/n提取所述初始图像的至少一个颜色分量以获得对应的至少一个分量图像；/n将相应的主流应用于所述至少一个分量图像中的每一个，以获得所述至少一个分量图像中的每一个的相应内部表征；/n使用所述至少一个分量图像中的每一个的所述相应内部表征来确定所述初始图像的估计视线位置；以及/n输出所述估计视线位置。/n
【技术特征摘要】
【国外来华专利技术】20180222 US 62/633,6461.一种用于确定用户的视线位置的计算机实现的方法，包括：
接收所述用户的至少一只眼睛的初始图像；
提取所述初始图像的至少一个颜色分量以获得对应的至少一个分量图像；
将相应的主流应用于所述至少一个分量图像中的每一个，以获得所述至少一个分量图像中的每一个的相应内部表征；
使用所述至少一个分量图像中的每一个的所述相应内部表征来确定所述初始图像的估计视线位置；以及
输出所述估计视线位置。
2.根据权利要求1所述的计算机实现的方法，其中，所述应用所述主流以获得相应内部表征和所述确定估计视线位置以结合方式被执行，包括：
使用神经网络来对所述至少一个分量图像进行处理，所述神经网络的至少一部分分别是所述至少一个分量图像中的每一个的所述相应的主流，其中，所述神经网络由一台或多台计算机实现并且包括一个或多个神经网络层，以及其中，所述神经网络用于，在运行时和在所述神经网络被训练后，使用所述一个或多个神经网络层来处理所述至少一个分量图像，以生成所述估计视线位置。
3.根据权利要求2所述的计算机实现的方法，其中，所述应用所述相应的主流以获得所述相应内部表征针对所述至少一个分量图像中的每一个分别地被执行，并且包括用于所述至少一个分量图像中的每一个的至少一个全连接层。
4.根据权利要求2所述的计算机实现的方法，其中，所述应用所述相应主流以获得所述相应内部表征包括至少一个卷积层。
5.根据权利要求4所述的计算机实现的方法，其中，每个相应主流包括在所述至少一个卷积层的下游的至少一个全连接层。
6.根据权利要求2至5中任一项所述的计算机实现的方法，其中，所述神经网络包括在所述相应的主流的下游的另一部分，即内部流，
其中通过使用包括至少一个融合层的所述内部流来确定估计视线位置，所述内部流具有至少一个全连接层。
7.根据权利要求6所述的计算机实现的方法，其中，所述内部流开始于接收至少所述相应内部表征的融合层，并且还包括在所述融合层的下游的输出层和包括至少一个全连接层。
8.根据权利要求1至7中任一项所述的计算机实现的方法，其中，所述提取至少一个颜色分量包括：提取所述初始图像的至少两个不同的颜色分量，以获得至少两个对应的分量图像，以及其中，所述确定估计视线位置包括使用权重因子将各个所述相应内部表征结合在一起。
9.根据权利要求8所述的计算机实现的方法，其中，所述提取至少一个颜色分量包括提取所述初始图像的三个RGB分量中的每一个。
10.根据权利要求1至9中任一项所述的计算机实现的方法，其中，所述接收到的初始图像包含除所述至少一只眼睛以外的其它特征。
11.根据权利要求10所述的计算机实现的方法，还包括
在所述接收到的初始图像中识别所述至少一只眼睛；以及
提取所述初始图像中仅包含所述至少一只眼睛的部分，从而获得裁剪图像，
其中，在所述裁剪图像中执行所述提取至少一个颜色分量以获得所述对应的至少一个分量图像。
12.根据权利要求11所述的计算机实现的方法，其中，使用面部特征或特征点识别方法来执行所述识别至少一只眼睛。
13.根据权利要求11或12所述的计算机实现的方法，其中，所述识别至少一只眼睛包括识别以下内容中至少之一：所述至少一只眼睛的轮廓，以及所述至少一只眼睛的角膜缘、虹膜和瞳孔中至少一个的位置。
14.根据权利要求1至13中任一项所述的计算机实现的方法，其中，所述提取至少一个颜色分量包括提取所述初始图像的至少两个不同的颜色分量以获得至少两个对应的分量图像，所述方法还包括：
对于所述至少两个对应的分量图像中的每一个，确定表示所述至少两个对应的分量图像中的每一个对所述初始图像的相对贡献的照度值，
其中，所述确定估计视线位置还包括将所述照度值与所述至少一个分量图像的所述相应内部表征相结合。
15.根据权利要求14所述的计算机实现的方法，其中，使用包括一个或多个全连接神经网络层的照度神经网络来对所述照度值进行处理。
16.根据权利要求1至15中任一项所述的计算机实现的方法，其中，所述接收到的初始图像还包含至少一个面部特征点，所述方法还包括：
提取所述至少一个面部特征点以获得对应的至少一个特征点位置；
其中，所述确定估计视线位置还包括将所述至少一个特征点位置与所述至少一个分量图像的相应内部表征结合。
17.根据权利要求16所述的计算机实现的方法，其中，所述结合是通过使用包括一个或多个全连接神经网络层的特征点神经网络被执行的。
18.根据权利要求1至17中任一项所述的计算机实现的方法，其中，所述确定估计视线位置包括独立地确定所述估计视线位置的第一坐标和第二坐标中的每一个。
19.根据权利要求1至18中任一项所述的计算机实现的方法，还包括
接收所述用户的与校准位置相关联的至少一个校准图像；以及
基于所述至少一个校准图像来确定和输出经校准的估计视线位置。
20.根据权利要求19所述的计算机实现的方法，其中，所述确定和输出经校准的估计视线位置包括独立地确定第一坐标和第二坐标中的每一个。
21.根据权利要求19至20中任一项所述的计算机实现的方法，其中，所述确定和输出经校准的估计视线位置是使用以下方式中之一被执行的：包括一个或多个全连接神经网络层的校准神经网络、岭回归、决策树、支持向量机以及线性回归。
22.根据权利要求1至21中任一项所述的计算机实现的方法，还包括：
确定所述初始图像相对于参照物的方向；
其中，为所述初始图像的预定的一个方向，执行所述确定估计视线位置。
23.根据权利要求1至22中任一项所述的计算机实现的方法，还包括：使用相机来获取所述用户的至少一只眼睛的所述初始图像。
24.根据权利要求1至23中任一项所述的计算机实现的方法，还包括：使用参照变换来确定相对于电子设备的屏幕的所述估计视线位置，包括查询所述电子设备的屏幕属性以执行所述参照变换；以及基于所述确定相对于所述电子设备的所述屏幕的所述估计视线位置，与所述电子设备进行用户交互。
25.一种用于确定用户的视线位置的计算机程序产品，所述计算机程序产品包括其上存储有计算机可执行指令的计算机可读存储器，所述计算机可执行指令由计算机执行时执行权利要求1至24中任一项所述的方法步骤。
26.一种用于确定用户的视线位置的系统，所述系统包括用于进行接收数据和发送数据中至少之一的通信单元、存储器以及用于执行根据权利要求1...
【专利技术属性】
技术研发人员：艾蒂安·德维勒西达尼，保罗·亚历山大·德鲁安皮卡罗，
申请(专利权)人：因诺登神经科学公司，
类型：发明
国别省市：加拿大;CA
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。