用于眼动追踪应用的传感器融合系统和方法技术方案

描述了其他用途之中的用于消费级虚拟现实(VR)/增强现实(AR)应用的眼动追踪系统和方法。某些实施方式将使用基于相机的瞳孔和角膜反射检测的光学眼动追踪与以更高频率运行的光学流动硬件进行组合。这种组合提供了前者可获得的精度，并且同时增加了后者理想的精度和延迟特性，从而以相对降低的成本实现了更高性能的整体系统。通过利用指向视野上的不同目标处的光流传感器阵列来增强相机追踪器，可执行传感器融合以提高精度。由于相机图像提供了眼睛位置的整体图片，因此该信息可用于剔除被遮挡的光流传感器，从而减轻因眨眼以及其他类似现象引起的漂移和误差。

A Sensor Fusion System for Eye Tracking Applications

【技术实现步骤摘要】
【国外来华专利技术】用于眼动追踪应用的传感器融合系统和方法相关申请的交叉引用本申请要求于2016年9月7日提交的第15/258,551号技术专利申请的权益。该技术专利申请的内容通过引用并入本文以用于所有目的。
本公开总体涉及计算机化图像处理，并且更具体地涉及用于在计算机化眼动追踪应用中(诸如，在用于具有改进的特征和特点的虚拟现实和/或增强现实系统的头戴式显示器中)实施传感器融合技术的系统和方法。
技术介绍
目前的一代虚拟现实(“VR”)体验使用头戴式显示器(“HMD”)形成，头戴式显示器可连接至固定计算机(诸如，个人计算机(“PC”)、膝上型计算机或者游戏机)，可与智能手机和/或其相关的显示器组合和/或集成，或者可以是独立的。VR体验通常旨在为沉浸式的并将用户的感觉与其周围环境分离开。通常，HMD是佩戴在用户头部上的显示装置，其在一个眼睛(单目HMD)或每个眼睛(双目HMD)前面具有小显示装置。双目HMD具有向每只眼睛显示不同图像的潜力。该性能用于显示立体图像。措辞“眼动追踪(eyetracking)”表示测量注视点(即，人正在看的地方)、人正在看的内容或者人的眼睛相对于该人的头部的运动或位置的过程。正如普通技术人员将容易认识到的那样，在HMD和其他应用中已实现了各种计算机化的眼动追踪技术。眼动追踪器以多种方式中的一种测量眼睛的转动。一类广泛的眼动追踪技术使用非接触式光学方法来测量眼睛位置或注视角度。例如，在一种已知类型的光学眼动追踪技术中，光(通常为红外区域中的光)从眼睛反射并由摄像机感测。然后分析由摄像机感测的信息以从反射的变化中提取注视方向或瞳孔的位置。基于视频的眼动追踪器有时使用角膜反射或瞳孔中心作为随时间进行追踪的特征。在HMD实施例的情况下，基于相机的眼动追踪系统可包括后置相机，后置相机附接至HMD的壳体并(直接或间接地)指向用户的眼睛作为检测用户的眼睛位置的装置。由相机生成的数字数据经由有线装置或无线装置发送至诸如计算机的外部装置(或者替代地，发送至位于HMD自身上的计算机资源)，以进行处理和分析。在这种系统中的计算机软件运行普通技术人员已知的眼动追踪算法，来检测用户的一只或两只眼睛的位置。包括眼动追踪性能的某些HMD能够包括具有以多种形式要素嵌入的透镜和半透明镜(即，“热镜”)的一个或两个小显示器，诸如头盔、眼镜(也称为数据眼镜)或护目镜。显示单元通常被微型化，并可包括CRT、LCD、硅上液晶(LCos)或OLED技术。热镜为眼动追踪提供了一种可能的设计方法，并允许相机或其他眼动追踪传感器获得被追踪的眼睛的良好视角。某些热镜反射红外(“IR”)辐射并对可见光透明。某些眼动追踪HMD应用中的热镜在眼前倾斜，并且允许IR相机或其他眼动追踪传感器获得眼睛的反射图像，同时眼睛在显示屏幕上具有透明视图。这种光学眼动追踪方法广泛用于注视追踪。在某些实施例中，这种追踪器可能需要利用图像处理和模式识别装置以高帧速率进行拍摄的相对高分辨率的相机，从而追踪被反射的光或已知的眼部结构(例如，虹膜或瞳孔)。为了使其具有非侵入性并降低成本，本领域中当前已知的消费级眼动追踪解决方案在性能方面具有实质性限制，这妨碍系统能够精确地或低延迟地知晓受试者的瞳孔的位置和注视方向以在注视渲染的情况下充分利用，并且昂贵的高分辨率高帧速率相机可能仅提供有限的益处。然而，用于HMD应用的、某些当前商用且相对便宜的基于相机图像的眼动追踪器难以以高频率和足够低的延迟运行，并且这些眼动追踪器在某些实施例中可能产生噪声且易于被遮挡。虽然这些系统可能因其低分辨率或低帧速率而不一定产生噪声，但它们可能无法以足够高的速率采样以表征眼睛的实际运动，其原因在于，它们错过采样之间发生的活动或错误地确定眼跳(快速的眼运动，将在下文进一步讨论)的开始或结束并由此产生不良的速度和加速度数据，从而导致预测误差。为了开始使用预测并且也避免丢失将导致结果上的错误的眼跳(这对于VR很重要)，由于人类的眼睛如已知的那样以相对高的速度移动或改变方向(特别是在所谓的眼跳运动方面)，因而这种系统通常必须以至少240Hz的速率操作。眼跳运动表示人在焦点的平面之间移动时其未被注意到的且有时是无意识的眼睛运动。通常，眼跳可以是有意识的或无意识的。当人重新定向其注视来看某物时，这是有意识的眼跳。人的眼睛时常表现出几乎难以察觉的无意识的微眼跳。微眼跳可帮助刷新人在人的视网膜上观看的图像和边缘。如果图像不在视网膜上移动，则人的视网膜上的视杆/视锥可能对图像变得不敏感，并且该人实际上对其失明。为了检测和测量微眼跳，眼动追踪系统中通常要求最小采样速率为240Hz。通常也不可能精确地确定眼睛运动，除非可以足够好地执行测量以确定注视变化是否为微眼跳并且注视是否已恢复到焦点物体上或者相反地眼睛是否正在加速有意识的眼跳动。为了提高性能，需要更频繁和准确的数据。因此，当前可用的基于VR相机的眼动追踪解决方案通常不能以足够的响应性、准确性或鲁棒性执行来实现消费者类HMD装置中使用的眼动追踪的所有潜在价值。这是因为增加眼动追踪相机的帧速率和/或分辨率是复杂且昂贵的。即使可能，这种改进通常生成更多数据，这增加了带宽并因此使传输更加困难并且致使另外的中央处理单元(“CPU”)和/或图形处理单元(“GPU”)负载来计算注视方向。额外的负载可能会增加系统成本，也可能从正呈现在显示器上的应用程序夺取有限的计算时间。另一限制涉及极端眼睛视角，极端眼睛视角可能在某些基于相机的眼动追踪系统中迫使瞳孔或角膜反射离开相机的视野。辅以相对便宜且易于商购的光流传感器的眼动追踪解决方案是对基于相机的系统的可能改进。通常，光流(opticalflow)是由观察者(眼睛或照相机)与场景之间的相对运动引起的视觉场景中的物体、表面和边缘的明显运动的图案。光流传感器是能够测量光流或视觉运动并基于光流输出测量的视觉传感器。与提供和相对位置有关的数据的系统相反，光流传感器通常生成和相对运动有关的数据。相对运动数据可包含微小误差，这些微小误差久而久之会随着误差累积而引起漂移。相对位置数据也存在误差，但其通常不随时间漂移。存在各种配置的光流传感器。一种配置包括连接至被编程为运行光流算法的处理器的图像传感器芯片。另一种配置使用视觉芯片，该视觉芯片为允许紧凑地实施的在同一管芯上具有图像传感器和处理器的集成电路。这方面的示例为计算机光学鼠标中广泛使用的一类传感器。光流传感器便宜、非常精确并且可以以1kHz或更高的速率操作。然而，光流传感器因其已知的随时间漂移的倾向而通常表现出低的定位精度。因此，虽然光流传感器可提供较好的与鼠标在短时间间隔内在表面上行进的距离有关的相关信息，但是由于小误差的累积导致大的差异而使得其无法辨别鼠标在表面上的位置或者鼠标相对于其起始位置的位置。结合光流传感器的低分辨率和无法“看到”用户的整个眼睛或无法在任何点处确定眼睛正注视的位置，光流传感器通常不能由其自身提供足够精确的眼睛的位置。当前在本领域中的限制亟待被解决。附图说明通过示例的方式，现将以附图作为参照，这些附图未按比例绘制。图1是可用于实现本专利技术的某些实施方式的各方面的计算装置的示例性图。图2A至图2D是描绘了可用于实施本专利技术的某些实施方式的各方面的用于HMD应用本文档来自技高网...

【技术保护点】
1.眼动追踪设备，包括：眼动追踪相机子系统，所述眼动追踪相机子系统以第一分辨率水平和第一采样速率捕获表示观察视野的图像的连续二维样本，并且生成基于相机的眼睛位置估计，其中，所述观察视野包括人的眼睛的包括瞳孔的部分；多个光流传感器，所述多个光流传感器中的每个均指向所述观察视野的不同子区域处，其中，所述光流传感器中的每个均以比所述第一分辨率水平低的分辨率水平和比所述第一采样速率快的采样速率捕获表示其相应子区域内的光流的连续样本，并生成基于光流的眼睛位置估计；以及传感器融合模块，所述传感器融合模块将来自所述眼动追踪相机子系统的所述基于相机的眼睛位置估计和来自所述多个光流传感器中的每个的所述基于光流的眼睛位置估计进行组合，以生成最终眼睛位置估计。

【技术特征摘要】
【国外来华专利技术】2016.09.07 US 15/258,5511.眼动追踪设备，包括：眼动追踪相机子系统，所述眼动追踪相机子系统以第一分辨率水平和第一采样速率捕获表示观察视野的图像的连续二维样本，并且生成基于相机的眼睛位置估计，其中，所述观察视野包括人的眼睛的包括瞳孔的部分；多个光流传感器，所述多个光流传感器中的每个均指向所述观察视野的不同子区域处，其中，所述光流传感器中的每个均以比所述第一分辨率水平低的分辨率水平和比所述第一采样速率快的采样速率捕获表示其相应子区域内的光流的连续样本，并生成基于光流的眼睛位置估计；以及传感器融合模块，所述传感器融合模块将来自所述眼动追踪相机子系统的所述基于相机的眼睛位置估计和来自所述多个光流传感器中的每个的所述基于光流的眼睛位置估计进行组合，以生成最终眼睛位置估计。2.如权利要求1所述的眼动追踪设备，其中，所述眼动追踪相机子系统在红外光频率范围内操作。3.如权利要求1所述的眼动追踪设备，还包括噪声消除系统，所述噪声消除系统基于来自所述眼动追踪相机子系统的所述基于相机的眼睛位置估计来确定所述多个光流传感器的在任何给定时间时被忽略的子集。4.如权利要求1所述的眼动追踪设备，其中，所述眼动追踪相机子系统和所述多个光流传感器被容纳在头戴式显示器内。5.如权利要求1所述的眼动追踪设备，其中，所述传感器融合模块包括卡尔曼滤波器。6.眼动追踪方法，包括：利用眼动追踪相机子系统，以第一分辨率水平和第一采样速率捕获表示观察视野的图像的连续二维样本，以生成基于相机的眼睛位置估计，其中，所述观察视野包括人的眼睛的包括瞳孔的部分；利用多个光流传感器，以比所述第一分辨率水平低的分辨率水平和比所述第一采样速率快的采样速率捕获表示所述观察视野的多个子区域内的光流的连续样本，以生成多个基于光流的眼睛位置估计；以及使用传感器融合函数，将所述基于相机的眼睛位置估计和所述基于光流的眼睛位置估计进行组合，以生成最终眼睛位置估计。7.如权利要求6所述的眼动追踪方法，其中，所述眼动追踪相机子系统在红外光频率范围内操作。8.如权利要求6所述的眼动追踪方法，还包括：基于来自所述眼动追踪相机子系统的所述基于相机的眼睛位置估计，确定所述多个光流传感器的在任何给定时间时被忽略的子集...

【专利技术属性】
技术研发人员：亚西尔·马莱卡，丹·纽厄尔，
申请(专利权)人：威尔乌集团，
类型：发明
国别省市：美国,US