眼睛跟踪设备、眼睛跟踪方法和计算机可读介质技术

本发明专利技术涉及眼睛跟踪设备、眼睛跟踪方法和计算机可读介质。眼睛跟踪设备包括基于事件的光学传感器(1)，其配置为接收从用户的眼睛(2)反射的辐射(12)并产生事件(31)的信号流(3)，每个事件(31)都对应于在所述光学传感器(1)的一个或多个像素处接收的辐射的时间变化的检测，以及包括控制器(4)，其连接到所述光学传感器(1)并且配置为：a)从所述光学传感器(1)接收事件(31)的信号流(3)，b)基于事件(31)的所述流(3)的至少一部分生成推理帧(61)，c)利用所述推理帧(61)作为机器学习模块(6)的输入并且操作所述机器学习模块(6)以获得输出数据，以及e)从所述输出数据中提取与所述用户的所述眼睛(2)相关的信息，其中所述控制器(4)配置为利用第一人工神经网络(5)生成所述推理帧(61)。(61)。(61)。

【技术实现步骤摘要】
【国外来华专利技术】眼睛跟踪设备、眼睛跟踪方法和计算机可读介质


[0001]本专利技术涉及眼睛跟踪设备、眼睛跟踪方法和计算机可读介质。

技术介绍

[0002]眼睛跟踪通常是指对被称为用户的人的眼睛运动或凝视的监控。然而，用户当然也可以是具有能够在其眼窝中改变其观察方向的眼睛的任何其他生物。
[0003]跟踪用户凝视的一种可能的方式是通过传统的摄像机或照相机，其每隔一段时间获得眼睛的全帧图像或传统帧。然后，连接到相机的控制器分析这些图像帧中的每一帧，以确定在捕捉帧时瞳孔的位置，从而允许其推断用户正在观看的方向。此方法需要使用基于帧的相机，例如摄像机或照相机，其获得眼睛的图像以供控制器分析。这种传统的或基于帧的相机通常很慢。它们还会产生大量需要在相机和控制器之间传输的数据。
[0004]可以通过利用基于事件的相机或基于事件的传感器(也称为动态视觉传感器(DVS))来加速眼睛跟踪过程。EP3598274A1描述了包括多个相机的系统，其中一个摄像机是基于事件的相机或DVS。然而，这种已知的系统也依赖于第二个基于帧的相机。类似地，Angelopoulos、Anastasios N.等人的出版物"Event Based,Near Eye Gaze Tracking Beyond 10,000Hz."，预印本arXiv：2004.03577(2020)，结合基于事件的DVS数据，在传统图像帧上使用椭圆检测来执行眼睛跟踪任务。尽管作者提到基于深度学习的提取方法将是他们工作的简单扩展，但是其使用的是传统的计算机视觉方法。因此，这里眼睛跟踪过程也至少部分依赖于由基于帧的相机获得的传统图像帧。对眼睛的图像帧的可用性的依赖，需要眼睛跟踪系统在能够准确预测眼睛的位置之前获得全帧。虽然一些系统可以利用插值来预测未来状态，但最差情况下的延迟取决于获得全帧所需的时间。
[0005]US10466779A1遵循了不同的方法，其描述了使用DVS数据的眼睛跟踪系统，并概述了将接收到的DVS数据转换成强度图像的方法，类似于传统帧。算法使用了DVS流的数学特性。传统的计算机视觉方法用于从如此获得的强度图像中预测凝视和瞳孔特征。
[0006]WO2019147677A1中描述了一种方法，所述方法将纯粹基于事件的传感器输出的获取与使用卷积神经网络进行眼睛跟踪的机器学习方法相结合。其中描述了一种系统，所述系统累积来自事件相机的事件，以产生强度图像、频率图像或时间戳图像，这些图像随后馈送到神经网络算法中以预测各种视线参数。所描述的系统使用手工制作的静态累积机制，这是一种常见且众所周知的技术，用于从事件数据创建强度图像的近似值。这种方法的缺点是图像往往是有噪声的，并且呈现来自过去瞳孔位置的伪像。如WO2019147677A1中所描述的下游基于帧的卷积神经网络难以处理噪声数据和时间伪像(如累积DVS事件时不可避免的伪像)，因此需要更复杂的神经网络。

技术实现思路

[0007]本专利技术的目的是提出一种用于更可靠地跟踪用户眼睛运动的设备和方法。
[0008]根据本专利技术，通过提供具有权利要求1的特征的眼睛跟踪设备、具有权利要求14的
特征的眼睛跟踪方法以及具有权利要求15的特征的计算机可读介质来实现此目的。本专利技术的其他有利实施例是从属权利要求的主题。
[0009]根据本专利技术，眼睛跟踪设备包括基于事件的光学传感器和连接到传感器的控制器。从用户眼睛反射的辐射由基于事件的光学传感器接收，所述光学传感器配置为响应于辐射产生事件的信号流。此信号流被发送到控制器，所述控制器对信号流执行各种处理，以便获得眼睛跟踪处理的结果。因此，控制器可以至少包括处理装置和存储器，用于执行下文描述的分析。在下文中，基于事件的光学传感器将被称为事件传感器。
[0010]传感器，特别是动态视觉传感器，其包括排列成阵列的多个独立像素，每个像素都具有光敏单元或光敏区域。一旦检测到入射光在该光敏单元上的时间变化，就产生事件信号，在此仅称为“事件”。因此，由传感器产生的事件的信号流中的每个事件都对应于在所述光学传感器的一个或多个像素处接收的辐射的时间变化的检测。每个事件都可以特别包括阵列中相应像素的位置、显示极性的指示符以及可选地还包括时间变化的幅度，以及变化发生的时间。这些事件作为信号流的一部分被发送到控制器进行进一步处理。
[0011]控制器被配置为接收事件的信号流，通过第一人工神经网络生成将被用作机器学习模块的输入的推理帧，操作机器学习模块以获得输出数据，并且从输出数据中提取与所述用户的眼睛相关的所寻求的信息。有利地，由机器学习模块生成的输出数据是所寻求的信息(例如瞳孔位置/方向等)。
[0012]可以定义推理帧为第一人工神经网络的输出和机器学习模块的输入的帧。术语“推理帧”可以指尺寸宽度、高度、通道等维度的3D张量。通道是数据的不同表示的集合。不同的表示尤其可以包括线性或非线性的强度，例如对数、标度、空间或时间导数、频率分量的强度和/或相位。
[0013]用相应的输入和输出数据训练第一神经网络。输入和输出数据可以使用模拟软件生成。对于训练数据，使用标准图像处理技术来创建作为网络输出的推理帧的组成部分，而使用事件传感器的数学模型来计算事件输入流。表示的选择有利地以优化第二神经网络的性能的方式进行。优选地训练第一神经网络，以便创建这些表示的最佳可能近似。
[0014]通过使第一神经网络直接创建所有表示，与对单个学习的表示使用标准图像处理方法相比，系统可以实现更好的重建性能。通过将多个表示作为第二神经网络的输入，第二神经网络可以在估计眼睛视线参数方面比仅具有单个表示获得更好的性能。
[0015]本专利技术基于在将生成的推理帧传递给机器学习模块之前，通过第一人工神经网络生成推理帧的概念。因此，尽管从现有技术中已知使用人为设计的静态累积机制(一种常见且众所周知的技术)来从事件数据创建推理帧以输入到机器学习模块中，但是本专利技术提出了一种系统，所述系统不利用人为设计的累积方案，而是将推理帧的生成留给神经网络。使用这种方法，可以获得质量好得多的推理帧，这使得后续机器学习模块或过程进行更好的估计。此外，根据本专利技术，仅基于事件的信号流来确定瞳孔位置，而不必访问由传统的基于帧的相机收集的图像帧。
[0016]为了使机器学习模块能够处理输入数据，必须以适当的形式提供输入数据。第一人工神经网络将事件流转换为推理帧，然后可以由机器学习模块处理。优选地，推理帧具有与事件传感器相同数量的像素。然而，推理帧必须与可由传统的相机提供的眼睛的传统图像帧相区别。虽然推理帧包括排列成阵列的多个帧像素，并且所述推理帧可以是眼睛图像
的近似，但是其取决于所使用的第一人工神经网络的参数和响应，因此其不一定是这样的近似。特别地，第一人工神经网络不必配置为使得其提供的输出是被监控的眼睛的近似。相反，有利地，第一人工神经网络配置为创建推理帧的形式，以增强或最大化后续机器学习模块的性能。合适的推理帧可以是任何种类的帧，其包含机器学习模块所需处理的必要信息。这些可以包括例如线性或非线性标度的近似本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.眼睛跟踪设备，其包括：
‑
基于事件的光学传感器(1)，其配置为接收从用户的眼睛(2)反射的辐射(12)并产生事件(31)的信号流(3)，每个事件(31)都对应于在所述光学传感器(1)的一个或多个像素处接收到的辐射的时间变化的检测，以及
‑
控制器(4)，其连接到所述光学传感器(1)并且配置为：a)从所述光学传感器(1)接收事件(31)的信号流(3)，b)基于事件(31)的所述流(3)的至少一部分，生成推理帧(61)，c)利用所述推理帧(61)作为机器学习模块(6)的输入，并操作所述机器学习模块(6)以获得输出数据，以及e)从所述输出数据中提取与所述用户的所述眼睛(2)相关的信息，其特征在于，所述控制器(4)配置为利用第一人工神经网络(5)生成所述推理帧(61)。2.根据权利要求1所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为将事件(31)的所述流(3)的所述部分转换成稀疏张量(51)，并且使用所述稀疏张量(51)作为所述第一人工神经网络(5)的输入。3.根据权利要求2所述的眼睛跟踪设备，其特征在于，所述控制器(4)配置为基于预定数量的事件(31)或基于在预定时间间隔或持续时间内发生的事件(31)来生成稀疏张量(51)。4.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器配置为使得所述第一人工神经网络(5)是递归神经网络。5.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器配置为使得所述第一人工神经网络(5)具有至少一个记忆层。6.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器配置为从所述输出数据的信息中提取所述用户的凝视方向、所述用户的所述眼睛的瞳孔中心位置、所述用户的所述眼睛的瞳孔轮廓、所述用户的所述眼睛的瞳孔直径、所述用户的所述眼睛的眼睑位置、所述用户的所述眼睛的瞳孔形状、与所述用户相关的个人识别信息和/或所述用户的所述眼睛的瞳孔运动预测。7.根据前述权利要求中任一项所述的眼睛跟踪设备，其特征在于，所述控制器配置为利用所述推理帧(61)作为第二人工神经网络(6)的输入，并操作所述第二人工神经网络(6)以获得所述输出数据。8.根据权利要求7所述的眼睛跟踪设备，其特征在于，所述控制器配置为使得所述第二人工神经网络(6)包括公共后端以及一个或多个前端。9.根据权利要求7或8所述的眼睛跟踪设备，其特征在于，所述第二人工神经网络(6)是卷积神经网络。10.根据权利要求9所述的眼睛跟踪设备，其特征在于，所述控制器配置为...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：英尼维顺股份有限公司，
类型：发明
国别省市：