近眼显示器中的眼睛跟踪制造技术

用于在增强现实系统中跟踪眼睛运动的技术识别对象或其一部分的多张基本图像。可以至少部分地基于多张基本图像中的至少一些生成搜索图像。可以至少通过使用深度学习模式中的神经网络对基本图像执行深度学习过程来生成深度学习结果。可以至少通过使用卡尔曼滤波器模型和深度学习结果对捕获的图像和搜索图像执行图像配准过程来定位捕获图像。执行图像配准过程来定位捕获图像。执行图像配准过程来定位捕获图像。

【技术实现步骤摘要】
【国外来华专利技术】近眼显示器中的眼睛跟踪


[0001]本公开一般地涉及用于在诸如增强现实系统之类的近眼显示器中跟踪眼睛运动的方法和系统，更具体地，涉及通过使用利用深度卷积神经网络的深度学习模型的基于视网膜的跟踪，以及利用卡尔曼滤波器模型的图像配准过程，而不使用常规的基于瞳孔亮斑的技术来跟踪眼睛运动。

技术介绍

[0002]包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)和扩展现实(XR)头戴式装置的空间计算头戴式装置已被证明对于跨越科学可视化、医学和军事训练、工程设计和原型设计、远程操作和远程呈现以及个人娱乐系统等领域的许多应用具有不可估量的价值。在空间计算头戴式装置中，虚拟或增强场景经由光学组件显示给用户，该光学组件可定位并可固定在用户头部，位于用户眼前。
[0003]已经开发了头戴式显示器(HMD)，用于在3D虚拟和增强环境领域进行广泛应用。准确高速的眼睛跟踪对于实现HMD中的关键场景非常重要，例如，通过随中央凹变化的显示方案和新型人机交互界面实现的视场(FOV)和分辨率权衡。嵌入HMD中的眼睛跟踪器可分为侵入式方法(例如，巩膜线圈)和非侵入式基于视频的方法，后者更为常见。当前基于视频的方法主要使用眼球的不同特征，如虹膜、瞳孔和亮斑，其中瞳孔亮斑方法应用最为广泛。这些方法的平均跟踪误差为0.5
°‑
1.
°
，而这些特征的跟踪分辨率约为每像素0.7
°‑
1.
°
。要进一步提高超过跟踪分辨率的精度并不容易。
[0004]除了使用眼表面的特征外，也可以将视网膜图像用于医学领域的眼睛跟踪，例如眼睛跟踪扫描激光检眼镜(SLO)。他们利用小FOV高分辨率图像中视网膜运动估计的扫描失真，然而，该技术是专为小扫视而设计的，并且SLO不容易集成到HMD中。HMD中基于视网膜的眼睛跟踪有其自身的优势：无需高级传感器、线性注视估计模型和视网膜中央凹的直接定位，即可获得更高的跟踪分辨率。此外，视网膜跟踪提供了HMD的广泛医疗应用。
[0005]此外，现代对象识别方法基本上利用了机器学习方法。为了提高其性能，一些实施例可以收集更大的数据集，学习更强大的模型，并使用更好的技术来防止过拟合。直到最近，标记图像的数据集还相对较小，大约为数万张图像。使用这种大小的数据集，可以很好地解决可以建立对象跟踪的简单识别任务，特别是如果使用标签保留变换来增强这些任务。例如，MNIST数字识别任务的当前最佳错误率(<0.3％)接近人类表现。但现实环境中的对象表现出相当大的可变性，因此要学会识别它们，可能需要使用更大的训练集。小图像数据集的缺点已被广泛认识到，但最近才有可能收集具有数百万图像的标记数据集。
[0006]为了从数百万张图像中了解数千个对象，迫切需要一个具有强大学习能力的模型。尽管如此，对象识别任务的巨大复杂性意味着即使是像ImageNet(图像网络)这样大的数据集也无法确定这个问题，因此在一些实施例中，模型也应该具有大量的先验知识，以补偿现代技术根本不具备的所有数据。卷积神经网络(CNN)构成了一类这样的模型。它们的容量可以通过改变其深度和宽度来控制，并且它们还对图像的性质(即，统计的平稳性和像素
相关性的局部性)做出了有力且基本正确的假设。因此，与具有类似大小的层的标准前馈神经网络相比，CNN具有更少的连接和参数，因此更易于训练，而其理论上的最佳性能可能仅稍差。
[0007]尽管CNN具有吸引人的品质，并且尽管其局部架构相对有效，但大规模应用于高分辨率图像的成本仍然十分高昂。
[0008]此外，视觉对象跟踪是计算机视觉各种任务(如自动驾驶和视频监控)的基本组成部分。它在由照明、变形、遮挡和运动引起的大的外观变化方面具有挑战性。此外，速度在实际应用中也很重要。
[0009]现代跟踪器大致可以分为两个分支。第一分支基于相关性滤波器，该滤波器通过利用循环关联的特性并在傅里叶域中执行运算来训练回归器。它可以进行在线跟踪，同时有效地更新滤波器的权重。原始版本在傅里叶域中执行，然后在跟踪共同体中广泛使用。最近基于相关性滤波器的方法使用深度特征来提高精度，但这在很大程度上损害了模型更新的速度。这些方法的另一分支旨在使用非常强大的深度特征，并且不更新模型。然而，由于未使用域特定的信息，这些方法的性能始终不如基于相关性滤波器的方法。
[0010]本文所述的各种实施例至少解决了常规方法的上述挑战和缺点，并提出了基于对象运动视频的对象跟踪的实时定位方法，其中可以在镶嵌(mosaic)搜索图像上定位每个帧。

技术实现思路

[0011]根据一些实施例，描述了一种用于在近眼显示器中跟踪眼睛运动的方法。在这些实施例中，可以识别对象或其一部分的多张基本图像；可以至少部分地基于所述多张基本图像中的至少一些生成搜索图像；可以至少通过使用深度学习模型中的神经网络对基本图像执行深度学习过程来生成深度学习结果；以及可以至少通过使用卡尔曼滤波器模型和所述深度学习结果对捕获的图像和所述搜索图像执行图像配准过程来将所述捕获的图像定位到所述搜索图像。
[0012]在这些实施例的一些中，其中，所述对象包括用户的视网膜，并且在不使用响应于一个或多个输入光图案而从所述瞳孔捕获亮斑的瞳孔亮斑技术的情况下，相对于所述搜索图像定位表示所述视网膜的至少一部分的所述捕获的图像。
[0013]在一些实施例中，生成所述深度学习结果包括使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征。此外，可以将所述特征转换为包括第一特征和第二特征的多个特征。可以至少部分地基于所述第一特征，将所述区域分类为正区域或负区域。可以至少部分地基于所述第二特征，确定所述区域的回归或校正。
[0014]在一些实施例中，为了生成所述深度学习结果，可以使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；以及可以将所述特征转换为包括第一特征和第二特征的多个特征。
[0015]在紧邻的前面的实施例的一些中，为了生成所述深度学习结果，可以至少通过使用所述DCNN中的一个或多个卷积层卷积至少所述第一特征来生成第一响应图；以及可以至少部分地基于所述第一响应图，将所述区域分类为正区域或负区域。
[0016]在一些实施例中，为了生成所述深度学习结果，可以至少通过使用所述DCNN中的
所述一个或多个卷积层或一个或多个不同的卷积层卷积所述第二特征来生成第二响应图；以及可以至少使用所述第二响应图来确定所述区域的预测位置的回归或校正。
[0017]在一些实施例中，定位所述捕获的图像包括：将所述深度学习过程嵌入到状态转换模型中；以及在所述卡尔曼滤波器模型处至少使用所述状态转换模型接收所述深度学习结果作为一个或多个测量，其中，所述状态转换模型用于至少部分地基于先前时间点的先前位置状态和状态估计模型的控制向量或过程噪声中的至少一个，确定下一时间点的下一位置状态。
[0018]在紧邻的前面的实施例的一些中，为了定位所述捕获的图像，可以通过在所述图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在近眼显示器中跟踪眼睛运动的方法，包括：识别对象或其一部分的多张基本图像；至少部分地基于所述多张基本图像中的至少一些生成搜索图像；至少通过使用深度学习模型中的神经网络对基本图像执行深度学习过程来生成深度学习结果；以及至少通过使用卡尔曼滤波器模型和所述深度学习结果对捕获的图像和所述搜索图像执行图像配准过程来将所述捕获的图像定位到所述搜索图像。2.根据权利要求1所述的方法，其中，所述对象包括用户的视网膜，并且在不使用响应于一个或多个输入光图案而从所述瞳孔捕获亮斑的瞳孔亮斑技术的情况下，相对于所述搜索图像定位表示所述视网膜的至少一部分的所述捕获的图像。3.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；将所述特征转换为包括第一特征和第二特征的多个特征；至少部分地基于所述第一特征，将所述区域分类为正区域或负区域；以及至少部分地基于所述第二特征，确定所述区域的回归或校正。4.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；以及将所述特征转换为包括第一特征和第二特征的多个特征。5.根据权利要求4所述的方法，其中，生成所述深度学习结果进一步包括：至少通过使用所述DCNN中的一个或多个卷积层卷积至少所述第一特征来生成第一响应图；以及至少部分地基于所述第一响应图，将所述区域分类为正区域或负区域。6.根据权利要求5所述的方法，其中，生成所述深度学习结果还包括：至少通过使用所述DCNN中的所述一个或多个卷积层或一个或多个不同的卷积层卷积所述第二特征来生成第二响应图；以及至少使用所述第二响应图来确定所述区域的预测位置的回归或校正。7.根据权利要求1所述的方法，其中，定位所述捕获的图像包括：将所述深度学习过程嵌入到状态转换模型中；以及在所述卡尔曼滤波器模型处至少使用所述状态转换模型接收所述深度学习结果作为一个或多个测量，其中，所述状态转换模型用于至少部分地基于先前时间点的先前位置状态和状态估计模型的控制向量或过程噪声中的至少一个，确定下一时间点的下一位置状态。8.根据权利要求7所述的方法，其中，定位所述捕获的图像包括：通过在...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：