近眼显示器中的眼睛跟踪制造技术

用于在增强现实系统中跟踪眼睛运动的技术识别对象或其一部分的多张基本图像。可以至少部分地基于多张基本图像中的至少一些生成搜索图像。可以至少通过使用深度学习模式中的神经网络对基本图像执行深度学习过程来生成深度学习结果。可以至少通过使用卡尔曼滤波器模型和深度学习结果对捕获的图像和搜索图像执行图像配准过程来定位捕获图像。执行图像配准过程来定位捕获图像。执行图像配准过程来定位捕获图像。

【技术实现步骤摘要】
【国外来华专利技术】近眼显示器中的眼睛跟踪


[0001]本公开一般地涉及用于在诸如增强现实系统之类的近眼显示器中跟踪眼睛运动的方法和系统，更具体地，涉及通过使用利用深度卷积神经网络的深度学习模型的基于视网膜的跟踪，以及利用卡尔曼滤波器模型的图像配准过程，而不使用常规的基于瞳孔亮斑的技术来跟踪眼睛运动。

技术介绍

[0002]包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)和扩展现实(XR)头戴式装置的空间计算头戴式装置已被证明对于跨越科学可视化、医学和军事训练、工程设计和原型设计、远程操作和远程呈现以及个人娱乐系统等领域的许多应用具有不可估量的价值。在空间计算头戴式装置中，虚拟或增强场景经由光学组件显示给用户，该光学组件可定位并可固定在用户头部，位于用户眼前。
[0003]已经开发了头戴式显示器(HMD)，用于在3D虚拟和增强环境领域进行广泛应用。准确高速的眼睛跟踪对于实现HMD中的关键场景非常重要，例如，通过随中央凹变化的显示方案和新型人机交互界面实现的视场(FOV)和分辨率权衡。嵌入HMD中的眼睛跟踪器可分为侵入式方法(例如，巩膜线圈)和非侵入本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在近眼显示器中跟踪眼睛运动的方法，包括：识别对象或其一部分的多张基本图像；至少部分地基于所述多张基本图像中的至少一些生成搜索图像；至少通过使用深度学习模型中的神经网络对基本图像执行深度学习过程来生成深度学习结果；以及至少通过使用卡尔曼滤波器模型和所述深度学习结果对捕获的图像和所述搜索图像执行图像配准过程来将所述捕获的图像定位到所述搜索图像。2.根据权利要求1所述的方法，其中，所述对象包括用户的视网膜，并且在不使用响应于一个或多个输入光图案而从所述瞳孔捕获亮斑的瞳孔亮斑技术的情况下，相对于所述搜索图像定位表示所述视网膜的至少一部分的所述捕获的图像。3.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；将所述特征转换为包括第一特征和第二特征的多个特征；至少部分地基于所述第一特征，将所述区域分类为正区域或负区域；以及至少部分地基于所述第二特征，确定所述区域的回归或校正。4.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；以及将所述特征转换为包括第一特征和第二特征的多个特征。5.根据权利要求4所述的方法，其中，生成所述深度学习结果进一步包括：至少通过使用所述DCNN中的一个或多个卷积层卷积至少所述第一特征来生成第一响应图；以及至少部分地基于所述第一响应图，将所述区域分类为正区域或负区域。6.根据权利要求5所述的方法，其中，生成所述深度学习结果还包括：至少通过使用所述DCNN中的所述一个或多个卷积层或一个或多个不同的卷积层卷积所述第二特征来生成第二响应图；以及至少使用所述第二响应图来确定所述区域的预测位置的回归或校正。7.根据权利要求1所述的方法，其中，定位所述捕获的图像包括：将所述深度学习过程嵌入到状态转换模型中；以及在所述卡尔曼滤波器模型处至少使用所述状态转换模型接收所述深度学习结果作为一个或多个测量，其中，所述状态转换模型用于至少部分地基于先前时间点的先前位置状态和状态估计模型的控制向量或过程噪声中的至少一个，确定下一时间点的下一位置状态。8.根据权利要求7所述的方法，其中，定位所述捕获的图像包括：通过在...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：