一种眼动追踪系统及眼镜技术方案

本申请公开了一种眼动追踪系统和眼镜。眼动追踪系统包括至少一个投射器、至少一个摄像头和控制器，投射器包括基板、光源、衍射光学元件，光源设置于基板，用于投射用于照射到人眼处的作为参考位置的光，光源包括可单独被点亮的多个子光源；摄像头用于拍摄人眼处的图像，人眼处的图像包括人眼的图像和在人眼处形成的投射图案的图像；控制器电连接至摄像头和投射器，控制器配置为执行：根据人眼的图像分析瞳孔的位置；根据瞳孔的位置控制点亮多个子光源中的至少部分，使得投射图案与瞳孔的位置匹配；根据人眼的图像和投射图案的图像计算人眼注视点的位置。本申请的眼动追踪系统可以降低光源功耗。光源功耗。光源功耗。

【技术实现步骤摘要】
一种眼动追踪系统及眼镜


[0001]本申请涉及光学
，具体而言涉及一种眼动追踪系统及眼镜。

技术介绍

[0002]在一些增强现实的显示设备中，具有眼动追踪系统。该眼动追踪系统通常使用红外光源照射眼睛，眼部结构及周围皮肤会反射光线，使用成像装置(如摄像机)采集从角膜和视网膜上反射的红外光线。由于眼球的生理结构和物理性质，在光源和头部相对位置不变的前提下，角膜反射形成的光斑不会移动，而视网膜上反射的光线方向标示了瞳孔的朝向(光源光线从瞳孔射入，视网膜反射光线从瞳孔射出)，因此通过计算可以确定眼动的方向，进而得到注视点位置。
[0003]为提高眼动追踪的精度，通常采取增加光源数量的方法来满足高精度的要求。因此造成眼动追踪系统功耗高、系统结构体积大、成本高的问题，同时眼睛反射的光源图案特征较少，造成眼动追踪算法复杂度高，算法鲁棒性差。
[0004]因此，有必要对传统的眼动追踪系统进行改进，以至少部分地解决以上问题。

技术实现思路

[0005]在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
[0006]为至少部分地解决以上问题，本申请方面提供一种眼动追踪系统，包括：
[0007]至少一个投射器，所述投射器包括：
[0008]基板，
[0009]光源，所述光源设置于所述基板，用于投射用于照射到人眼处的作为参考位置的光，所述光源配置为包括多个子光源，并使得每个所述子光源可单独被点亮，和
[0010]衍射光学元件，用于衍射所述光源投射的光以在所述人眼处形成投射图案；
[0011]至少一个摄像头，所述摄像头用于拍摄所述人眼处的图像，所述人眼处的图像包括人眼的图像和在所述人眼处形成的所述投射图案的图像；和
[0012]控制器，所述控制器电连接至所述摄像头和所述投射器，所述控制器配置为执行以下步骤的工作：
[0013]根据所述人眼的图像分析瞳孔的位置；
[0014]根据所述瞳孔的位置控制点亮所述多个子光源中的至少部分，使得所述投射图案与所述瞳孔的位置匹配；
[0015]根据所述人眼的图像和所述投射图案的图像计算人眼注视点的位置。
[0016]根据本申请，用于向人眼投射参考位置光以进行视线追踪的光源包括多个可单独被点亮的子光源，通过摄像头拍摄人眼处的图像，即人眼的图像和光源向人眼处投射的投射图案的图像，根据人眼的图像分析瞳孔的位置，并点亮与瞳孔的位置匹配的子光源，可以
避免一直点亮全部光源，降低光源功耗，且眼部的瞳孔位置附近反射的图案特征明显，有利于对图像特征进行识别以提高对人眼注视点的判断的准确度。
[0017]可选地，所述眼动追踪系统配置为，当全部所述子光源被点亮时，所述光源在所述人眼处形成全投射图案，其中不同的所述子光源所投射的光对应于所述全投射图案中的不同的部分，
[0018]所述根据所述瞳孔的位置控制点亮所述多个子光源中的至少部分，使得所述投射图案与所述瞳孔的位置匹配，包括：
[0019]将所述人眼处的图像划分为若干图像区域，
[0020]将与所述瞳孔的位置匹配的所述图像区域标记为匹配分析区域，
[0021]将用于点亮位于所述匹配分析区域中的所述全投射图案的全部所述子光源标记为第一子光源，
[0022]点亮全部所述第一子光源中的至少部分。
[0023]根据本申请，将人眼处的图像划分为若干图像区域，可以对人眼处分区照亮，只照亮用于确定人眼注视位置的主要区域，即与瞳孔的位置匹配的图像区域，以确定要点亮的相应的子光源，避免点亮全部光源造成浪费。
[0024]可选地，所述将与所述瞳孔的位置匹配的所述图像区域标记为匹配分析区域，包括：
[0025]将与所述瞳孔有重叠的所述图像区域中的至少部分标记为所述匹配分析区域，并且/或者
[0026]将与所述瞳孔的边界的距离小于预设距离的所述图像区域中的至少部分标记为匹配分析区域。
[0027]根据本申请，基于瞳孔的位置将与瞳孔有重叠或与瞳孔的边界的距离在设定范围内的图像区域(例如与瞳孔距离近的图像区域)标记为匹配分析区域，可以使得瞳孔处及周围区域反射的光线图案特征明显，便于确定瞳孔轮廓及瞳孔的中心位置进而确定注视点位置。
[0028]可选地，所述控制器配置为根据精度要求点亮全部所述第一子光源中的至少部分，其中
[0029]精度要求高时被点亮的所述第一子光源的数量多于精度要求低时被点亮的所述第一子光源的数量。
[0030]根据本申请，通过调整点亮的子光源的数量，可以使得在控制光源功耗的同时，光源对眼部的照明满足对瞳孔的轮廓和中心定位的不同精度要求。
[0031]可选地，所述眼动追踪系统配置为使得，精度要求高时所述匹配分析区域的数量多于精度要求低时所述匹配分析区域的数量，从而精度要求高时全部所述第一子光源的数量大于精度要求低时全部所述第一子光源的数量，使得精度要求高时被点亮的所述第一子光源的数量多于精度要求低时被点亮的所述第一子光源的数量。
[0032]根据本申请，可以调整匹配分析区域的数量，精度要求越高，参与分析的区域越多，从而分析结果越精确。
[0033]可选地，所述控制器配置为将与所述瞳孔的边界的距离小于预设距离的所述图像区域中的至少部分标记为匹配分析区域，并且精度要求高时所述预设距离的数值大于精度
要求低时所述预设距离的数值，以使精度要求高时所述匹配分析区域的数量多于精度要求低时所述匹配分析区域的数量。
[0034]根据本申请，基于与瞳孔的边界的距离确定标记为匹配分析区域的图像区域时，可以通过改变预设距离调整标记为匹配分析区域的图像区域的数量，以在控制光源功耗的同时满足不同的精度要求。
[0035]可选地，所述控制器配置为根据睑裂形状点亮全部所述第一子光源中的至少部分，包括：
[0036]根据所述人眼的图像分析所述睑裂的位置；
[0037]将所述匹配分析区域中位于所述睑裂内部的区域标记为睑内分析区域；
[0038]将用于点亮位于所述睑内分析区域中的所述全投射图案的全部所述第一子光源标记为第二子光源，
[0039]点亮全部所述第二子光源中的至少部分。
[0040]根据本申请，在基于瞳孔的位置将与瞳孔有重叠或与瞳孔的边界的距离在设定范围内的图像区域标记为匹配分析区域的同时，还可以根据不同人眼的睑裂形状、大小将投射至睑内分析区域的第二子光源的至少部分点亮，第二子光源的投影图案主要照射在巩膜和瞳孔上，二者对光的吸收光谱有区别，更适于分析瞳孔位置，因此只点亮第二子光源以进一步节能。
[0041]可选地，所述投射图案包括散斑点、线条和网格中的一个或多个。
[0042]根据本申请，光源排布方式多样，使得眼部反射的光源图案特征较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼动追踪系统，其特征在于，包括：至少一个投射器，所述投射器包括：基板，光源，所述光源设置于所述基板，用于投射用于照射到人眼处的作为参考位置的光，所述光源配置为包括多个子光源，并使得每个所述子光源可单独被点亮，和衍射光学元件，用于衍射所述光源投射的光以在所述人眼处形成投射图案；至少一个摄像头，所述摄像头用于拍摄所述人眼处的图像，所述人眼处的图像包括人眼的图像和在所述人眼处形成的所述投射图案的图像；和控制器，所述控制器电连接至所述摄像头和所述投射器，所述控制器配置为执行以下步骤的工作：根据所述人眼的图像分析瞳孔的位置；根据所述瞳孔的位置控制点亮所述多个子光源中的至少部分，使得所述投射图案与所述瞳孔的位置匹配；根据所述人眼的图像和所述投射图案的图像计算人眼注视点的位置。2.根据权利要求1所述的眼动追踪系统，其特征在于，所述眼动追踪系统配置为，当全部所述子光源被点亮时，所述光源在所述人眼处形成全投射图案，其中不同的所述子光源所投射的光对应于所述全投射图案中的不同的部分，所述根据所述瞳孔的位置控制点亮所述多个子光源中的至少部分，使得所述投射图案与所述瞳孔的位置匹配，包括：将所述人眼处的图像划分为若干图像区域，将与所述瞳孔的位置匹配的所述图像区域标记为匹配分析区域，将用于点亮位于所述匹配分析区域中的所述全投射图案的全部所述子光源标记为第一子光源，点亮全部所述第一子光源中的至少部分。3.根据权利要求2所述的眼动追踪系统，其特征在于，所述将与所述瞳孔的位置匹配的所述图像区域标记为匹配分析区域，包括：将与所述瞳孔有重叠的所述图像区域中的至少部分标记为所述匹配分析区域，并且/或者将与所述瞳孔的边界的距离小于预设距离的所述图像区域中的至少部分标记为匹配分析区域。4.根据权利要求3所述的眼动追踪系统，其特征在于，所述控制器配置为根据精度要求点亮全部所述第一子光源中的至少部分，其中精度要求高时被点亮的所述第一子光源的数量多于精度要求低时被点亮的所述第一子光源的数量。5.根据权利要求4所述的眼动追踪系统，其特征在于，所述眼动追踪系统配置为使得，精度要求高时所述匹配分析区域的数量多于精度要求低时所述匹配分析区域的数量，从而精度要求高时全部所述第一子光源的数量大于精度要求低时全部所述第一子光源的数量，使得精度要求高时被点亮的所述第一子光源的数量多于精度要求低时被点亮的所述第一子光源的数量。
6.根据权利要求5所述的眼动追踪系统，其特征在于，所述控制器配置为将与所述瞳孔的边界的距离小于预设距离的所述图像区域中的至少部分标记为匹配分析区域，并且精度要求高时所述预设距离的数值大于精度要求低时所述预设距离的数值，以使精度要求高时所述匹配分析区域的数量多于精度要求低时所述匹配分析区域的数量。7.根据权利要求3所述的眼动追踪系统，其特征在于，所述控制器配置为根据睑裂形状点亮全部所述第一子光源中的至少部分，包括：根据所述人眼的图像分析所述睑裂的位置；将所述匹配分析区域中位于所述睑裂内部的区域标记为睑内分析区域；将用于点亮位于所述睑内分析区域中的所述全投射图案的全部所述第一子光源标记为第二子光源，点亮全部所述第二子光源中的至少部...

【专利技术属性】
技术研发人员：杨超，张丽，韦美丽，王丰邦，苑京立，刘金胜，
申请(专利权)人：嘉兴驭光光电科技有限公司，
类型：发明
国别省市：