一种眼球追踪系统和眼球追踪方法技术方案

本申请公开一种眼球追踪系统及其眼球追踪方法，涉及视网膜投影技术领域，包括：照明光源，用于向光束扫描器发射照明光线；光束扫描器，用于将照明光线投射在入瞳光学装置上；入瞳光学装置，用于对照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；光电探测器，用于采集眼球反射光线的接收光功率值，并将接收光功率值发送给控制器；控制器，用于接收光电探测器发送的接收光功率值，根据接收光功率值，确定与接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。

An eyeball tracking system and eye tracking method

The utility model discloses an eye tracking system and eye tracking method, which relates to the technical field of retinal projection, including: lighting, lighting for emitting light to the optical beam scanner; beam scanner, for illumination light projected on the entrance pupil of the optical device; pupil optical device for reflection and refraction of light or repetition, so after being reflected by the light, after being refracted or reproduced by illumination of the eye; photoelectric detector for receiving light power collection eye reflecting light value, and will receive the value of optical power transmitted to the controller; the controller, for receiving optical power receiving photoelectric detector sends the value according to the received optical power value. To determine the value of optical power and receiving optical power to meet the set function. The relationship between the reference value, according to a pre stored eye gaze direction and more The one to one matching relation between the light power reference values and the eye direction that matches the light power reference value is determined as the eye direction of the eye.

【技术实现步骤摘要】
一种眼球追踪系统和眼球追踪方法
本申请涉及视网膜投影
，尤其涉及一种眼球追踪系统和眼球追踪方法。
技术介绍
视网膜投影指显示光线通过波长选择性反射直接入瞳，在视网膜上形成虚拟显示画面，视网膜投影与传统增强现实(AugmentedReality，AR)或虚拟现实(VirtualReality，VR)显示技术相比，具有不遮挡视野、光利用率高、光路简单等一系列优势，被业界公认为是当前AR或VR(以下简称“AR/VR”)产品体验革新的关键技术之一。根据图像源的不同，视网膜投影又分为面板类视网膜投影和扫描类视网膜投影两种。其中，扫描类视网膜投影中的核心技术是眼球追踪技术。目前业界常见的眼球追踪技术包括基于瞳孔中心(PupilCenter，PC)和眼角膜反射光斑中心(CornealReflection，CR)的眼球追踪技术，简称PCCR技术，还包括基于虹膜中心(IrisCenter，IC)和眼角膜反射光斑中心CR的眼球追踪技术，简称ICCR技术。PCCR技术和ICCR技术的体系主要由照明子系统、摄像头(Camera)子系统、算法组成。PCCR和ICCR都是基于Camera子系统和照明子系统，结合相应的算法计算出人眼注视方向，具有体积大、功耗高、价格贵的缺点，而且由于Camera采样频率较低，导致整个系统的工作频率也很低，不适合有低延时要求的系统。针对此问题有待解决。
技术实现思路
本申请提供一种眼球追踪系统和眼球追踪方法，用以解决现有基于PCCR和ICCR的眼球追踪方法存在的采样频率低和不满足低时延要求的技术问题。第一方面，本申请提供一种眼球追踪系统，包括：照明光源，入瞳光学装置，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；所述照明光源，用于向所述光束扫描器发射照明光线；所述光束扫描器，用于将所述照明光线投射在所述入瞳光学装置上；所述入瞳光学装置，用于对所述照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现或被折射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。上述眼球追踪系统中，由照明光源、光束扫描器和入瞳光学装置构成的照明体系对眼球进行照明时一部分照明光线会被所述眼球反射，这些被眼球反射的照明光线称为眼球反射光线，由于人的眼球在不同注视方向时眼球表面的外形不同，对照明光线的反射光线角度不同，因此，不同的眼球注视方向对应不同眼球反射光线。本申请通过光电探测器来采集眼球反射光线的接收光功率值，并基于采集的接收光功率值对应的眼球追踪算法确定眼球当前注视方向。其中，接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，通过离线训练可以得到多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，通过实时运行可以计算与采集的所述接收光功率值满足设定函数关系的光功率参照值，然后根据实时运行得到的光功率参照值和离线训练的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行部分得到的光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。本申请由光电探测器采集接收光功率，光电探测器是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于上述眼球追踪系统中由照明光源、光束扫描器和入瞳光学装置构成的照明体系，本申请利用光电探测器采集眼球反射光线的光功率来进行眼球追踪，相对于现有技术高采集频率有利于实现低延时。在一个可能的设计中，所述眼球追踪系统还包括显示光源，所述显示光源，用于向所述光束扫描器发射显示光线；所述光束扫描器，还用于将所述显示光线投射到所述入瞳光学装置上；所述入瞳光学装置，还用于将投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。在上述眼球追踪系统中，照明光源、光束扫描器和入瞳光学装置构成了眼球的照明体系，显示光源、光束扫描器和入瞳光学装置构成了眼球的视网膜投影系统，照明光线对眼球进行照明的照明光路是通过复用显示光线经光束扫描器和入瞳光学装置的投射后在眼球视网膜成像的光路得到的，上述眼球追踪系统在现有的视网膜投影系统的基础上通过增加照明光源和光电探测器即可得到眼球追踪系统，并且该眼球追踪系统除了可以实现眼球追踪功能以外，还具有视网膜投影成像功能。在一个可能的设计中，所述入瞳光学装置上设置有第一功能膜；其中，所述第一功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段；所述第一功能膜还用于对投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像，所述显示光线的波长位于第二波段，所述第一波段和所述第二波段之间没有交集。现有技术中的入瞳光学装置上的功能膜只能实现对投射在入瞳光学装置上的显示光线进行反射，被反射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。相对于现有的视网膜投影系统，本申请上述眼球追踪系统中的入瞳光学装置上设置的第一功能膜能针对显示光线和照明光线进行不同程度的反射、复现或折射。第一功能膜能够对投射在入瞳光学装置上的显示光线进行反射、复现或折射后，使被反射、被复现或被折射后的显示光线穿过眼球的瞳孔后在视网膜成像，还能够对投射在入瞳光学装置上的照明光线进行反射、复现或折射后，使被反射、被复现或被折射后的照明光线以预设角度覆盖眼球。在一个可能的设计中，所述第一功能膜包括层叠设置的第一曲面反射膜和第二曲面反射膜；所述第一曲面反射膜的曲率大于所述第二曲面反射膜的曲率，其中，所述第一曲面反射膜和所述第二曲面反射膜均能够对选择性波段的光线进行反射；所述第一曲面反射膜为单层膜结构，且所述第一曲面反射膜用于对所述照明光线进行反射；所述第二曲面反射膜用于对所述显示光线进行反射。需要说明的是，所谓的所述第一曲面反射膜和所述第二曲面反射膜均能够对选择性波段的光线进行反射，也就是说，所述第一曲面反射膜和所述第二曲面反射膜均能够对具有选择性波长的光线进行反射。也即，所述第一曲面反射膜和所述第二曲面反射膜并非对任意光线都能够进行反射，而是能对波长位于特定波段内的光线进行反射，而对波长位于特定波段之外的光线不能进行反射。在本实施例中，第一曲面反射膜能够对波长位于第一波段内的照明光线进行反射，第二曲面反射膜能够对波长处于第二波段内的显示光线进行反射。在一个可能的设计中，所述第一功能膜包括层叠的第一全息膜和第二全息膜，所述第一全息膜用于对接收的所述照明光线进行复现，从而产生对应于接收本文档来自技高网...

【技术保护点】
一种眼球追踪系统，其特征在于，包括：照明光源，入瞳光学装置，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；所述照明光源，用于向所述光束扫描器发射照明光线；所述光束扫描器，用于将所述照明光线投射在所述入瞳光学装置上；所述入瞳光学装置，用于对所述照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现或被折射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

【技术特征摘要】
1.一种眼球追踪系统，其特征在于，包括：照明光源，入瞳光学装置，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；所述照明光源，用于向所述光束扫描器发射照明光线；所述光束扫描器，用于将所述照明光线投射在所述入瞳光学装置上；所述入瞳光学装置，用于对所述照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现或被折射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。2.根据权利要求1所述的眼球追踪系统，其特征在于，还包括显示光源，所述显示光源，用于向所述光束扫描器发射显示光线；所述光束扫描器，还用于将所述显示光线投射到所述入瞳光学装置上；所述入瞳光学装置，还用于将投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。3.根据权利要求1或2所述的眼球追踪系统，其特征在于，所述入瞳光学装置上设置有第一功能膜；其中，所述第一功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段；所述第一功能膜还用于对投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像，所述显示光线的波长位于第二波段，所述第一波段和所述第二波段之间没有交集。4.根据权利要求3所述的眼球追踪系统，其特征在于，所述第一功能膜包括层叠设置的第一曲面反射膜和第二曲面反射膜，其中，所述第一曲面反射膜的曲率大于所述第二曲面反射膜的曲率；所述第一曲面反射膜为单层膜结构，且所述第一曲面反射膜用于对所述照明光线进行反射；所述第二曲面反射膜用于对所述显示光线进行反射。5.根据权利要求3所述的眼球追踪系统，其特征在于，所述第一功能膜包括层叠的第一全息膜和第二全息膜，所述第一全息膜用于对接收的所述照明光线进行复现，从而产生对应于接收的所述照明光线的被复现光；所述第二全息膜包括层叠的第一子全息膜、第二子全息膜和第三子全息膜，所述第二波段包括第一子波段、第二子波段和第三子波段，所述第一子全息膜用于对接收的位于所述第一子波段的所述显示光线进行复现，从而产生第一被复现光；所述第二子全息膜用于对接收的位于所述第二子波段的所述显示光线进行复现，从而产生第二被复现光；所述第三子全息膜用于对接收的位于所述第三子波段的所述显示光线进行复现，从而产生第三被复现光。6.根据权利要求3所述的眼球追踪系统，其特征在于，所述第一功能膜包括层叠的第一衍射光波导微纳结构和第二衍射光波导微纳结构，所述第一衍射光波导微纳结构用于对所述照明光线进行折射或反射；所述第二衍射光波导微纳结构包括层叠的第一子衍射光波导微纳结构、第二子衍射光波导微纳结构和第三子衍射光波导微纳结构，所述第二波段包括第一子波段、第二子波段和第三子波段，第一子衍射光波导微纳结构用于对接收的位于所述第一子波段的所述显示光线进行折射或反射，从而产生第一被折射光，第二子衍射光波导微纳结构用于对接收的位于所述第二子波段的所述显示光线进行折射或反射，从而产生第二被折射光，第三子衍射光波导微纳结构用于对接收的位于所述第三子波段的所述显示光线进行折射或反射，从而产生第三被折射光。7.根据权利要求5或6所述的眼球追踪系统，其特征在于，所述显示光线为红光、绿光和蓝光三种单色光的调制光，其中，所述红光的波长位于所述第一子波段，所述绿光的波长位于所述第二子波段，所述蓝光的波长位于所述第三子波段。8.根据权利要求3至7任一项所述的眼球追踪系统，其特征在于，所述照明光线为红外或近红外光，所述红外光或所述近红外光的波长位于所述第一波段内。9.根据权利要求2至8任一项所述的眼球追踪系统，其特征在于，所述显示光源与所述控制器电连接；所述控制器用于向所述显示光源发送第一指示信号，所述第一指示信号用于指示所述显示光源在第M个调制周期内调制出第M帧图像的K个像素点，所述M为大于或等于1的整数，所述K为大于或等于1的整数；所述显示光源用于接收所述第一指示信号，根据所述第一指示信号在所述第M个调制周期内调制出所述K个像素点，并将所述K个像素点对应的调制光输出，所述K个像素点中每一像素点对应的所述调制光为所述显示光线；其中，在所述M取不同的数值时，所述K个像素点中第P个像素点的调制时刻和所述第M个调制周期的起始调制时刻之间的时间间隔是固定不变的，所述P取大于或等于1且小于或等于K的整数。10.根据权利要求9所述的眼球追踪系统，其特征在于，所述光束扫描器与所述控制器电连接；所述控制器用于向所述光束扫描器发送第二指示信号，所述第二指示信号用于指示所述光束扫描器在所述第M个调制周期内扫描所述第M帧图像中的所述K个像素点对应的调制光；所述光束扫描器用于接收所述第二指示信号，根据所述第二指示信号在所述第M个调制周期内扫描所述K个像素点对应的调制光，并将扫描后的所述K个像素点对应的调制光投射在所述入瞳光学装置上。11.根据权利要求10所述的眼球追踪系统，其特征在于，所述照明光源与所述控制器电连接；所述控制器还用于向所述照明光源发送第三指示信号，所述第三指示信号用于指示所述照明光源发射所述照明光线，所述照明光源在每个调制周期内发射的所述照明光线包括W个照明时刻，其中，所述调制周期为所述显示光源的调制周期，在每一所述调制周期内，第Z个照明时刻与所述第Z个照明时刻所在调制周期的起始调制时刻之间的时间间隔均是相同的，所述Z取大于或等于1且小于或等于W的整数，所述W为大于或等于K的正整数；所述照明光源用于接收所述第三指示信号，并根据所述第三指示信号向所述光束扫描器发射所述照明光线；所述光束扫描器还用于根据所述第二指示信号，在扫描所述K个像素点时同步扫描所述照明光线，并扫描后的所述照明光线投射在所述入瞳光学装置上。12.根据权利要求11所述的眼球追踪系统，其特征在于，所述控制器还用于向所述光电探测器发送第四指示信号，所述第四指示信号用于指示所述光电探测器在第H个探测周期采集J个所述接收光功率值；所述H为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器用于接收所述第四指示信号，并根据所述第四指示信号在所述第H个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H取不同的数值时，所述J个所述接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。13.根据权利要求12所述的眼球追踪系统，其特征在于，所述探测周期的时长与所述调制周期的时长相等，每一所述探测周期对应一个所述调制周期，且每一所述探测周期的起始采集时刻和对应的所述调制周期的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第一时间间隔；所述显示光源在所述采集时刻调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第二时间间隔；所述第一时间间隔等于所述第二时间间隔。14.根据权利要求12所述的眼球追踪系统，其特征在于，所述探测周期的时长大于所述调制周期的时长，每一所述探测周期的时长等于多个连续的所述调制周期的时长之和，且每一所述探测周期的起始采集时刻和对应的所述多个连续的所述调制周期中发生时刻最早的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第三时间间隔；所述显示光源在所述采集时刻TL调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第四时间间隔；所述第三时间间隔等于所述第四时间间隔。15.根据权利要求12至14中任一项所述的眼球追踪系统，所述控制器用于：接收所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值；获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；根据所述发射光功率值和所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。16.根据权利要求12至14中任一项所述的眼球追踪系统，其特征在于，所述控制器用于：获取所述光电探测器发送的在所述第H个探测周期内采集的所述J个所述接收光功率值；根据所述J个所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及；确定探测周期所述第H个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。17.根据权利要求1所述的眼球追踪系统，其特征在于，所述入瞳光学装置上设置有第二功能膜；其中，所述第二功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段。18.根据权利要求17所述的眼球追踪系...

【专利技术属性】
技术研发人员：谢振霖，曹勇，帕特里夏·利克莱特，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44