基于用户的眼睛运动和位置的光学感测和跟踪的用户界面制造技术

公开了用于眼睛运动的光学感测和跟踪的方法、系统和装置。在一方面，用于跟踪眼睛运动的方法包括：使用与装置的光电检测器模块基本上等间隔地隔开的多个光源朝着用户的眼睛发射光；在光电检测器模块处接收由多个光源中的每个发射的、从眼睛回射的光的至少部分回射；以及基于与多个光源对应的至少部分回射的差分值，确定眼睛的位置参数。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本专利文件要求于2013年9月11日提交的且题目为“USER INTERFACE BASED ON OPTICAL SENSING AND TRACKING OF USER'S EYE MOVEMENT AND POSITION(基于用户的眼睛运动和位置的光学感测和跟踪的用户界面)”的第61/876,726号美国临时申请的优先权权益，该申请的公开通过引用被包含，作为本文件的说明书的一部分。
本专利文件总体上涉及眼睛跟踪和眼睛反应感测技术。
技术介绍
电子设备依赖于各种用户运动作为输入，以执行不同的功能以及在各种模式或状态下操作。例如，诸如手的运动的用户手势可被检测和转换成对菜单项或游戏功能的用户控制。与手势类似，眼睛运动可被检测以执行滚动操作、保持屏幕打开或者操作抬头显示器。眼睛跟踪是测量人的注视点(即人的眼睛在观看的位置)，或者跟随注视点的运动的技术。眼睛跟踪装置和系统可检测和测量眼睛位置和眼睛运动。眼睛跟踪技术已经在临床上使用以帮助残疾人、用于对视觉系统进行研究、用于医学和认知研究、以及用于心理学、用于认知语言学和用于产品设计。
技术实现思路
描述了以下技术、系统和装置，该技术、系统和装置用于来自眼睛的、包括回射光的反射光的光学感测，以及使用与装置交互的用户界面对眼睛运动的跟踪。在一些实现中，例如，光学感测和跟踪功能集成在装置中。在本专利文件中描述的主题可以以提供以下特征中的一个或多个的特定方式实现。例如，公开的眼睛跟踪技术可与移动装置(例如，智能手机和平板电脑)和计算装置(例如，诸如计算机监控器)集成，以跟踪操作者的眼睛位置、运动和眨眼状态。公开的技术可使用来自基于凝视和眼跳运动的眼睛的光的回射，以用于光学感测和眼睛跟踪。在一方面，公开了用于跟踪眼睛运动的技术。公开的技术可通过使用与装置的光电检测器模块基本上等间隔地隔开的多个光源朝着用户的眼睛发射光来执行。光源由偏振器偏振。可在光电检测器模块处接收从眼睛回射的光的至少部分回射。技术可用于过滤接收的回射光，以排除背景光和共偏振光。技术可用于基于与多个光源对应的至少部分回射的差分值，确定眼睛的位置参数。在一些实现中，技术可用于使用带通滤波器过滤接收的回射光以排除背景光以及使用偏振器过滤共偏振光。在一些实现中，多个光源可发射不同颜色的光。在一些实现中，光的颜色可以是红色、绿色、蓝色或黄色。在一些实现中，多个光源可发射不同波长的光。在一些实现中，多个光源可发射不同调制频率的光。在一些实现中，多个光源和光电检测器可布置在装置的边缘上。在一些实现中，发射的光可包括红外光。在一些实现中，发射的光可包括处于与光电检测器模块的帧速率相关的频率的闪光，以进一步排除背景光。在一些实现中，技术可使用在光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。在一些实现中，技术可用于处理检测的眨眼运动，作为待由装置接收的数据。在一些实现中，技术可通过使用检测的眨眼运动数据作为用于装置的至少一个功能的输入数据来执行。在一些实现中，装置可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。在一些实现中，光电检测器模块可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。在一些实现中，眼睛的位置参数可包括眼睛在观看的方向或者眼睛在空间中的位置。在一些实现中，可通过多个光源同时发射光。在一些实现中，技术可包括使用多个光源同时发射光以及在光电检测器模块处接收回射。在一些实现中，技术可包括使用多个光源顺序地发射光以及在光电检测器模块处接收回射。例如，技术可包括顺序地执行以下操作：从多个光源中的第一光源发射第一光；使用光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一图像；从多个光源中的第二光源发射第二光；使用光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二图像；从多个光源中的第三光源发射第三光；以及使用光电检测器模块捕捉第三视频帧中由眼睛回射的、第三发射光的回射的第三图像。在一些实现中，技术可包括使第一视频帧、第二视频帧以及第三视频帧编组为数据集。在另一方面，公开了具有眼睛跟踪特征的装置。眼睛跟踪装置包括用户操作的装置，用户操作的装置包括装置外体以及位于装置外体上且可操作以发射光的多个光源。装置可包括在外体上与多个光源基本上等间隔地隔开的光电检测器模块。光电检测器模块可接收包括基于从多个光源发射的光从用户操作的装置的用户的眼睛回射的光的光，以形成图像。装置还包括与多个光源和光电检测器模块通信的处理器。处理器可处理来自光电检测器模块的信息，以获得明显位于与从多个光源发射的光对应的形成图像中的、眼睛的至少部分回射的差分值，以及基于获得的差分值确定眼睛的位置。在一些实现中，装置还可包括耦合至处理器以存储确定的眼睛位置的存储单元。在一些实现中，用户操作的装置可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。在一些实现中，光电检测器模块可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。在一些实现中，多个光源可发射不同颜色、不同波长或不同调制频率的彩色光。在一些实现中，彩色光包括红光、绿光、蓝光或黄光。在一些实现中，多个光源可发射红外光。在一些实现中，多个光源可发射处于与光电检测器模块的帧速率相关的频率的闪光。在一些实现中，多个光源可包括LED。在另一方面，公开了具有眼睛跟踪特征的便携式装置。便携式装置可包括显示屏和靠近显示屏的表面。便携式装置可包括位于表面上且可操作以发射光的多个光源。便携式装置可包括光电检测器模块，光电检测器模块位于表面上以与多个光源基本上等间隔地隔开，且可操作以接收包括基于从多个光源发射的光从用户操作的装置的用户的眼睛回射的光的光并形成图像。便携式装置可包括与多个光源和光电检测器模块通信的处理器。处理器可处理来自光电检测器模块的信息，以获得明显位于与从多个光源发射的光对应的形成图像中的、眼睛的至少部分回射的差分值，以及基于获得的差分值确定眼睛的位置或运动。在一些实现中，处理器可使用确定的眼睛位置或运动，以触发使得指示器显示在显示屏上的操作。在一些实现中，处理器可使用不同的确定的眼睛位置或运动，以分别触发不同的操作。在另一方面，公开了用于跟踪眼睛的运动的技术。该技术可通过使用设置在用户装置中的光源以朝着用户的眼睛发射以特定频率调制的光来执行。发射的光由偏振器偏振。技术可通过使用设置在用户装置中的光电检测器模块以检测来自用户的至少一只眼睛的回射光来执行。检测回射光可包括以下操作：接收从用户的左眼和右眼中的一只或两只回射的、发射的光的至少部分回射；过滤接收的回射光，以排除背景光；以及解调过滤的光，以使处于调制频率的回射光与未处于调制频率的光分离。技术包括基于解调的回射的差分值，确定眼睛的位置参数。在一些实现中，处于例如700-850nm波长的光源可引起来自眼睛的强的回射。在一些实现中，多个光源可用于发射处于不同波长或不同调制频率或不同相位的多个光束。在一些实现中，由光源发射的多个光束可包括以包括700-850nm的波长发射的光束，以具有来自眼睛的强的回射，以及以包括920-1020nm的波长发射的光束，以具有来自眼睛的弱的回射或本文档来自技高网...

【技术保护点】
一种具有眼睛跟踪特征的装置，包括：光源，设置在所述装置的外部结构上，所述光源可操作以发射光；光电检测器模块，位于所述外部结构上，与所述光源中的每一个基本上等间隔地隔开，所述光电检测器模块可操作以接收包括至少基于从所述光源发射的光从所述装置的用户的眼睛至少部分回射的光的光，以形成图像；以及处理器，与所述光源和所述光电检测器模块通信，所述处理器用于处理来自所述光电检测器模块的信息，以获得响应于从所述光源发射的光形成的图像中的、至少部分回射的光的差分值，以及基于获得的差分值确定眼睛的位置。

【技术特征摘要】
【国外来华专利技术】2013.09.11 US 61/876,7261.一种具有眼睛跟踪特征的装置，包括：光源，设置在所述装置的外部结构上，所述光源可操作以发射光；光电检测器模块，位于所述外部结构上，与所述光源中的每一个基本上等间隔地隔开，所述光电检测器模块可操作以接收包括至少基于从所述光源发射的光从所述装置的用户的眼睛至少部分回射的光的光，以形成图像；以及处理器，与所述光源和所述光电检测器模块通信，所述处理器用于处理来自所述光电检测器模块的信息，以获得响应于从所述光源发射的光形成的图像中的、至少部分回射的光的差分值，以及基于获得的差分值确定眼睛的位置。2.根据权利要求1所述的装置，还包括：存储单元，通信地耦合至所述处理器以存储确定的眼睛位置。3.根据权利要求1所述的装置，其中，所述装置包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机，并且其中，所述光电检测器模块包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。4.根据权利要求1所述的装置，其中，所述光源配置为发射不同颜色、不同波长或不同调制频率的彩色光。5.根据权利要求1所述的装置，其中，所述光源和所述光电检测器模块布置在所述装置的边缘上。6.根据权利要求1所述的装置，其中，所述光源发射红外光。7.根据权利要求1所述的装置，其中，所述光源配置为发射处于与所述光电检测器模块的帧速率相关的频率的闪光。8.根据权利要求1所述的装置，其中，所述光源包括LED。9.一种用于跟踪眼睛的运动的方法，包括：使用与装置的光电检测器模块基本上等间隔地隔开布置的光源朝着用户的眼睛发射光，其中所述光源由偏振器偏振；在所述光电检测器模块处接收从眼睛回射的、发射的光的至少部分回射；过滤接收的至少部分回射的光，以排除背景光和共偏振光；以及至少基于与所述光源对应的至少部分回射的差分值，确定眼睛的位置参数。10.根据权利要求9所述的方法，其中，所述过滤包括使用带通滤波器排除背景光以及使用所述偏振器排除共偏振光。11.根据权利要求9所述的方法，其中，所述光源发射不同颜色的光。12.根据权利要求11所述的方法，其中，所述光的颜色是红色、绿色、蓝色或黄色。13.根据权利要求9所述的方法，其中，所述光源发射不同波长的光。14.根据权利要求9所述的方法，其中，所述光源发射不同调制频率的光。15.根据权利要求9所述的方法，其中，发射的光包括红外光。16.根据权利要求9所述的方法，其中，发射的光包括处于与所述光电检测器模块的帧速率相关的频率的闪光，以进一步排除背景光。17.根据权利要求9所述的方法，还包括：使用在所述光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。18.根据权利要求17所述的方法，还包括：使用检测的眨眼运动作为用于所述装置的至少一个功能的输入数据。19.根据权利要求9所述的方法，其中，所述确定包括确定眼睛的位置参数，所述眼睛的位置参数包括眼睛在观看的方向或者眼睛在空间中的位置。20.根据权利要求9所述的方法，其中，使用所述光源包括基本上同时使用所述光源发射光。21.根据权利要求9所述的方法，其中，基本上同时执行使用所述光源发射光以及在所述光电检测器模块处接收至少部分回射。22.根据权利要求9所述的方法，其中，基本上顺序地执行使用所述光源发射光以及在所述光电检测器模块处接收回射，其包括：从所述光源中的第一光源发射第一光；使用所述光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一图像；从所述光源中的第二光源发射第二光；使用所述光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二图像；从所述光源中的第三光源发射第三光；以及使用所述光电检测器模块捕捉第三视频帧中由眼睛回射的、第三发射光的回射的第三图像。23.根据权利要求22所述的方法，还包括：基于所述第一视频帧、所述第二视频帧以及所述第三视频帧生成数据集。24.一种具有眼睛跟踪特征的便携式装置，包括：显示屏；表面，靠近所述显示屏；光源，设置在所述表面上，所述光源可操作以发射光；光电检测器模块，位于所述表面上，与所述光源中的每一个基本上等间隔地隔开，所述光电检测器模块可操作以接收包括至少基于从所述光源发射的光从所述装置的用户的眼睛至少部分回射的光的光并形成图像；以及处理器，与所述光源和所述光电检测器模块通信，所述处理器用于处理来自所述光电检测器模块的信息，以获得响应于从所述光源发射的光形成的图像中的、至少部分回射的光的差分值，以及基于获得的差分值确定眼睛的位置或运动。25.根据权利要求24所述的装置，其中，所述处理器配置为使用确定的眼睛位置或运动，以触发使得指示器显示在所述显示屏上的操作。26.根据权利要求25所述的装置，其中，所述处理器还配置为使用不同的确定的眼睛位置或运动，以分别触发不同的操作。27.一种用于跟踪眼睛的运动的方法，包括：使用配置在用户装置中的光源，朝着用户的眼睛发射以特定频率调制的光，其中发射的光由偏振器偏振；使用配置在所述用户装置中的光电检测器模块，检测来自用户的至少一只眼睛的回射光，其中所述检测包括：接收从用户的左眼和右眼中的一只或两只回射的、发射的光的至少部分回射；过滤接收的回射光，以排除背景光；以及解调过滤的光，以使处于调制频率的回射光与未处于调制频率的光分离；...

【专利技术属性】
技术研发人员：何毅，皮波，
申请(专利权)人：深圳市汇顶科技股份有限公司，
类型：发明
国别省市：广东;44