用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备技术

本发明专利技术涉及一种用于操作眼睛跟踪设备(10)的方法，眼睛跟踪设备(10)包括成像设备(20)、照射单元(30)和处理单元(40)作为组件，并且还包括用于调节组件(20；30；40)的至少两个调节参数(PA)。眼睛跟踪设备(10)包括用于控制调节参数(PA)的控制单元(42)。根据所述方法，采集眼睛的图像(60)，设置关于与眼睛跟踪有关的质量或组件(20；30；40)的功耗的条件(44)，提供将调节参数(PA)与质量和功耗关联的预定义关联关系(42a)，以及控制单元(42)根据预定义关联关系(42a)控制调节参数(PA)，使得条件(44)的设置所关于的元素满足条件(44)。

【技术实现步骤摘要】
【国外来华专利技术】用于操作眼睛跟踪设备的方法和用于提供主动功率管理的眼睛跟踪设备
本专利技术涉及用于操作具有预定采集区域的眼睛跟踪设备的方法，其中该眼睛跟踪设备包括至少一个成像设备、具有至少一个光源的至少一个照射单元、以及处理单元作为组件，所述至少一个成像设备能够采集用户的至少一只眼睛和眼睛跟踪设备的采集区域的图像，所述至少一个照射单元能够照射采集区域中用户的所述至少一只眼睛，所述处理单元能够处理由成像设备采集的图像。此外，眼睛跟踪设备包括至少两个调节参数，通过所述至少两个调节参数可调节至少一个组件，其中所述眼睛跟踪设备还包括至少一个控制单元，其能够通过设置所述至少两个调节参数控制所述至少一个组件。此外，采集用户的所述至少一只眼睛的至少一个图像。本专利技术还涉及眼睛跟踪设备。
技术介绍
本专利技术应用于眼睛跟踪设备的环境中，眼睛跟踪设备是用以检测并跟踪用户的眼睛的位置、朝向、或比如瞳孔放大、眼内距离等的其他性质的装置。随着眼睛跟踪设备变为越来越成熟的技术，并且伴随着越来越多的其中集成了眼睛跟踪功能的便携式设备(比如平板式设备、智能电话、头戴式显示器等)的日益提高的可用性，使得眼睛跟踪设备低功耗变得很重要。US7,980,698B2描述了一种调节功率的像差计，其包括用于照射眼睛的光源和用于将由眼睛所反射的光导引到传感器上的微透镜阵列。由此，传感器检测这种光点图像中的多个光点，其应该最佳地包括落入能够采集有关眼睛性质的可接受范围内的光水平。为了实现这一点，如果信号质量太差，则自动提高光源的光强。这里，仅解决了最佳可能图像质量的实现，但没有考虑功耗。JP2002282209描述了一种视线检测器，其具有用于照射用户的眼睛的照射单元、以及用于采集用户的眼睛的图像的采集单元。在获取用于执行视线检测的图像信息之前，获取眼睛的若干预备(preliminary)图像，然后计算视线检测器至眼睛的距离，并确定基于该距离的照射光量。由此，可以使得用于照射用户的眼睛的光强与用户的距离相适配以用于提高图像质量。这里，也没有考虑眼睛跟踪设备的功耗。US8,025,405B2描述了一种眼睛跟踪设备，用于自动登记并跟踪对象的至少一只眼睛的相应位置。为了为高能效的眼睛跟踪设备提供降低的照射单元的功耗，提出了估计眼睛的位置，并将照射单元所提供的照射导引朝向该估计的位置，使得仅需要照射预期眼睛所处的区域，并因此可以节省照射功率。该眼睛跟踪设备的缺点是，需要估计眼睛的位置，这是非常容易出错的。如果所估计的位置不符合实际眼睛位置，则无法获取有用的图像，这继而对跟踪质量有非常负面的影响。此外，因为由大的LED阵列或由可移动的反射镜(mirror)和光源来实施这种朝向所估计的眼睛位置的照射的导引，所以眼睛跟踪设备不是非常适于集成到移动设备中。US2013/0106681A1描述了一种用于眼睛跟踪系统中的功率管理的方法，该眼睛跟踪系统可被集成于个人计算机系统中而不会加重计算机系统的能量性能的负担。为此目的，眼睛跟踪系统的成像设备可以至少在活动(active)模式、就绪模式和空闲模式之间切换，其中在活动模式中，眼睛跟踪数据包括眼睛位置和眼睛朝向，而在就绪模式中，为了节电目的，眼睛跟踪数据仅包括眼睛位置、而不包括眼睛朝向。该方法的较大缺点在于，为了节电，必须减少由眼睛跟踪系统提供的功能的范围。
技术实现思路
本专利技术的目的在于提供一种用于操作眼睛跟踪设备的方法和眼睛跟踪设备，如在独立权利要求的前序部分中所指出的，通过独立权利要求，可以以更好的方式使得功耗和跟踪质量或功能范围的各方面一致。该目的通过具有独立权利要求的特征的用于操作眼睛跟踪设备的方法和眼睛跟踪设备来实现。根据本专利技术的第一方面，关于与眼睛跟踪有关的质量和组件中的至少一个的功耗的集合的元素设置至少一个第一条件，所述组件是成像设备、照明单元和处理单元。此外，提供将至少两个调节参数与质量和功耗关联的预定义关联关系，通过所述至少两个调节参数可调节组件中的至少一个，并且控制单元根据预定义关联关系控制所述至少两个调节参数，使得第一条件的设置所关于的元素满足第一条件。本专利技术具有可以考虑不同场合的要求的极大的优点。这通过设置关于质量或功耗的至少一个第一条件而成为可能。以此方式，可以依赖于场合设置优先级。例如，在一个场合下，可能限制功耗是重要的，而在另一场合下，可能实现高跟踪质量是重要的。由此，本专利技术通过提供将眼睛跟踪设备的操作适配于不同场合的要求的灵活性，协调质量与功耗之间的矛盾。此外，这通过提供将调节参数与质量和功耗关联的关联关系而成为可能。本专利技术基于如下发现：眼睛跟踪设备的调节对功耗有影响，同时对跟踪质量也有影响。由此，可以通过预定义关联关系考虑依赖于调节参数的在质量与功耗之间的相互作用，这因此使得可以在适配于不同场合的情况下找到质量与功耗之间的适当平衡。此外，因为提供了可用于调节组件中的至少一个的至少两个调节参数，所以提供了一定自由度，其允许在质量或功耗满足第一条件的同时优化这两个元素中的另一个。尤其，本专利技术基于如下发现：可以提供远远多于仅仅两个影响功耗和质量的调节参数(其在下面更详细说明)，使得该多个调节参数可用于同时实现功耗的降低以及质量的优化。在本专利技术的有利实施例中，如果关于与眼睛跟踪有关的质量设置第一条件，则第一条件包含质量必须超过的预定最小质量值。还可以存在例如可以由用户设置或可以依赖于特定应用的要求等而设置的多个预定最小质量值。有利地，如果关于质量设置第一条件，则可以确保实现特定最小质量、同时例如降低功耗。此外，如果关于与眼睛跟踪有关的质量设置第一条件，则第一条件还可包含预定最小质量值和预定最大质量值，使得质量必须在最小质量值和最大质量值之间。本专利技术的该实施例尤其有利，这是因为，一方面，确保实现特定最小质量，另一方面，通过设置最大质量值，也同时限制了功耗，因为凭经验法则，跟踪质量越高，功耗越高。在另一实施例中，如果关于功耗设置第一条件，则第一条件优选地包含功耗必须低于的预定最大功耗值。因此，有利地，可以限制功耗。这里，也可提供多个不同最大功耗值，于是可根据特定场合的要求而选择它们。例如，用户可输入对于功耗的限制值，或者，可根据眼睛跟踪设备或集成了眼睛跟踪设备的系统的功率可用性，设置眼睛跟踪设备的节电模式或该最大功耗值。根据本专利技术的另一实施例，如果关于功耗设置第一条件，则第一条件包含预定最大功耗值和预定最小功耗值，使得功耗位于最大功耗值与最小功耗值之间。如已经描述的，功耗与跟踪质量相联系，因此，通过提供最大功耗值以及最小功耗值，可以限制功耗，同时可以确保通过限制功耗没有不必要地影响质量。通过引入这些不同的灵活度水平以实现节电，使得可以在给定节电约束下实现最佳可能的质量，或在给定质量约束下实现最小节电。因为可以在输入中接收进一步的质量约束或功耗约束，所以可以以最高效的方式使眼睛跟踪设备的操作适配于不同场合。为了决定对集合的哪个元素设置条件，眼睛跟踪设备优选地接收指定元素、并且最终也指定条件自身的输入信号，然后，眼睛跟踪设备基于所接收的输入信号关于所述元素设置条件。此外，为了实现优化，作为本专利技术的优选实施例，如果每个调节参数的值的多个组合导致第一条件的设置所关于的元素满足第一条件，则控制单元根据预定义关联关系控制所述至本文档来自技高网...

【技术保护点】
用于操作具有预定采集区域的眼睛跟踪设备(10)的方法，其中眼睛跟踪设备(10)包括以下作为组件：‑至少一个成像设备(20)，能够采集眼睛跟踪设备(10)的采集区域中的用户的至少一只眼睛的图像(60)；‑具有至少一个光源的至少一个照射单元(30)，能够照射采集区域中的用户的所述至少一只眼睛；以及‑处理单元(40)，能够处理由成像设备(20)采集的图像(60)；其中眼睛跟踪设备(10)包括至少两个调节参数(PA)，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个，其中眼睛跟踪设备(10)还包括至少一个控制单元(42)，其能够通过设置所述至少两个调节参数(PA)控制组件(20；30；40)中的所述至少一个；所述方法包括以下步骤：a)采集用户的所述至少一只眼睛的至少一个图像(60)；并且所述方法包括以下特征步骤：b)关于与眼睛跟踪有关的质量和组件(20；30；40)中的所述至少一个的功耗的集合的元素，设置至少一个第一条件(44)；c)提供将所述至少两个调节参数(PA)与质量和功耗关联的第一预定义关联关系(42a)；以及d)控制单元(42)根据第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得第一条件(44)的设置所关于的元素满足第一条件(44)。...

【技术特征摘要】
【国外来华专利技术】2013.12.09 EP 13196282.11.用于操作具有预定采集区域的眼睛跟踪设备(10)的方法，其中眼睛跟踪设备(10)包括以下作为组件：-至少一个成像设备(20)，能够采集眼睛跟踪设备(10)的采集区域中的用户的至少一只眼睛的图像(60)；-具有至少一个光源的至少一个照射单元(30)，能够照射采集区域中的用户的所述至少一只眼睛；以及-处理单元(40)，能够处理由成像设备(20)采集的图像(60)；其中眼睛跟踪设备(10)包括至少两个调节参数(PA)，通过所述至少两个调节参数(PA)可调节组件(20；30；40)中的至少一个，其中眼睛跟踪设备(10)还包括至少一个控制单元(42)，其能够通过设置所述至少两个调节参数(PA)控制组件(20；30；40)中的所述至少一个；所述方法包括以下步骤：a)采集用户的所述至少一只眼睛的至少一个图像(60)；并且所述方法包括以下特征步骤：b)关于与眼睛跟踪有关的质量或组件(20；30；40)中的所述至少一个的功耗的集合的元素，设置至少一个第一条件(44)，其中，与眼睛跟踪有关的质量基于由眼睛跟踪设备(10)执行的应用，组件(20；30；40)中的所述至少一个的功耗基于眼睛跟踪设备(10)的能量可用性，其中如果关于与眼睛跟踪有关的质量设置第一条件(44)，则第一条件(44)包含质量必须超过的预定最小质量值，并且其中如果关于功耗设置第一条件(44)，则第一条件(44)包含功耗必须落入其下的预定最大功耗值，其中与眼睛跟踪有关的质量是质量必须升至其上的图像质量(62)或者估计的眼睛跟踪质量；以及c)控制单元(42)根据将所述至少两个调节参数(PA)与质量和功耗关联的第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得第一条件(44)的设置所关于的元素满足第一条件(44)，其中所述第一预定义关联关系(42a)描述依赖于所述至少两个调节参数(PA)的在质量与功耗之间的相互作用，并规定针对所设置的第一条件(44)对所述至少两个调节参数(PA)的控制。2.根据权利要求1的方法，其特征在于，所述预定义关联关系(42a)通过将所述至少两个调节参数(PA)的可设置值的多个组合分配至质量的质量值和功耗的功耗值而给出，和/或提供用于控制所述至少两个调节参数(PA)的调控策略。3.根据权利要求1或2所述的方法，其特征在于，如果在步骤b)中关于与眼睛跟踪有关的质量设置第一条件(44)，则第一条件(44)包含预定最小质量值和预定最大质量值，使得质量必须在最小质量值和最大质量值之间。4.根据权利要求1或2所述的方法，其特征在于，如果在步骤b)中关于功耗设置第一条件(44)，则第一条件(44)包含预定最大功耗值和预定最小功耗值，使得功耗位于最大功耗值与最小功耗值之间。5.根据权利要求1或2所述的方法，其特征在于，如果每个调节参数(PA)的值的多个组合导致第一条件(44)的设置所关于的元素满足第一条件(44)，则控制单元(42)根据第一预定义关联关系(42a)控制所述至少两个调节参数(PA)，使得设置所述多个组合的第一组合，以使得与所述多个组合的其他组合相比，所述集合中没有被设置第一条件(44)的元素的值被极限化。6.根据权利要求1或2所述的方法，其特征在于，所述至少两个调节参数(PA)是指：照射单元(30)的光强(30a)，尤其是照射单元(30)的至少一个光源照射眼睛所用的光强(30a)；和/或照射持续时间(30c)；和/或照射频率(30b)；和/或照射单元(30)的活动光源的数目(30d)；和/或用于从用于确定所述至少一只眼睛的至少一个性质的至少两个不同眼睛跟踪算法中选择眼睛跟踪算法(40a)的调节参数；和/或用于从用于采集图像的成像设备(20)的至少两个不同相机中选择至少一个相机(20c)的调节参数；和/或成像设备(20)的电增益(20b)；和/或更新频率；和/或成像设备(20)的光圈的光圈尺寸(20d)；和/或成像设备(20)的快门(20a)的调节；和/或成像设备(20)的采样率；和/或处理单元(40)的时钟频率(40b)；和/或处理单元(40)中处于活动状态的计算单元的数目(40c)。7.根据权利要求1或2所述的方法，其特征在于，确定表征环境光强(64a)、用户行为(64d)、眼睛颜色(64b)、肤色(64c)和传送至眼睛跟踪设备(10)的外部应用的要求中的至少一个的至少一个场合参数(PS)，其中至少通过所述至少一个场合参数(PS)预定义第一预定义关联关系(42a)。8.根据权利要求1或2所述的方法，其特征在于，通过由处理单元(40)分析由采集单元采集的所述至少一个图像(60)，从所述至少一个图像(60)得到与眼睛跟踪有关的质量。9.根据权利要求1或2所述的方法，其特征在于，图像质量(62)由从所述至少一个图像(60)中提取的至少一个质量特征确定，所述质量特征尤其是：所述至少一个图像中的对比度(62a)，尤其是用户的眼睛的所检测的眼睛部分之间的对比度；和/或图像(60)的信噪比(62d)；和/或所述至少一个图像(60)中所检测的反射的尺寸(62b)；和/或所述至少一个图像(60)中所检测的反射的饱和度(62c)；和/或所述至少一个图像(60)中所检测的反射的亮度(62e)。10.根据权利要求1或2所述的方法，其特征在于，所估计的眼睛跟踪质量通过以下步骤确定：d)处理图像(60)，从而从所述图像(60)中提取至少一个质量特征(62a；62b；62c；62d；62e)；e)提供将所述至少一个质量特征(62a；62b；62c；62d；62e)与图像质量(62)关联、并将图像质量(62)与估计的跟踪质量关联的第二预定义关联关系；以及f)通过根据所述第二预定义关联关系将所述至少一个提取的特征分配至图像质量(62)和所估计的跟踪质量来确定所估计的跟踪质量，其中所估计的跟踪质量是对于所确定的眼睛性质从实际的眼睛性质的偏离的度量。11.根据权利要求1或2所述的方法，...

【专利技术属性】
技术研发人员：C卡拉菲，M尼泽，F万纳，W尼斯迪克，
申请(专利权)人：传感运动器具创新传感技术有限公司，
类型：发明
国别省市：德国;DE