组合式眼睛和手势跟踪制造技术

公开了一种用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法包括：向用户提供图形用户界面(102)(300)，包括被显示在所述图形用户界面(102)上的多个图形项目(110)；在所述图形用户界面(102)上显示图形指针(120)(310)；检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及基于所述位移用户手势(230)和所述用户眼睛注视(210)来控制所述图形指针(120)在所述图形用户界面上的移动速率(340)。

Combined Eye and Gesture Tracking

A method for controlling a combined eye and gesture tracking system (100) is disclosed, which includes providing a graphical user interface (102) (300), including multiple graphical items (110) displayed on the graphical user interface (102), displaying a graphical pointer (120) (310) on the graphical user interface (102), and detecting the user's eyes associated with the user's eyes. Eye gaze (210) (320); displacement user gesture (230) (330) associated with the user's body position is detected; and the movement rate (340) of the graphical pointer (120) on the graphical user interface is controlled based on the displacement user gesture (230) and the user's eye gaze (210).

【技术实现步骤摘要】
【国外来华专利技术】组合式眼睛和手势跟踪
各种实施方案涉及一种用于控制组合式眼睛和手势跟踪系统的方法，并且具体地涉及一种用于控制汽车环境中的图形用户界面的组合式眼睛和手势跟踪系统的方法。
技术介绍
诸如导航系统、通信装置和媒体播放器等电子装置的使用在汽车环境中变得越来越流行。这种装置为用户提供了对信息内容(诸如导航指令)、媒体内容(诸如音乐、新闻、通信服务)和用于控制车辆操作的装置的便利访问。已知人机界面(HMI)包括显示多个菜单项的图形用户界面。菜单项可以与图形用户界面的图形菜单的条目相关，用户可以通过使用例如图形指针来选择或激活所述条目。在进行所述选择时，可以访问或调用某些功能，例如子菜单和/或功能或应用程序和/或设置的改变等。例如，菜单项可以与以下一个或多个相关：应用程序、音频和/或视频轨道、系统设置、图片、已下载项目。通常，在显示器上显示多个这样的菜单项。用户可以通过控制图形用户界面上的图形指针根据他的选择决定来选择和激活多个菜单项中的一个特定菜单项。为此，在一个给定时间点，多个菜单项可以至少部分地或完全地显示在显示器上，并且用户可以通过使用例如机械按钮、触摸控制器、触摸显示器、独立眼睛跟踪或独立手势跟踪系统将图形指针移动到其中一个菜单项来从多个菜单项中选择其中一个菜单项。在如上所述的情况下，具体地，独立眼睛跟踪技术和独立手势跟踪技术向用户提供了与图形用户界面方便地交互的可能性。然而，这种技术面临某些限制：眼睛或手势跟踪系统提供的控制选项可能不令人满意。此外，眼睛或手势跟踪系统的速度和精度可能受到限制。
技术实现思路
因此，需要提供一种用于图形用户界面的组合式眼睛和手势跟踪的方法和系统，所述方法和系统向用户提供改进的控制。根据实施方案，提供了一种用于控制组合式眼睛和手势跟踪系统的方法，其中所述方法包括以下步骤：向用户提供图形用户界面，包括被显示在所述图形用户界面上的多个图形项目；在所述图形用户界面上显示图形指针；检测与所述用户的眼睛相关联的用户眼睛注视；检测与所述用户的身体部位相关联的位移用户手势；以及基于所述位移用户手势和所述用户眼睛注视来控制所述图形指针在所述图形用户界面上的移动速率。因此，提供了一种用于控制组合式眼睛和手势跟踪系统的方法，所述方法在用户的控制中可以具有提高的精度和提高的速度。例如，如果与常规的眼睛或手势跟踪系统相比，组合式眼睛和手势跟踪系统的响应速度可以提高。因此，可以向用户提供对图形用户界面元素的更快和更精确访问，这在汽车环境中通常提高了车辆操作的安全性。此外，与常规的眼睛或手势跟踪系统相比，车辆的设计和生产可以更容易地实现，并且成本更低，在车辆内放置屏幕的自由度更大。通过基于位移用户手势和用户眼睛注视来控制图形指针在图形用户界面上的移动速率，可以通过连续跟踪位移用户手势方向并相应地调整图形指针的位移方向来校正眼睛跟踪的可能的未对准校准误差，而无需用户注意。具体地，在眼睛跟踪系统的未对准校准误差的这种情况下，用户可以查看特定图形项目，但是由于未对准校准误差，眼睛跟踪系统可能识别成他的眼睛注视与特定图形项目不相关，但是与除特定图形项目之外的位置相关，则用户必须在另一方向上查看除特定图形项目之外的位置以便校正未对准校准误差。通过连续跟踪位移用户手势方向并相应地调整图形指针的位移方向而无需用户注意，用户不必查看图形项目以选择图形项目。此外，通过位移用户手势而不是通过用户眼睛注视，在屏幕上的平移移动中移动图形指针可以更直观。此外，所述方法可以包括检测所述位移用户手势对应于与所述用户的身体部位相关联的多个预定位移用户手势中的一者，其中所述用户的所述身体部位相对于所述图形用户界面在位移方向上移动，并且控制图形指针的移动速率可以包括在考虑到用户眼睛注视的情况下，以可变的移动速率将图形指针移动到与多个图形项目中的一个相关联的位置。如果用户做出任意移动用户手势，则位移用户手势对应于多个预定位移用户手势中的一者可以提供图形指针不会意外地移位的效果。这可以提高组合式眼睛和手势跟踪系统的精度和安全性。这种控制图形指针的移动速率可以附加地提高组合式眼睛和手势跟踪系统的速度、精度和访问速率。此外，可以基于位移用户手势与用户眼睛注视的相关性来选择性地移动图形指针，由此进一步提高组合式眼睛和手势跟踪系统的精度和速度。此外，检测用户眼睛注视可以包括确定所述用户正查看所述图形用户界面以及确定所述图形用户界面上的眼睛聚焦位置，其中仅当所述位移方向指向所述眼睛聚焦位置所在的方向时才移动所述图形指针。仅当位移方向指向眼睛聚焦位置所在的方向时，图形指针才被移动，这进一步提高了组合式眼睛和手势跟踪系统的精度、速度和安全性。此外，控制所述图形指针的移动速率可以包括将所述位移方向与所述眼睛聚焦位置进行比较，并且仅当所述位移方向与所述眼睛聚焦位置相关时才以更高速度移动所述图形指针。仅当位移方向与眼睛聚焦位置相关时才以更高速度移动图形指针，从而进一步提高了组合式眼睛和手势跟踪系统的精度、速度和安全性。此外，每个图形项目可以包括围绕所述图形项目的预定咬合区域，其中所述身体部位的移动速率导致当所述图形指针在所述预定咬合区域内并且所述位移方向基本上不指向所述图形项目时所述图形指针的移动速率小于当所述图形指针在所述预定咬合区域内并且所述位移方向基本上指向所述图形项目时或者当所述图形指针不在所述预定咬合区域内时所述图形指针的移动速率。咬合区域提供了对组合式眼睛和手势跟踪系统的进一步提高的精度和速度以及更直观可用性，其中图形指针倾向于保持在菜单项上方的位置，一旦图形指针到达图形目标项目就会更容易停止。此外，用于控制组合式眼睛和手势跟踪系统的方法可以包括检测发起用户手势；确定所述发起用户手势是否基本上等于预定发起用户手势，其中仅当所述发起用户手势基本上等于所述预定发起用户手势时才执行显示图形指针和控制所述图形指针的移动速率的步骤。仅当所述发起用户手势基本上等于所述预定发起用户手势时才执行显示图形指针和控制所述图形指针的移动速率的步骤提供了防止用户意外激活功能或隐式地移动图形指针的效果。因此，通过提供对图形元素的更快和更精确的访问，手势处理逻辑得以改进。因此，用户可以在没有人机界面(HMI)的可见动作的情况下查看所有项目，例如移动图形指针、突出显示某些图形项目、激活某些图形项目。具体地，如果向用户显示眼睛聚焦位置，则避免了被显示在图形用户界面上的眼睛聚焦位置的跳跃风险。此外，显示所述图形指针可以包括确定所述图形指针在所述图形用户界面上的发起位置，以及在所述发起位置处显示所述图形指针。通过在已确定发起位置处显示所述指针，组合式眼睛和手势跟踪系统的反应时间被减小，因为用户从所述发起位置比从所述图形用户界面上的任意位置更容易控制所述图形指针。此外，所述图形指针的所述发起位置可以是所述图形用户界面上的所述眼睛聚焦位置、或者所述图形用户界面上的所述用户已经在预定时间范围内查看了最长时间的位置、或者所述图形用户界面上的所述用户已经在预定时间范围内以最高计数的重新聚焦动作查看的位置、或者已经在预定时间范围内确定的已确定眼睛聚焦位置的中值。因此，选择所述图形指针的发起位置，所述发起位置对应于用户在显示所述图形指针时的动作和需要，因此减少了所述组合式眼睛和手势跟踪系本文档来自技高网...

【技术保护点】
1.一种用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法包括以下步骤：‑向用户提供图形用户界面(102)，所述图形用户界面包括被显示在所述图形用户界面(102,300)上的多个图形项目(110)；‑在所述图形用户界面(102，310)上显示图形指针(120)；‑检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；以及‑检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及‑基于所述位移用户手势(230)和所述用户眼睛注视(210,340)来控制所述图形指针(120)在所述图形用户界面上的移动速率。

【技术特征摘要】
【国外来华专利技术】2016.10.26 EP 16195740.21.一种用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法包括以下步骤：-向用户提供图形用户界面(102)，所述图形用户界面包括被显示在所述图形用户界面(102,300)上的多个图形项目(110)；-在所述图形用户界面(102，310)上显示图形指针(120)；-检测与所述用户的眼睛相关联的用户眼睛注视(210)(320)；以及-检测与所述用户的身体部位相关联的位移用户手势(230)(330)；以及-基于所述位移用户手势(230)和所述用户眼睛注视(210,340)来控制所述图形指针(120)在所述图形用户界面上的移动速率。2.如权利要求1所述的方法，其还包括：-检测所述位移用户手势(230)对应于与所述用户的身体部位相关联的多个预定位移用户手势中的一者，其中所述用户的身体部位相对于所述图形用户界面(102)在位移方向(231)上移动；以及-控制所述图形指针(120)的移动速率包括考虑到所述用户眼睛注视(210)将所述图形指针(120)以可变移动速率在所述位移方向(231)上移动到与所述多个图形项目(110)中的一个相关联的位置。3.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述位移手势是身体部位在自由空间中的运动，所述运动由非接触式光学装置检测。4.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中检测用户眼睛注视(320)包括：-确定所述用户正查看所述图形用户界面(102)；以及-确定所述图形用户界面(102)上的眼睛聚焦位置(130)。5.如权利要求4所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中仅当所述位移方向(231)指向所述眼睛聚焦位置(130)所在的方向时，所述图形指针(120)才移动。6.如权利要求4或5所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中控制所述图形指针(120)的移动速率包括：-将所述位移方向(231)与所述眼睛聚焦位置(130)进行比较；以及-仅当所述位移方向(231)与所述眼睛聚焦位置(130)相关时才以更高速度移动所述图形指针(120)。7.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中每个图形项目(110)包括围绕所述图形项目的预定咬合区域，其中所述身体部位的移动速率导致当所述图形指针(120)在所述预定咬合区域内并且所述位移方向(231)基本上不指向所述图形项目(110)时所述图形指针(120)的移动速率小于当所述图形指针在所述预定咬合区域内并且所述位移方向(231)基本上指向所述图形项目(110)时或者当所述图形指针(120)不在所述预定咬合区域内时所述图形指针(120)的移动速率。8.如前述任一项权利要求所述的用于控制组合式眼睛和手势跟踪系统(100)的方法，其中所述方法还包括：-检测发起用户手势(220)；-确定所述发起用户手势(220)是否基本上等于预定发起用户手势；其中仅当所述发起用户手势(220)基本上等于所述预定发起用户手势时，才执行显示图形指针和控制所述图形指针的移动速率的步骤。9.如前述任一项权利要...

【专利技术属性】
技术研发人员：A罗尔巴克尔，
申请(专利权)人：哈曼贝克自动系统股份有限公司，
类型：发明
国别省市：德国,DE