用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法技术

本发明专利技术提供一种用于配备有触摸屏显示器和数码相机的计算装置的用户接口，其放大所显示图像的在用户注视内的一部分。用户可通过用一根或一根以上手指触摸所述触摸屏的一部分且用其双眼跟随所述显示器上的移动图像来校准其移动装置。所述移动装置可跟踪用户正观看的位置，且如果所述用户正观看所述移动装置显示器，那么可放大所述显示器的在所述用户的注视附近的一部分。在一实施例中，如果所述用户正观看虚拟键盘，那么可以与所述用户的指尖大小相称的大小增大在所述用户的注视附近的按键图标。以此方式，用户可准确地选择配合在移动装置显示器内的虚拟键盘中的个别按键。

【技术实现步骤摘要】
【国外来华专利技术】用于使虚拟键盘尺寸与用户手指大小动态相关的设备和方法
本申请案大体上涉及计算装置用户接口，且更明确地说，涉及适合于配备有触摸屏的移动装置的用户接口。
技术介绍
配备有触摸屏显示器的移动计算装置已经实现新一代个人电子装置。触摸屏显示器提供图形显示器和柔性用户接口两者，且因此使得装置能够消除物理按键和按钮以有利于较大的显示器。此类移动装置通常包括图形用户接口系统，其使得用户能够通过触摸呈现在显示器上的图标来输入命令。常见形式的用户接口呈现具有多个小按键图标的虚拟键盘或小键盘，其以传统物理键盘或小键盘的方式来布置。尽管虚拟键盘用户接口是直观且有用的，但典型移动装置中的触摸屏显示器的有限大小要求虚拟键盘按键图标在大小上受到限制，从而使得用户难以在没有键入错误的情况下准确地触摸。
技术实现思路
各种实施例实现适合于在具有触摸屏显示器的计算装置上使用的用户接口，其可通过经由用数码相机跟踪用户注视而局部地增加显示图像的一部分的大小来补偿用户手指的大小。在一实施例中，移动装置包括触摸屏显示器和数码相机，所述数码相机经定位以使得其可在用户正查看触摸屏显示器时对用户面部成像。通过在数字图像中跟踪用户眼睛，移动装置可经配置以确定用户正观看的位置，且如果用户注视指向触摸屏显示器上的位置，那么可在大小上增大所显示图像的在用户正观看的位置附近的一部分。当所显示图像包括虚拟键盘或小键盘时，可与用户指尖的尺寸相称地在大小上增大在用户注视附近的按键图标。在一实施例中，可在训练例程中将移动装置校准到用户的手指大小和眼睛。尽管所述实施例可尤其对虚拟键盘用户接口显示有用，但眼睛跟踪局部化放大功能性还可对其它应用程序以及其它形式的计算装置(包括具有大触摸屏显示器的计算装置)有用。附图说明并入本文中并构成本说明书的一部分的附图说明本专利技术的示范性实施例，且连同上文给出的概括描述和下文给出的详细描述一起用以解释本专利技术的特征。图1为移动装置的正视图，其展示触摸屏显示器上的用于消息接发应用程序的常规用户接口。图2为移动装置的正视图，其展示用于消息接发应用程序的实施例用户接口。图3和4为移动装置的正视图，其说明实施例用户接口的操作。图5和6为移动装置的正视图，其说明实施例用户接口的校准操作。图7为用于实施实施例用户接口的实例方法的过程流程图。图8为用于校准实施例用户接口的实施例方法的过程流程图。图9为用于实施另一实施例用户接口的实施例方法的过程流程图。图10为适合于在实施例中使用的移动装置的组件框图。具体实施方式将参看附图来详细地描述各种实施例。只要可能，将在整个图式中使用相同的参考标号来指代相同或相似的部分。对特定实例和实施方案做出的参考是出于说明性目的，且不希望限制本专利技术或权利要求书的范围。本文中可互换地使用术语“计算装置”和“移动装置”来指代蜂窝式电话、个人数据助理(PDA)、掌上型计算机、无线电子邮件接收器(例如，和装置)、具有多媒体因特网功能的蜂窝式电话(例如，Blackberry)、全球定位系统(GPS)接收器、无线游戏控制器、个人计算机以及包括可编程处理器、触摸屏用户接口/显示器和定位于装置上以使得其可在用户可以看到显示器时对用户眼睛进行成像的数码相机的类似个人电子装置中的任何一者或全部。尽管各种实施例尤其在具有小显示器的移动装置(例如，蜂窝式电话)中有用，但所述实施例还可在采用触摸屏显示器的任何计算装置中有用。因此，在后面的实施例描述中对“移动装置”的参考仅是出于说明目的，且不希望排除以触摸屏显示器为特征的其它形式的计算装置或限制权利要求书的范围。配备有触摸屏用户接口/显示器的计算装置在用户输入和材料的图形表示方面提供很大灵活性。然而，此类用户接口并不是没有限制的。举例来说，当常规键盘按照虚拟键盘或小键盘来在典型的移动装置触摸屏显示器上表示时，必须以充分小而足以配合在显示器的宽度和高度内的大小来显示按键图标。此类小按键图标可能非常难以用手指来准确地按压，因为手指所触摸的表面面积将通常涵盖一个以上按键图标。这在图1中说明，图1展示具有上面显示虚拟键盘4的触摸屏2的移动装置1。在如图1中所说明的典型虚拟键盘布局中，试图按压单个按键(例如，“H”按键)的用户手指5还将触摸到周围的按键图标，例如如所说明的用于“G”、“H”、“V”和“B”的按键。因而，此类虚拟键盘和小键盘上的键入错误是常见的，且可能使用户感到沮丧。各种实施例通过响应于用户注视而提供所显示图像或图标的选择性增强来提供对小移动装置显示器所具有的此问题的解决方案。在一实施例中，用户可将其计算装置校准到其自身的手指大小且训练所述装置基于对其眼睛拍摄的图像来辨识用户注视的位置。通过确定用户正在触摸屏上观看的位置且基于手指大小校准因数来将虚拟键盘的在用户正观看的位置附近的部分增强一定量，移动装置可提供配合在触摸屏显示器的不动产内但提供对于用户手指来说足够大的按键图标的用户接口键盘或小键盘。在另一实施例中，可将增强显示器的在用户注视内的部分的方法应用于其它应用，例如所显示的地图、照片、文字和其它视觉材料。而且，各种实施例可在包括触摸屏显示器的任何计算装置上实施，甚至是具有大触摸屏显示器的计算装置，因为局部化图像增强功能性可使得用户能够准确按压显示器上的特定位置而不必放大整个图像。图2说明在具有触摸屏2的移动装置1上进行操作的实施例。在此实施例中，通过数码相机3对用户眼睛进行成像，数码相机3定位于移动装置1上，使得其可在用户正与触摸屏2交互时对用户面部进行成像。基于用户正观看的位置，移动装置1增大虚拟小键盘虚拟键盘4中的按键图标的大小，使得其与用户手指5相容。如所说明，向试图按压用于字母“H”的虚拟按键的用户呈现与用户指尖一样大的图标。以此方式，按压错误按键或用涵盖多个按键图标的触摸事件将触摸屏接口搞乱的机会得以降低。此实施例在图3和4中进一步说明，图3和4展示数码相机3如何对用户眼睛5进行成像以确定触摸屏显示器2上的用户注视6的位置。这可通过使用图像辨识软件定位用户眼睛，且更明确地说，定位用户瞳孔的位置来完成。可通过对用户眼睛的图像应用图像分析规则(其可考虑到用户面部相对于装置触摸屏显示器的定向和位置以及用户瞳孔在所述图像内的位置)且应用三角计算估计用户正观看的位置来完成确定用户注视的位置。随着移动装置根据数码相机3所获得的图像确定用户注视6的位置，在大小上增强虚拟小键盘4的靠近用户注视6的中心的按键图标。因此，随着用户注视6从虚拟键盘4的左手侧(如图3中所示)移位到右手侧(如图4中所示)，基于用户手指的校准因数而使虚拟小键盘4的在用户注视6的中心内的那些图标更大。图3和4说明所述实施例如何使得虚拟键盘4能够配合在移动装置触摸屏2的有限空间内，同时还提供足够大以适应用户手指的按键图标。尽管图2到4展示响应于用户注视而增强的虚拟键盘4，但所述实施例还可应用于任何虚拟小键盘，例如电话小键盘、计算器小键盘或游戏专用小键盘。因此，提供虚拟键盘4的图像仅仅作为实例而不作为对所述实施例的范围的限制。为了将移动装置1校准到用户手指大小，移动装置可要求用户在使用之前将其装置初始化或校准到其手指。图5展示可能在校准过程中在触摸屏2上呈现的实例用户接口显示。在此校准过程中，可提示用户用在文本编辑期间通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.16 US 12/761,4791.一种用于在配备有触摸屏显示器和数码相机的计算装置上提供用户接口的方法，所述数码相机经配置以能够在用户正查看所述触摸屏显示器时对所述用户的脸部成像，所述方法包含：将移动图标在所述触摸屏显示器上显示预定眼睛跟踪训练周期；在所述预定眼睛跟踪训练周期期间以及当所述用户的脸部距所述数码相机第一距离时，用所述数码相机获得所述用户的眼睛的第一多个图像；当所述用户的脸部距所述数码相机第二距离时，用所述数码相机获得所述用户的所述眼睛的第二多个图像；在所述预定眼睛跟踪训练周期期间，比较所获得的所述第一多个图像与所述移动图标的已知位置，以确定图像分析规则；比较所获得的所述第二多个图像与所述移动图标的已知位置，以调整所述图像分析规则；在所述预定眼睛跟踪训练周期后将经调整的所述图像分析规则存储在存储器中；在所述预定眼睛跟踪训练周期之后，用所述数码相机获得所述计算装置的所述用户的所述眼睛的数字图像；基于所述所获得的数字图像及经调整的所述图像分析规则来确定所述用户的注视的位置；确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分；以及当确定所述用户的注视指向所述触摸屏显示器的包含图像元素的一部分时，基于与所述用户的手指的大小有关的校准因数，放大所述触摸屏显示器上的所述图像元素。2.根据权利要求1所述的方法，其进一步包含当用户接口图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。3.根据权利要求2所述的方法，其进一步包含调整所显示的图标到所述触摸屏的坐标的映射以匹配于所述经放大的图标。4.根据权利要求1所述的方法，其中：确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所述触摸屏显示器上的虚拟键盘图像；且基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含：基于所述用户手指大小校准因数来放大所述虚拟键盘图像内的位于所述用户正观看的位置附近的按键图标；以及调整所显示的按键图标到所述触摸屏的坐标的映射以匹配于所述经放大的按键图标。5.根据权利要求1所述的方法，其进一步包含：测量所述触摸屏显示器上的触摸区域的尺寸；基于所述触摸区域的所述所测量的尺寸来计算所述手指大小校准因数；以及将所述所计算的手指大小校准因数存储在存储器中。6.根据权利要求1所述的方法，其中：确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分包含确定所述用户的注视是否指向所显示的超链接的附近；且基于与所述用户的手指的大小有关的校准因数来放大所述触摸屏显示器上的所述图像元素包含：基于所述用户手指大小校准因数来放大位于所述用户正观看的位置附近的所显示的所述超链接；以及调整所述所显示的超链接到所述触摸屏的坐标的映射以匹配于所述经放大的所显示的超链接。7.根据权利要求1所述的方法，其中所述计算装置为移动装置。8.根据权利要求1所述的方法，其中所述计算装置为个人计算机。9.一种计算装置，其包含：处理器；存储器，其耦合到所述处理器；数码相机，其耦合到所述处理器且经配置以能够对所述计算装置的用户的眼睛成像；以及触摸屏显示器，其耦合到所述处理器，其中所述处理器配置有用以执行包含以下各项的操作的处理器可执行指令：将移动图标在所述触摸屏显示器上显示预定眼睛跟踪训练周期；在所述预定眼睛跟踪训练周期期间以及当所述用户的脸部距所述数码相机第一距离时，用所述数码相机获得所述用户的眼睛的第一多个图像；当所述用户的脸部距所述数码相机第二距离时，用所述数码相机获得所述用户的所述眼睛的第二多个图像；在所述预定眼睛跟踪训练周期期间，比较所获得的所述第一多个图像与所述移动图标的已知位置，以确定图像分析规则；比较所获得的所述第二多个图像与所述移动图标的已知位置，以调整所述图像分析规则；在所述预定眼睛跟踪训练周期后，将经调整的所述图像分析规则存储在存储器中；在所述预定眼睛跟踪训练周期之后，用所述数码相机获得所述计算装置的所述用户的所述眼睛的数字图像；基于所述所获得的数字图像及经调整的所述图像分析规则来确定所述用户的注视的位置；确定所述用户的注视是否指向所述触摸屏显示器的包含图像元素的一部分；以及当确定所述用户的注视指向所述触摸屏显示器的包含图像元素的一部分时，基于与所述用户的手指的大小有关的校准因数，放大所述触摸屏显示器上的所述图像元素。10.根据权利要求9所述的计算装置，其中所述处理器配置有用以执行进一步包含以下各项的操作的处理器可执行指令：当用户接口图标在所述触摸屏显示器上的所述用户的注视的所述所确定的位置附近时放大所述图标。11.根据权利要求10所述的计算装置，其中所述处理器配置有用以执行进一步包含以下各项的操作的处理器可执行指令...

【专利技术属性】
技术研发人员：杰迪恩·N·伊，乔尔·贝尔纳尔特，珍妮特·L·多布森，吉达尔·D·曼蒂阿姆，约瑟夫·黄，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：