改进型用户接口制造技术

本发明专利技术涉及一种方法，其用于响应于登记和解释对象的预定动作或模 式，调用通信终端的操作。其进一步涉及在其中实现本发明专利技术的计算机可读 介质。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于将姿势(gesture)映射到通信终端的特定功能的 方法。具体地，本专利技术涉及一种响应于登记和解释对象的预定动作或模式 而调用通信终端的:^作的方法。此外，本专利技术还涉及被安排来实现所述方 法的计算枳4呈序。背景絲在与电子设备(例如计算机终端、照相机、移动电话和电视机)进行 交互时，人们已经习惯通过键盘、触敏显示器等来输入信息和操纵这些电 子设备。随着手持设备的逐渐普及以及这些设备的小型化，由于这些设备的输 入装置的尺寸的缩小而引起的使用性问题变得明显。因此，正在寻找一种 向电子设备(特别是手持电子设备)提供输入的可选方案。此外，另一目 标是找到在人类和计算设备之间更加自然的交互。经过试验的各种输入技术包括与计算设备连接的辅助传感器模态 (modality)，例如用于获取特定姿势的动作传感器、表面肌肉或神经传 感器等。然而，由于使用这样的传感器需要大量的计算能力这一缺陷，因 而与此相关的是相当大的成本。因此，期望开发出一种输入技术，其能够解决由于输入设备的小型化 而带来的使用性问题。
技术实现思路
在下文中，提供了 一种基于从一个或多个照相机捕获的手势的自然UI 交互系统。利用在移动设备中集成的系统，其将有效地解决小型化硬件和最大化软件输入的冲突，同时，通过手势的交互将大大增强移动设备的使 用性。本专利技术的一个目的在于提供一种通信终端，其能够通过检测和识别用 于控制所述通信终端的预定动作来建立与外部对象的交互。本专利技术的目的还在于提供一种具有接近度检测(proximity detection ) 的通信终端，其针对对于预定动作的检测和识别，用于激活与外部对象的 交互。根据本专利技术的第一方面通过一种方法来实现以上目的之一，所述方法 用于响应于登记和解释对象的预定动作或模式而调用通信终端的操作。因 此，实现了一种用于对通信终端(例如移动电话)实现命令输入的方便的 解决方案。作为其它优点，提供了一种针对设备小型化和使用性的冲突的 直接解决方案。交互更加自然，并且输入不受到设备硬件的小型化的限制。 术语调用还可解释为关联。有利地，例如可以通过捕获对象的图像来在视觉上登记和解释动作或 模式。有利地，通过例如在通信终端中集成的照相机，容易提供图像输入。根据一个实施例，所述对象包括手，并且所述预定动作或模式包括手 势。作为优点，可以通过使用对于设备的用户接口进行命令输入和导航的 手势，实现在人类与计算设备之间的自然交互。此外，用户可以根据预定 模式来移动手，所述预定模式可以在先前时刻已经由用户设置，由此调用 移动电话的不同操作，例如呼叫消息的发送方，到达下一消息，等等。根据各个实施例，措辞登记可理解为捕获图像数据，并且措辞解 释可理解为将对象识别为手，以及识别手的姿势并将其与参考姿势关 联。根据本专利技术的一个实施例，措辞解释可理解为包括以下步骤标 识对象，识别所述对象，确定其定向，识别对象并将其与手势关联。可以 通过终端的软件来进行解释。此外，根据本专利技术的方法的另一实施例，所述操作涉及使用手势向通 信终端提供命令输入，并且所述方法包括-捕获手势的图^象数据201;-在所述图像数据中标识对象202; -将对象识别为手203;-识别所述手的所述对象的特征，并将其与来自一组预定参考姿势中 的第一参考姿势关联205;-提供与所述参考姿势关联的命令输入206。措辞捕获图像数据可理解为利用图像捕获设备(例如像移动电 话的照相机)简单地拍照。通过措辞在所述图像数据中标识对象，，，其可理解为在图片中找到 对象。根据一个实施例，所述标识涉及对肤色分类。作为优点，可以从图像 识别出诸如手这样的类似人类的对象。根据另一实施例，肤色分类包括实现高斯混合建模(Gaussian mixture modelling)。因此，模拟5虽度语(intensity spectra )和人类肤色的混合特 性，并且作为优点，增加在图像中识别包括人类皮肤的对象的精确度。有利地，可以采取各种技术来改进从姿势的期望区域分离噪声区域的 过程。例如，根据一个实施例，颜色分类可以涉及颜色空间分析和/或概率 分析。此外，根据另一实施例，所述颜色空间分析可以涉及将图像数据转换 成色度平面(CbCr)颜色空间图像数据。根据又一实施例，所述对象识别可以涉及使用连通分量(connected component)提取来消除视觉噪声。根据一个实施例，所述连通分量提取可以包括以下内容中的任何一个画确定对象的纵横比(aspect ratio );-确定与图像大小相比的对象大小；-确定与输入图像的边界相连的区域；并且其中，在满足以下要求的 情况下消除所迷噪声-所述纵横比在10以内；-所述对象大小大于关于输入图像大小所设置的预定值；以及7-存在与所述输入图像的边界相连的仅一个区域，或者存在不满足其 它要求的多个区域。根据一个实施例，所述关联可以涉及确定所述手的定向的步骤，以及涉及-确定所述对象的Karhunen-Loe6 ( KL )轴定向； -确定所述对象的第一几何中心点；以及-确定所述对象的凸多边形的第二几何中心点，并且其中，使用所述 KL轴的定向来确定所述第一和第二中心点的位置关系。因此，第一几何 中心点表示被分割的手区域的几何中心，即手区域的重心。第二几何中心 点表示(优选地通过凸多边形来表示的)手区域轮廓的几何中心。通常， 第一几何中心点不包括手形的信息。然而，第二几何中心点的位置反映了 区域的凸度。因此，通过确定手区域的KL轴，可以确定第一和第二几何 中心点相对于彼此的位置关系。已知在两个中心点(或中心)之间的相对 位置，可以确定手的位置并识别姿势。根据另一实施例，所述定向的确定得出以下之一-如果所述KL轴沿第一方向延伸，并且所述第一和第二中心点在基 本沿所述第一方向的第一移置(displacement)方向上相对于彼此被移置， 则进行笫一操作，即，例如UP (向上)；-如果所述KL轴沿所述第一方向延伸，并且所述第一和第二中心点 在基本沿所述第一方向的所述移置方向上相对于彼此,H向移置，则进行 第二操作，即，例如DOWN (向下)；-如果所述KL轴沿基本垂直于所述第一方向的第二方向延伸，并且 所述第 一和第二中心点在基本沿所述第二方向的第二移置方向上相对于彼 此被移置，则进行第三操作，即，例如RIGHT (向右)；画如果所述KL轴沿所述第二方向延伸，并且所述第一和第二中心点 在基本沿所述第二方向的所述移置方向上相对于彼此被反向移置，则进4亍 第四操作，即，例如LEFT (向左)；画如果所述中心点基本重合，并且所述姿势的所迷对象的第一面积小于先前所识别姿势的先前所确定对象的第二面积的至少一半，则进行第五操作，即，例如OPEN (打开)；-如果所述中心点基本重合，并且所述姿势的所述对象的第一面积大 于先前所识别姿势的先前所确定对象的第二面积的至少两倍，并且所述姿 势对应于所述先前所识别姿势，则进行第六操作，即，例如CLOSE (关 闭)；-如果所述中心点基本重合，并且所述姿势的所述对象的第一面积大 于先前所识别姿势的先前所确定对象的第二面积的至少两倍，并且所述姿 势不对应于所述先前所识别姿势，则进行第七操作，即，例如STOP(停 止)。根据优选实施例，在共同、本文档来自技高网...

【技术保护点】
一种方法，用于响应于登记和解释对象的预定动作或模式，调用通信终端的操作。

【技术特征摘要】
【国外来华专利技术】2006.9.28 US 11/536,3731.一种方法，用于响应于登记和解释对象的预定动作或模式，调用通信终端的操作。2. 根据权利要求1的方法，其中所述对象包括手，并且所述预定动 作或模式包括手势。3. 根据权利要求1的方法，其中通过所述终端的軟件来实现对动作 或模式的所述解释。4. 根据权利要求1的方法，其中所述操作涉及使用手势来向所述 通信终端提供命令输入，并且所迷方法包括-捕获所述手势的图像数据201; -在所述图像数据中标识对象202; -将对象识别为手203;-将所述对象的特征识别为所述手的姿势，并将其与来自一组预定参 考姿势中的第 一参考姿势关联205;-提供与所述参考姿势关联的命令输入206。5. 根据权利要求4的方法，其中所述标识涉及对肤色进行分类。6. 根据权利要求5的方法，其中所述肤色的分类包括进行高斯混合 建模。7. 根据权利要求5的方法，其中所述肤色的分类涉及颜色空间分析 和/或概率分析。8. 根据权利要求7的方法，其中所述颜色空间分析涉及将图像数 据转换成色度平面(CbCr)颜色空间图像数据。9. 根据权利要求4的方法，其中所述对象识别涉及使用连通分量 提取来消除视觉噪声。10. 根据权利要求9的方法，其中所述连通分量提取包括以下中的任 何一个-确定所述对象的纵横比；-确定与图像大小相比的对象大小；-确定与输入图像的边界相连的区域；并且其中，在满足以下要求的 情况下消除所述噪声-所述纵横比在10以内；-所述对象大小大于关于输入图像大小所设置的预定值；以及-存在与所述输入图像的边界相连的仅一个区域，或者存在不满足其它要求的多个区域。11. 根据权利要求4的方法，其进一步包括确定所迷手的定向204, 以及涉及-确定所iW象的Karhunen-Lo (KL)轴定向； 一确定所i^j象的第一几何中心点；以及-确定所述对象的凸多边形的第二几何中心点，并且其中，使用所述 KL轴的定向来确定所述第一和第二中心点的位置关系。12. 根据权利要求11的方法，其中所述定向的确定得出以下之一-如果所述KL轴沿第一方向延伸...

【专利技术属性】
技术研发人员：汪孔桥，R·塔卡拉，Y·方，H·鲁，Q·刘，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：11