用于紧凑设备的基于相机的用户输入制造技术

使用相机来检测诸如用户手指的对象的位置和／或取向作为用于提供用户输入的方法，例如用于滚过数据、控制光标位置、以及基于用户手指的位置提供输入以控制视频游戏。可以把输入提供给手持设备，包括例如，蜂窝电话、视频游戏系统、便携式音乐（ＭＰ３）播放器、便携式视频播放器、个人数据助理（ＰＤＡ）、音频／视频设备遥控器和消费型数码相机，或者其他类型的设备。

【技术实现步骤摘要】
【国外来华专利技术】
本公开一般涉及用户输入，并且至少一种特定配置涉及利用相机检测用 户指尖的位置作为提供用户输入的机制。
技术介绍
包括蜂窝电话的手持设备可以包括一个或更多用于用户输入的机制，例 如小键盘、控制杆、或者滚动轮。 一些手持设备使用光学传感器来模拟 (emulate)控制杆功能，并且一些手持设备包括触敏(touch-sensitive)显示 屏。用于手持设备的输入机制典型地限于二维的控制。
技术实现思路
本公开一般涉及用户输入，并且至少一个特定配置涉及利用相机检测用 户指尖的位置作为提供用户输入的机制的新颖方法。根据一个一般的实施方式，使用相机来检测例如用户的手指的对象的位 置和/或取向作为用于提供用户输入的方法，例如用于滚过(scroll through) 数据、控制光标位置和基于用户的手指位置提供输入以控制视频游戏。把输 入提供给手持设备，包括例如蜂窝电话、视频游戏系统、便携式音乐(MP3) 播放器、便携式视频播放器、个人数据助理(PDA)、音频/视频设备遥控器 和消费型数码相机，或者其他类型的设备。手持设备可以包括相机，所以为 了实施用于提供用户输入的系统，可以不要求额外的硬件。根据另一个一般实施方式， 一种方法包括使用手指的解剖模型在与电 子设备进行交互的用户的手的图像中检测用户的手的手指的取向。所述方法 还可以包括把所检测的取向映射到控制输入，并基于所述控制输入控制应用程序(application )。实施方式可用包括一个或更多的下列特征。例如，所述方法还可以包括在与电子设备进行交互的用户的手的图像中检测用户的手的手指的位置，其中，可以基于所检测的位置映射控制输入。控制输入可以在虚拟环境中定义对应于手指的所检测的位置和所检测的取向的位置和取向。所述方法可以包括控制虚拟环境中的虚拟对象移动到虚拟环境中对应于手指的所检测的位置和所检测的取向的位置和取向；以及，在虚拟环境中对应于手指的所检测的位置和所检测的取向的位置和取向表现虚拟对象的显示。使用手指的解剖模型在与电子设备进行交互的用户的手的图像中检测用户的手的手指的取向可以包括识别对应于指尖的手指的第一部分，识别对应于手指根部的手指的第二部分，计算手指的第一部分和手指的第二部分之间的向量，以及，基于所述向量确定手指的取向。所述方法还可以包括获取手指的图像，并对所述图像进行边缘处理。此外，所述方法可以包括沿着具有基本垂直于手指的取向的扫描线分割所述图像。在某些实施方式中，所述方法还可以包括检测手指周围的轮廓。可以通过计算所述图像内的图像密度的梯度，并识别所述图像密度的梯度中的局部最小和局部最大中的至少一个来检测手指周围的轮廓。所述方法可以包括识别所述图像对应于手指皮肤中的褶皱的区域，并且在所述图像内检测手指时忽略所述图像对应于手指皮肤中的所述褶皱的被识别区域。在某些例子中，所述方法可以包括在所述图像中基于对象的尺寸、对象的形状以及该对象是否和所述图像的边界相交选择作为手指的对象。所述方剖模型检测手指的取向，所述解剖模型是从手指的根部延伸到手指的指尖的手指模型。根据另一个一般实施方式， 一种设备包括图像检测器，被配置成使用手指的解剖模型在与电子设备进行交互的用户的手的图像中检测所述用户的手的手指的取向。所述设备还可以包括处理器，该处理器被配置成把所检测的取向映射到控制输入，并基于所述控制输入控制应用程序。所述图像检测器可以被配置在移动电话、便携式视频游戏系统、便携式音乐播放器、个人数据助理、遥控器或者数码相机中。根据另一个一般实施方式， 一种存储计算机程序产品的计算机可读介质。7所述计算机程序产品包括指令，所述指令当被执行时工作以使计算机执行操作。所述操作包括使用手指的解剖模型在与电子设备进行交互的用户的手的图像中检测所述用户的手的手指的取向。所述操作还可以包括把所检测的取向映射到控制输入，并基于所述控制输入控制应用程序。根据另一个一般实施方式， 一种方法包括访问与电子设备进行交互的用户的手的图像，并且基于对象的尺寸、对象的形状以及该对象是否和所述图像的边界相交，在所述图像中识别作为所述用户的手的手指的对象。所述方法还可以包括确定在所述图像中被识别为所述用户的手的手指的所述对象的位置，把所检测的位置映射到控制输入，并基于所述控制输入控制应用程序。实施方式可以包括一个或更多的下列特征。例如，所述方法可以包括基于具有对应于手指的解剖模型的拉长形状的对象，在所述图像中识别作为所述用户的手的手指的对象。所述方法还可以包括基于在平行于所述电子设备的显示器的平面中取向的手指的解剖模型，在所述图像中识别作为所述用户的手的手指的对象。所述解剖模型可以是从手指的根部延伸到手指的指尖的手指模型。在某些实施方式中，所述方法可以包括把所检测的位置映射到显示区域中对应于手指的所检测的位置的位置，并把所显示的指示符移动到所述显示区域中对应于手指的所检测的位置的位置。所述方法还可以包括识别在所显示的用户界面中对应于手指的所检测的位置的位置处的输入控制，并确定和被识别的输入控制相关联的操作。基于所述控制输入控制所述应用程序可以包括执行和被识别的输入控制相关联的梯:作。在某些例子中，所述方法可以包括确定所述图像中手指的宽度，并基于所确定的宽度，估计手指相对于捕获所述图像的相机的深度位置。在这些例子中，可以基于所估计的深度位置映射所述控制输入。所述方法还可以包括检测手指的对应于指尖的部分，并确定所述位置为手指的对应于指尖的部分的质心。所述方法可以包括在所述图像内定义图像区域以使所述图像区域的边界与所述图像的边界分隔开所预期的指尖宽度的至少一半的距离，其中，可以在所定义的图像区域内检测手指的位置。当在所述图像区域外部检测到指尖时，该指尖的位置可以被映射到所述图像区域的边界上的位置。才艮据另一个一4殳实施方式， 一种设备包括相机，该相枳4皮配置成捕获与 电子设备进行交互的用户的手的图像。所述设备还可以包括处理器，该处理 器被配置成访问与电子设备进行交互的用户的手的图像，并基于对象的尺寸、 对象的形状以及该对象是否和所述图像的边界相交，在所述图像中识别作为 所述用户的手的手指的对象。所述处理器还被配置成确定在所述图像中被识 别为所述用户的手的手指的所述对象的位置，把所检测的位置映射到控制输 入，并基于所述控制输入控制应用程序。根据另一个一般实施方式， 一种存储计算机程序产品的计算机可读介质。 所述计算机程序产品包含指令，所述指令当被执行时工作以使计算机执行操 作。所述操作包括访问与电子设备进行交互的用户的手的图像，并基于对象 的尺寸、对象的形状以及该对象是否和所述图像的边界相交，在所述图像中 识别作为所述用户的手的手指的对象。所述操作还包括确定在所述图像中被 识别为所述用户的手的手指的对象的位置，把所检测的位置映射到控制输入， 并基于所述控制输入控制应用程序。在附图和下面的描述中给出了一个或更多实施方式的细节。从所述描述 和附图，本公开的其他的潜在特征和优点将会清楚。附图说明图1是展示检测用户指尖的位置作为用于提供用户输入的方法的情境图。图2示出了示范性手持设备。图3A示出了包括面朝着观察手持设备的显示器的用户的相机的另一个 示范性手持设备。图3B示出了包括从观察手持设备的显示器的用户转本文档来自技高网...

【技术保护点】
一种计算机实施的方法，包括：　使用手指的解剖模型在与电子设备进行交互的用户的手的图像中检测用户的手的手指的取向；　把所检测的取向映射到控制输入；和　基于所述控制输入控制应用程序。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：埃文希尔德雷思，
申请(专利权)人：格斯图尔泰克股份有限公司，
类型：发明
国别省市：US[美国]