增强的基于相机的输入制造技术

本发明专利技术涉及一种增强的基于相机的输入，其中在场景内用户的图像定义围绕用户的检测区域，并且检测目标(例如手)在检测区域内的位置。另外，基于检测到的目标的位置与用户界面中的控件(例如虚拟键盘的按键)交互。

Enhanced camera based input

The present invention relates to an enhanced camera-based input in which the user's image in the scene is defined around the user's detection area and the detection target (e.g. hand) is located within the detection area. In addition, you interact with controls in the user interface, such as keys on a virtual keyboard, based on the location of the detected target.

【技术实现步骤摘要】
增强的基于相机的输入分案申请的相关信息本案是分案申请。该分案的母案是申请日为2008年7月25日、申请号为200880109208.X、专利技术名称为“增强的基于相机的输入”的专利技术专利申请案。所述母案具有申请日为2008年7月25日、申请号为201310072501.6、专利技术名称为“增强的基于相机的输入”的专利技术专利分案申请。相关申请的交叉引用本申请要求于2008年5月21日提交的美国专利申请No.12/124375和于2008年4月14日提交的美国专利申请No.12/102587的优先权，这两件申请均要求于2007年7月27日提交的美国临时专利申请No.60/952448的权益。这些申请中每一件申请的公开内容都通过引用并入此处。
本公开一般涉及计算机输入，并且根据一个具体实施方式，涉及基于相机的人机界面。
技术介绍
在用户界面的领域中，控件(或微件)是计算机用户与之交互的界面元素，例如窗口或文本框。在一些情况下，控件(例如虚拟按钮)可具有与该控件的物理对应物相似的功能和外观。典型地，用户使用计算机鼠标或键盘与控件交互。
技术实现思路
根据一个一般实施方式，在此描述的增强控件可以用于便于从项目组中选择项目，例如在构成字母表的字母组中选择字母，或者在大量的功能中选择功能。通过沿基准线确定这些项目朝向或对准这些项目，这些项目可以显示得不重叠、不妨碍或不使也显示在用户界面中的一部分目标不清楚，从而使用户能够直观地选择项目。可以通过将光标悬停在项目上持续设定的一段时期，或在光标定位在项目上方的同时通过选择诸如鼠标按键或键盘按键的物理控件，或通过其它方法，来出现选择。项目的选择或潜在选择可导致项目改变其外观(也就是‘激活的’或‘突出的’)，从而沿基准线将项目彼此区分开并且减少选择错误。给基准线的定义或定位提供基础的目标可以自己与项目交互，例如在输入装置或其它用户输入的动作映射到由沿基准线对准的项目所围绕的化身的手臂动作的情况下。根据一个一般实施方式，计算机执行的处理包括在用户界面中相对于目标定义基准线，以及在不模糊目标的条件下显示与基准线对准的项目。该处理还包括基于接收对所显示项目其中一个的选择而输出所选择的项目。实施方式可包括一个或多个下列特征。例如，选择可以是基于光标的用户选择。可以确定目标在用户界面中的位置，其中基准线可以动态地定义为围绕所确定的位置的至少一部分。在用户界面中可以检测第二目标，其中基准线可以动态地定义为在与第二目标相对的目标的一侧上。可以检测所确定的位置的改变，并且可以基于所确定的改变相对于目标重新定义基准线。在另一例子中，基准线可以是直的、弯曲的、圆形的、多边形的或锯齿形的基准线，其中每个项目可以是文字数字式字符、符号、背景或名称。输出所选择的项目还可以包括突出所选择的项目，例如通过改变所选择的项目的颜色、不透明度或大小。改变所选择的项目的颜色、不透明度或大小还可以包括将所选择的项目的颜色、不透明度或大小改变为第一级别，并且将与所选择的项目邻接的项目的颜色、不透明度或大小改变为第二级别。显示项目还可包括沿基准线均匀地分布项目。目标可以是用户界面中的空白区域或化身。基准线的起点和终点可以水平地或垂直地对准。在另外的例子中，定义基准线还可以包括确定化身的控制部分的动作范围，以及在控制部分的动作范围内定义基准线，其中该基准线可以定义为沿控制部分的动作范围的外边缘。可以指定化身的第一或第二潜在控制部分为控制部分，指定的控制部分可以被活动起来，并且可以将控制部分指定从第一潜在控制部分交换到第二潜在控制部分，或从第二潜在控制部分交换到第一潜在控制部分。根据另一一般实施方式，计算机程序产品有形地具体体现在机器可读介质中。计算机程序产品包括这样的指令：当由机器读取时运行以致使数据处理设备在用户界面中相对于目标定义基准线，用以在不模糊目标的条件下显示与基准线对准的项目，以及用以基于接收对所显示的项目中的一个的选择而输出所选择的项目。根据另外的一般实施方式，一种装置包括处理器和用户界面。处理器在用户界面中相对于目标定义基准线。用户界面在不模糊目标的条件下显示与基准线对准的项目，以及基于接收对所显示项目中的一个的选择而输出所选择的项目。在再一一般实施方式中，用户例如通过在他们身体周围的空间中摆动或有目的地确定他们的一只手臂或两只手臂的位置来做示意动作。相机拍摄用户的图像，并且从图像确定用户的位置。使用该位置，在用户周围定义这样的检测区域：如果用户打算执行输入示意动作，那么用户的手或手臂将可能在该检测区域中。通过检查该定义的检测区域来检测用户的手或手臂，并且这些检测到的控制目标的位置或动作映射到计算机应用的输入。在一个实例中，并且基于对用户身体的能力和限制定义或建模的解剖模型，检测区域定义为在用户头部上方图像的区域中，并且向外延伸到用户体侧。检测到的控制目标的位置或动作可以被映射到光标、化身、表现、鼠标事件或其它元素，以与用户界面上的控件(例如，滚动条、按钮、虚拟键盘、下拉菜单或任何其它控件)交互。根据再一一般实施方式，在场景内用户的图像中定义围绕用户的检测区域，并且检测目标(例如手)在检测区域内的位置。另外，基于检测到的目标的位置与用户界面中的控件(例如虚拟键盘的按键)交互。与控件交互还可以包括选择字符。实施方式可包括一个或多个下列特征。例如，可以检测用户的约定示意动作(engagementgesture)，其中可以基于检测约定示意动作来检测目标的位置。用户界面还可以包括用户的代表，其中控件可以包括与相对于代表定义的基准线对准的项目，并且在不模糊代表的条件下显示项目。用户的代表还可以包括这样的化身或光标，其中基于检测到的目标的位置使化身活动起来以模仿用户的动作。控件可以显示在用户界面内代表的上方或旁边。在再一例子中，定义检测区域还可以包括确定用户的头部或躯干的位置，以及基于所确定的头部或躯干的位置定义检测区域不包括躯干。可以使用图像分割来确定用户的躯干位置，并且可以使用面部检测确定用户的头部位置。可替换地，定义检测区域还可以包括确定用户手臂的到达范围，以及基于所确定的手臂的到达范围，定义检测区域不包括手臂不能达到的图像区域的至少一部分。相反地，定义检测区域还可以包括基于所确定的躯干的位置，确定目标不能到达的、图像的不能到达区域，以及定义检测区域不包括所确定的图像的不能到达区域。用户的手臂的到达范围可以是基于用户的躯干、头部或肩部的所确定的位置。在再一例子中，图像可以被裁剪且显示在用户界面内。用户的图像可以居中，其中可以基于将图像居中来裁剪图像。可以确定放大倍数，该放大倍数使得在居中的图像内用户可到达控件，其中可以基于放大倍数来裁剪图像。可以使用解剖模型确定放大倍数。可以检测用户的面部，可以基于检测到的面部确定用户的身份，并且可以基于用户的身份调整控件。可以检测第二目标在检测区域内的位置，并且可以基于检测到的第二目标的位置与用户界面内的第二控件交互，或可以基于第二目标的位置调整控件。在再一例子中，可以使用相机拍摄图像。检测区域可以成形为用户上方的弧形检测子区域，该弧形检测子区域与两个直线形检测子区域邻近，每个直线形检测子区域位于用户一侧。可以检测目标关于映射的基准线在检测区域内的位置。可以显示经分割的图像作本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，其包括：获得在场景内控制目标的图像，所述图像由相机拍摄；基于所述场景内所述控制目标的位置，确定显示屏上用户界面内第一目标的位置，其中，所述第一目标包括控制部分和非控制部分；确定第一项目集合；以及基于所述第一目标的所确定的位置以及所述第一项目集合中所述项目的数量，动态定位所述显示屏上所述用户界面内一个或更多个基准线，其中：所述项目在所述显示屏上显示，并与所述用户界面内的所述一个或更多个基准线对准；且所述一个或更多个基准线被定位使得：所述项目被定位在所述第一目标的所述控制部分的经确定的动作范围内；且所述项目不与所述第一目标的所述非控制部分重叠。

【技术特征摘要】
2007.07.27 US 60/952,448;2008.04.14 US 12/102,587;1.一种计算机实现的方法，其包括：获得在场景内控制目标的图像，所述图像由相机拍摄；基于所述场景内所述控制目标的位置，确定显示屏上用户界面内第一目标的位置，其中，所述第一目标包括控制部分和非控制部分；确定第一项目集合；以及基于所述第一目标的所确定的位置以及所述第一项目集合中所述项目的数量，动态定位所述显示屏上所述用户界面内一个或更多个基准线，其中：所述项目在所述显示屏上显示，并与所述用户界面内的所述一个或更多个基准线对准；且所述一个或更多个基准线被定位使得：所述项目被定位在所述第一目标的所述控制部分的经确定的动作范围内；且所述项目不与所述第一目标的所述非控制部分重叠。2.根据权利要求1所述的计算机实现的方法，其中，所述用户界面在移动设备显示屏上显示。3.根据权利要求1所述的计算机实现的方法，其中，所述用户界面在电视显示屏上显示。4.根据权利要求1所述的计算机实现的方法，其中，所述第一目标包括用户的代表。5.根据权利要求1所述的计算机实现的方法，进一步包括：确定所述用户界面内第二目标的位置；以及重新定位所述一个或更多个基准线，使得所述项目不与所述第二目标重叠。6.根据权利要求5所述的计算机实现的方法，其中，所述重新定位包括改变下列各者中的一者或更多者：项目的颜色；项目的线宽；项目的大小；或项目的透明性。7.根据权利要求5所述的计算机实现的方法，其中，所述重新定位包括重新定位所述一个或更多个基准线，使得项目在所述第二目标的控制部分的经确定的动作范围之外。8.根据权利要求1所述的计算机实现的方法，进一步包括：确定在所述用户界面内所述第一目标的新的位置；以及基于所述新位置重新定位所述一个或更多个基准线，使得所述项目不与所述第一目标的所述非控制部分重叠。9.根据权利要求1所述的计算机实现的方法，进一步包括：接收对项目的选择；以及基于所述选择，创建新的基准线，所述新的基准线具有与之对准的第二项目集合。10.根据权利要求9所述的计算机实现的方法，其中：所述一个或更多个基准线的基准线部分一般在与所述用户界面相同的X-Y平面内被定义；以及创建所述新的基准线包括创建一般在不是所述X-Y平面的平面内被定义的所述新的基准线。11.根据权利要求10所述的计算机实现的方法，其中，从所述新的基准线的第一端到所述新的基准线的第二端，与所述新的基准线对准的项目的大小减小。12.包括处理器的设备，经配置以：获得在场景内控制目标的图像，所述图像由相机拍摄；基于所述场景内所述控制目标的位置，确定显示屏上用户界面内第一目标的位置，其中，所述第一目标包括控制部分和非控制部分；确定第一项目集合；以及基于所述第一目标的所确定的位置以及所述第一项目集合中项目的数量，动态定位所述显示屏上所述用户界面内一个或更多个基准线，其中：所述项目在所述显示屏上显示，并与所述用户界面内的所述一个或更多个基准线对准；且所述一个或更多个基准线被定位使得：所述项目被定位在所述第一目标的所述控制部分的经确定的动作范围内；且所述项目不与所述第一目标的所述非控制部分重叠。13.根据权利要求12所述的设备，其中，所述设备是移动设备。14.根据权利要求12所述的设备，所述处理器进一步经配置以：确定所述用户界面内第二目标的位置；以及重新定位所述一个或更多个基准线，使得所述项目不与所述第二目标重叠。15.根据权利要求14所述的设备，其中，所述重新定位包括改变下列各者中的一者或更多者：项目的颜色；项目的线宽；项目的大小；或项目的透明性。16.根据权利要求14所述的设备，其中，所述处理器经配置以重新定位所述一个或更多个基准线，使得项目在所述第二目标的控制部分的经确定的动作范围之外。17.根据权利要求12所述的设备，其中所述处理器进一步经配置以：确定在所述用户界面内所述第一目标的新的位置；以及基于所述新位置重新定位所述一个或更多个基准线，使得所述...

【专利技术属性】
技术研发人员：埃文·希尔德雷思，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US