增强的基于相机的输入制造技术

本发明专利技术涉及一种增强的基于相机的输入，其中在场景内用户的图像定义围绕用户的检测区域，并且检测目标(例如手)在检测区域内的位置。另外，基于检测到的目标的位置与用户界面中的控件(例如虚拟键盘的按键)交互。

【技术实现步骤摘要】

本公开一般涉及计算机输入，并且根据一个具体实施方式，涉及基于相机的人机界面。
技术介绍
在用户界面的领域中，控件(或微件)是计算机用户与之交互的界面元素，例如窗口或文本框。在一些情况下，控件(例如虚拟按钮)可具有与该控件的物理对应物相似的功能和外观。典型地，用户使用计算机鼠标或键盘与控件交互。
技术实现思路
根据一个一般实施方式，在此描述的增强控件可以用于便于从项目组中选择项目，例如在构成字母表的字母组中选择字母，或者在大量的功能中选择功能。通过沿基准线确定这些项目朝向或对准这些项目，这些项目可以显示得不重叠、不妨碍或不使也显示在用户界面中的一部分目标不清楚，从而使用户能够直观地选择项目。可以通过将光标悬停在项目上持续设定的一段时期，或在光标定位在项目上方的同时通过选择诸如鼠标按键或键盘按键的物理控件，或通过其它方法，来出现选择。项目的选择或潜在选择可导致项目改变其外观(也就是I敫活的’或‘突出的’)，从而沿基准线将项目彼此区分开并且减少选择错误。给基准线的定义或定位提供基础的目标可以自己与项目交互，例如在输入装置或其它用户输入的动作映射到由沿基准线对准的项目所围绕的化身的手臂动作的情况下。根据一个一般实施方式，计算机执行的处理包括在用户界面中相对于目标定义基准线，以及在不模糊目标的条件下显示与基准线对准的项目。该处理还包括基于接收对所显示项目其中一个的选择而输出所选择的项目。实施方式可包括一个或多个下列特征。例如，选择可以是基于光标的用户选择。可以确定目标在用户界面中的位置，其中基准线可以动态地定义为围绕所确定的位置的至少一部分。在用户界面中可以检测第二目标，其中基准线可以动态地定义为在与第二目标相对的目标的一侧上。可以检测所确定的位置的改变，并且可以基于所确定的改变相对于目标重新定义基准线。在另一例子中，基准线可以是直的、弯曲的、圆形的、多边形的或锯齿形的基准线，其中每个项目可以是文字数字式字符、符号、背景或名称。输出所选择的项目还可以包括突出所选择的项目，例如通过改变所选择的项目的颜色、不透明度或大小。改变所选择的项目的颜色、不透明度或大小还可以包括将所选择的项目的颜色、不透明度或大小改变为第一级别，并且将与所选择的项目邻接的项目的颜色、不透明度或大小改变为第二级另IJ。显示项目还可包括沿基准线均匀地分布项目。目标可以是用户界面中的空白区域或化身。基准线的起点和终点可以水平地或垂直地对准。在另外的例子中，定义基准线 还可以包括确定化身的控制部分的动作范围，以及在控制部分的动作范围内定义基准线，其中该基准线可以定义为沿控制部分的动作范围的外边缘。可以指定化身的第一或第二潜在控制部分为控制部分，指定的控制部分可以被活动起来，并且可以将控制部分指定从第一潜在控制部分交换到第二潜在控制部分，或从第二潜在控制部分交换到第一潜在控制部分。根据另一一般实施方式，计算机程序产品有形地具体体现在机器可读介质中。计算机程序产品包括这样的指令:当由机器读取时运行以致使数据处理设备在用户界面中相对于目标定义基准线，用以在不模糊目标的条件下显示与基准线对准的项目，以及用以基于接收对所显示的项目中的一个的选择而输出所选择的项目。根据另外的一般实施方式，一种装置包括处理器和用户界面。处理器在用户界面中相对于目标定义基准线。用户界面在不模糊目标的条件下显示与基准线对准的项目，以及基于接收对所显示项目中的一个的选择而输出所选择的项目。在再--般实施方式中，用户例如通过在他们身体周围的空间中摆动或有目的地确定他们的一只手臂或两只手臂的位置来做示意动作。相机拍摄用户的图像，并且从图像确定用户的位置。使用该位置，在用户周围定义这样的检测区域:如果用户打算执行输入示意动作，那么用户的手或手臂将可能在该检测区域中。通过检查该定义的检测区域来检测用户的手或手臂，并且这些检测到的控制目标的位置或动作映射到计算机应用的输入。在一个实例中，并且基于对用户身体的能力和限制定义或建模的解剖模型，检测区域定义为在用户头部上方图像的区域中，并且向外延伸到用户体侧。检测到的控制目标的位置或动作可以被映射到光标、化身、表现、鼠标事件或其它元素，以与用户界面上的控件(例如，滚动条、按钮、虚拟键盘、下拉菜单或任何其它控件)交互。根据再一一般实施方式，在场景内用户的图像中定义围绕用户的检测区域，并且检测目标(例如手)在检测区域内的位置。另外，基于检测到的目标的位置与用户界面中的控件(例如虚拟键盘的按键)交互。与控件交互还可以包括选择字符。实施方式可包括一个或多个下列特征。例如，可以检测用户的约定示意动作(engagement gesture),其中可以基于检测约定示意动作来检测目标的位置。用户界面还可以包括用户的代表，其中控件可以包括与相对于代表定义的基准线对准的项目，并且在不模糊代表的条件下显示项目。用户的代表还可以包括这样的化身或光标，其中基于检测到的目标的位置使化身活动起来以模仿用户的动作。控件可以显示在用户界面内代表的上方或旁边。在再一例子中，定义检测区域还可以包括确定用户的头部或躯干的位置，以及基于所确定的头部或躯干的位置定义检测区域不包括躯干。可以使用图像分割来确定用户的躯干位置，并且可以使用面部检测确定用户的头部位置。可替换地，定义检测区域还可以包括确定用户手臂的到达范围，以及基于所确定的手臂的到达范围，定义检测区域不包括手臂不能达到的图像区域的至少一部分。相反地，定义检测区域还可以包括基于所确定的躯干的位置，确定目标不能到达的、图像的不能到达区域，以及定义检测区域不包括所确定的图像的不能到达区域。用户的手臂的到达范围可以是基于用户的躯干、头部或肩部的所确定的位置。在再一例子中，图像可以被裁剪且显示在用户界面内。用户的图像可以居中，其中可以基于将图像居中来裁剪图像。可以确定放大倍数，该放大倍数使得在居中的图像内用户可到达控件，其中可以基于放大倍数来裁剪图像。可以使用解剖模型确定放大倍数。可以检测用户的面部，可以基于检测到的面部确定用户的身份，并且可以基于用户的身份调整控件。可以检测第二目标在检测区域内的位置，并且可以基于检测到的第二目标的位置与用户界面内的第二控件交互，或可以基于第二目标的位置调整控件。在再一例子中，可以使用相机拍摄图像。检测区域可以成形为用户上方的弧形检测子区域，该弧形检测子区域与两个直线形检测子区域邻近，每个直线形检测子区域位于用户一侧。可以检测目标关于映射的基准线在检测区域内的位置。可以显示经分割的图像作为用户的代表。根据再一一般实施方式，计算机可读介质通过计算机程序产品编码。计算机程序产品包括这样的指令:当执行该指令时运行以使得计算机在场景内用户的图像中定义围绕用户的检测区域，并且检测目标在检测区域内的位置。计算机程序产品还包括这样的指令:当机器读取该指令时运行以使得数据处理设备基于检测到的目标的位置与用户界面中的控件交互。根据再一一般实施方式，装置包括处理器。处理器配置成适合于或可操作以在场景内用户的图像中定义围绕用户的检测区域，以及检测目标在检测区域内的位置。处理器还配置成基于检测到的目标的位置与用户界面内的控件交互。提供了该简短概要，以便能够快速理解通过本文件描述的各种构想和实施方式。通过参考下面的详细描述以本文档来自技高网...

【技术保护点】
一种有形地具体体现在机器可读介质中的计算机程序产品，所述计算机程序产品包括指令，当机器读取所述指令时运行以使得数据处理设备：在用户界面内确定化身的位置；动态定义弯曲的基准线以围绕所确定的所述化身的位置的至少部分，进一步包括：确定所述化身的手臂的动作范围，以及在所述手臂的所述动作范围内定义所述基准线；在不模糊所述化身的条件下，显示与所述基准线对准的字母数字字符；接收对所显示的字母数字字符中的一个的基于光标的用户选择；基于所述基于光标的用户选择使所述化身的所述手臂活动起来；以及基于接收所述选择，突出所选择的字母数字字符，进一步包括：将所选择的字母数字字符的大小增大至第一范围；以及将所选择的字母数字字符的每侧的字母数字字符的大小增大至小于所述第一范围的第二范围。

【技术特征摘要】
2007.07.27 US 60/952,448;2008.04.14 US 12/102,5871.一种有形地具体体现在机器可读介质中的计算机程序产品，所述计算机程序产品包括指令，当机器读取所述指令时运行以使得数据处理设备: 在用户界面内确定化身的位置； 动态定义弯曲的基准线以围绕所确定的所述化身的位置的至少部分，进一步包括: 确定所述化身的手臂的动作范围，以及 在所述手臂的所述动作范围内定义所述基准线； 在不模糊所述化身的条件下，显示与所述基准线对准的字母数字字符； 接收对所显示的字母数字字符中的一个的基于光标的用户选择； 基于所述基于光标的用户选择使所述化身的所述手臂活动起来；以及 基于接收所述选择，突出所选择的字母数字字符，进一步包括: 将所选择的字母数字字符的大小增大至第一范围；以及 将所选择的字母数字字符的每侧的字母数字字符的大小增大至小于所述第一范围的第二范围。2.一种计算机实现的方法，其包括: 在用户界面内相对于目标定义基准线； 在不模糊所述目标的情况下显示与所述基准线对准的项目； 接收对所显示的项目中的一个的选择； 基于接收对所显示的项 目的一个的所述选择，沿着所述基准线来动态重新定位未选择的项目；以及 基于接收对所显示的项目中的一个的所述选择来输出所选择的项目。3.根据权利要求2所述的方法，还包括在所述用户界面内确定所述目标的位置，其中动态地定义所述基准线为围绕所确定的位置的至少一部分。4.根据权利要求3所述的方法，还包括在所述用户界面内检测第二目标，其中动态地定义所述基准线为在与所述第二目标相对的所述目标的一侧上。5.根据权利要求3所述的方法，还包括: 确定所确定的位置的改变，以及 基于所确定的改变相对于所述目标重新定义所述基准线。6.根据权利要求2所述的方法，其中所述基准线包括直的、圆形的、弯曲的、多边形的或锯齿形的基准线。7.根据权利要求2所述的方法，其中每个项目包括字母数字字符、符号、设置或名称。8.根据权利要求2所述的方法，其中输出所选择的项目还包括突出所选择的项目。9.根据权利要求8所述的方法，其中突出所选择的项目还包括改变所选择的项目的颜色、不透明度或大小。10.根据权利要求9所述的方法，其中改变所选择的项目的颜色、不透明度或大小还包括: 将选择的项目的颜色、不透明度或大小改变到第一级别；以及 将与所选择的项目邻近的项目的颜色、不透明度或大小改变到第二级别。11.根据权利要求2所述的方法，其中显示所述项目还包括沿所述基准线均匀地分布所述项目。12.根据权利要求2所述的方法，其中所述目标是所述用户界面中的空白区域。13.根据权利要...

【专利技术属性】
技术研发人员：埃文·希尔德雷思，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：