设备控制制造技术

本说明书涉及与显示设备的交互。在一个示例中，交互可以包括检测与显示器邻近的用户和检测由与显示器邻近的用户执行的非触摸控制手势。该示例也可以包括在显示器上呈现包括与控制手势相关联的选项的图形用户界面(GUI)。该示例也可以包括接收选择选项之一的用户输入和从用户接收用以经由选项中的选择的选项与GUI交互的附加用户输入。

【技术实现步骤摘要】
【国外来华专利技术】
本说明书涉及与显示设备交互和/或控制显示设备。附图说明附图图示了在本文中传达的概念的实现方式。可以通过参照结合附图做出的以下描述来更容易地理解所示实现方式的特征。各种附图中的相似标号只要可行就用来指示相似单元。另外，每个标号的最左侧数字表示该标号第一次被引入的图和相关联的讨论。图1至图6示出了根据本概念的一些实现方式的示例设备和示例设备交互场景的视图。图7至图8示出了根据本概念的一些实现方式的用于实施设备交互场景的示例系统。图9示出了根据本概念的一些实现方式的关于相对于图7至图8介绍的单元中的一些单元的附加细节。图10至图11示出了根据本概念的一些实现方式的示例设备交互流程图。具体实施方式概述本说明书涉及与显示设备(比如数字白板、平板、智能电话等)的交互。本说明书可以组合视觉和触摸技术以允许用户与显示设备更有效地交互。这些组合的视觉和触摸技术可以被简称为“VTouch”。在一个形式中，VTouch可以被视为一种用于使用视觉技术(比如人识别和手势识别)以增强显示器上的触摸体验的框架。VTouch可以在用户触摸显示器之前识别用户并且理解用户的意图。作为结果，与显示器的交互可以通过集成基于视觉的识别与触摸被显著地简化。因
此，VTouch可以提供在用户与设备之间的改进的交互(例如，比用现有技术让用户更容易和/或更直观地控制设备)。VTouch可以与显示器协调使用传感器(比如红、绿、蓝+深度相机(RGBD))以捕获用户的颜色、深度和/或骨架信息(例如，参数)。VTouch可以应用人识别算法和手势识别算法以标识用户以及用户的手势。VTouch也可以包括用于用RGBD相机校准显示器的简单工具。因此，用户的关节位置可以容易地被变换到显示器的坐标系中。存在涉及使用手势识别以用于远程交互、使用手势以替换触摸手势等的人识别和手势识别的现有技术。专利技术概念中的至少一些专利技术概念与这些有关技术不同在于试图从不同角度改进用户交互。本概念可以集成基于视觉的算法与触摸以增强显示器上的交互。即使触摸对于交互是强有力的，但是仅使用触摸不能提供完全地自然的交互。借助视觉技术，本实现方式可以提供用于触摸的补充(例如，哪个用户正在触摸和用哪只手以及相对于哪个命令手势)。本实现方式也可以允许基于在触摸之前的基于手的命令手势的更直观交互(例如，启用键盘以用于在触摸之前键入)。因此，VTouch可以提供一种用于与显示器交互的更佳方式(例如，提供对显示器/设备的更有效用户控制)。场景示例图1至图6共同地示出了涉及设备100和用户102的示例VTouch场景。在这一情况下，设备100表现为相对大的触摸显示器，该触摸显示器具有在其上呈现的图形用户界面(GUI)104。在这一情况下，假设大触摸显示器可以被配置用于在墙壁或者其它竖直表面(在图1中未具体地示出、但是可以在图8中显现)上装配和/或用其它方式被运用。图1示出了第一场景，其中在实例一处，用户如在106处大致地指示的那样用他的左手执行非触摸命令手势。在这一情况下，命令手势涉及用户以艺术家传统地持有调色板的方式在他前面保持他的左手(例如，手掌向右而左手指展开)。命令手势可以用来控制或者变
更GUI。在这一情况下，命令手势可以使菜单被呈现。在这一示例中，在实例二处，菜单表现为调色板或者控制板108(注意颜色由附图中的图案代表)。在实例三中，用户可以如在110处指示的那样用他的右手对接调色板(例如，触摸调色板)以从调色板选择选项(例如，颜色)。实例四示出了用户在112处用他的右手用选择的颜色在显示器上书写。在备选配置中，可以在用户用右手书写之时用左手执行从调色板108选择。因此，用户可以在他书写时改变颜色。换而言之，用户可以使用‘持有色板’手势(通过与屏幕垂直张开手)以起动调色板108，然后可以与手接近地示出该调色板。用户可以创建他们自己的控制手势简档。例如，用户可以选择在调色板上呈现的颜色和/或用于手和笔二者的颜色应用(或者擦除器)的宽度。VTouch可以识别和相互区分用户。这样，VTouch可以在用户简档中存储用户信息以用于在后续地标识用户时的将来回忆。概括而言，图1图示了VTouch可以在用户的左手与右手之间区分。因此，可以向用左手执行的手势指派与右手执行的相同手势不同的含义。另外，VTouch可以存储关于各个用户的信息，比如习惯用左手或者右手。因此，在标识特定用户时，VTouch可以回忆用户习惯用右手并且使用左手以执行以用于调用命令选项(例如，调色板)的手势，并且然后使用右手以实施选项(例如，在板上书写)。VTouch也可以区分用户是否在他执行手势或者从显示器间隔开时正在触摸显示器。这些方面中的每个方面可以被视为参数，该参数被VTouch考虑以解释用户的意图，并且因此允许比先前可能的场景更健壮得多的用户控制和用户参与场景。当然，除了图1中所示的表现之外的用户控制GUI 104的其它表现也被设想。以下描述其它示例。图2示出了用于用户102控制GUI 104的另一场景。在实例五处，用户可以如在202处大致地指示的那样在设备100前面执行‘键入手势’。响应地，VTouch可以在实例六处使虚拟键盘204和文本框205在设备100上被呈现。实例七示出了用户102在206处在虚拟键盘204上键入以在文本框205中生成实例八中所示单词“待完成列表：(TO
DO LIST:)”。也在这一实现方式中，可以向用户提供VTouch已经检测到用户并且正在解译用户的手势这样的虚拟指示。在这一特定情况下，在GUI 104上显示单词‘VTouch’，从而使得用户知道用户已经调用了VTouch系统并且它正在监视用户和代表用户进行动作以控制设备。另外，注意，在这一实现方式中，VTouch使GUI 104适应用户而不是用户适应GUI。例如，VTouch呈现虚拟键盘204和用户的文本(例如，文本框205)，其中用户执行键盘起动手势(例如，在用户的手下面)而不是在GUI 104上的预定义的位置。换而言之，VTouch可以感测用户的位置和用户执行各个手势的位置，并且VTouch可以基于感测到的手势和感测到的位置控制GUI。VTouch实现方式可以在涉及多个用户的场景中提供附加优点。例如，由于VTouch用户标识和标识哪个用户正在执行哪个手势，GUI上的每个手绘/写笔划和/或键入的单词具有已知作者身份。这一配置可以允许附加功能。例如，每个用户可以在GUI上具有图标并且该用户可以通过触摸他的/她的图标来使他的/她的内容被醒目显示(或者以别的方式与一个或者多个其他用户的内容区分)。图3示出了另一场景。在实例九处，用户102可以如在302处大致地指示的那样执行在设备100的顶部之上挥动他的手的手势。响应地，VTouch可以在实例十处使工具栏带304跨GUI 104的顶部被呈现。实例十一示出了VTouch可以跟踪用户的移动(例如，向右)并且可以如在306处大致地指示的那样随着用户移动工具栏带304。概括而言，用户可以利用‘在板以上’手势(通过在设备以上移动一只手)以启用顶部菜单(例如，工具栏带304)。在顶部菜单上的按钮可以在用户左移或者右移时随着用户移动。相似地，工具栏带或者本文档来自技高网...

【技术保护点】
一种系统，包括：显示器；第一组传感器，被配置为感测在所述显示器前面的区域；第二组传感器，被配置为检测与所述显示器邻近的用户输入；以及交互部件，被配置为分析来自所述第一组传感器的数据以标识用户和由所述用户执行的手势以控制在所述显示器上呈现的图形用户界面，并且被配置为分析来自所述第二组传感器的数据以进一步细化对所述图形用户界面的所述控制。

【技术特征摘要】
【国外来华专利技术】2014.02.26 US 61/944,917;2015.01.14 US 14/597,1381.一种系统，包括：显示器；第一组传感器，被配置为感测在所述显示器前面的区域；第二组传感器，被配置为检测与所述显示器邻近的用户输入；以及交互部件，被配置为分析来自所述第一组传感器的数据以标识用户和由所述用户执行的手势以控制在所述显示器上呈现的图形用户界面，并且被配置为分析来自所述第二组传感器的数据以进一步细化对所述图形用户界面的所述控制。2.根据权利要求1所述的系统，其中所述第二组传感器是被集成在所述显示器中以用于检测所述显示器的用户触摸的触摸传感器，或者其中所述第二组传感器被配置为在所述用户实际地触摸所述显示器之前检测用户触摸。3.根据权利要求1所述的系统，其中所述第一组传感器被物理地装配在所述显示器上，或者其中所述第一组传感器从所述显示器远离、但是被通信地耦合到所述交互部件。4.根据权利要求1所述的系统，还包括处理器和存储装置，并且其中所述交互部件被存储在所述存储装置上以用于由所述处理器执行。5.根据权利要求1所述的系统，表现为触敏平板型设备或者笔记本计算机型设备，其中所述第二组传感器与所述显示设备集成作为触摸传感器。6.根据权利要求1所述的系统，表现为被配置为在墙壁或者其它竖直表面上装配的大显示设备，并且其中所述第一传感器和所述第二传感器被集成到所述大显示设备。7.根据权利要求1所述的系统，其中所述第一组传感器和所述第二组传...

【专利技术属性】
技术研发人员：陈寅鹏，刘自成，张正友，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US