使用姿势来控制基于计算的设备制造技术

用于基于在摄像头的预先确定的范围内做出的姿势来控制基于计算的设备的系统和方法，其中，预先确定的范围是摄像头的视域的子集。在预先确定的范围以外做出的任何姿势都被忽略，并且不导致基于计算的设备执行任何动作。在一些示例中，姿势用于控制在视频会议会话中实现的绘图画布。在这些示例中，单个摄像头可以用于生成视频会议用户的图像，所述图像用于检测预先确定的范围内的姿势，并向视频会议会话的其它各方提供用户的可视图像。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
在过去的几十年已经对自然用户接口(NUI)进行了大量研究。NUI包括的新的基于姿势的接口，其使用接触或非接触式交互或整个身体来实现与计算设备的丰富交互。在传统的NUI系统中，一个或多个摄像头用于捕捉用户的图像，以便检测和跟踪用户的身体部分(例如，手、手指)来识别由检测到的身体部分执行的姿势。任何检测到的姿势然后可以用于控制计算设备。下文描述的实施例不限于解决用于控制计算设备的已知系统的任何或全部缺点的实现。
技术实现思路
下面给出了对本公开内容的简化的概括以便向读者提供基本理解。该
技术实现思路
不是本公开内容的详尽概述，并且其不标识本说明书的关键/重要元素或描绘本说明书的范围。其唯一目的是用简化的形式呈现本文中公开的概念的选择，作为稍后给出的更详细说明的前序。用于基于在摄像头的预先确定的范围内做出的姿势来控制基于计算的设备的系统和方法，其中，预先确定的范围是捕摄像头的视域的子集。在预先确定的范围以外做出的任何姿势都被忽略，并且不导致基于计算的设备执行任何动作。在一些示例中，姿势用于控制在视频会议会话中实现的绘图画布。在这些示例中，单个摄像头可以用于生成视频会议用户的图像，其用于检测预先确定的范围内的姿势，并向视频会议会话的其它各方提供用户的可视图像。由于通过参考结合附图考虑的以下具体实施方式，许多附带特征变得更好理解，因此许多附带特征将更加容易领会。附图说明根据考虑到附图阅读的以下具体实施方式将更好地理解本说明书，在附图中：图1是用于使用姿势来控制基于计算的设备的系统的示意图；图2是示例捕捉设备和图1的示例基于计算的设备的框图；图3是图1的预先确定的范围的示意图；图4是用于使用图1的系统来检测姿势的示例方法的流程图；图5是虚拟画布的示意图；图6是用于生成可以使用图1的系统的输出来控制的虚拟画布的示例基于计算的设备框图；图7是示出了图5的虚拟画布的位置的一系列示意图；图8是示出了出现在用户显示器上的图5的虚拟画布的一系列示意图；图9是示出了图5的虚拟画布上的绘图元素的生成的一系列示意图；图10是示出了图5的虚拟画布上的凝聚效果的一系列示意图；图11是示出了图5的虚拟画布上的亲吻效果的一系列示意图；以及图12是可以在其中实现控制系统和/或方法的实施例的示例性的基于计算的设备的框图。相同的参考标号用于表示附图中相同的部件。具体实施方式结合附图在下文中提供的具体实施方式旨在作为所给出示例的描述，而不是旨在表示可以构造或使用所给出的示例的唯一形式。该描述阐述了示例的功能和用于构造和操作示例的步骤的序列。然而，相同或等效的功能和序列可以由不同的示例实现。如上所述，在传统的NUI系统中，一个或多个摄像头用于捕捉用户的图像，以便检测和跟踪用户的身体部分(例如，手、手指)来识别由检测到的身体部分执行的姿势。任何检测到的姿势然后可以用于控制计算设备。然而，这样的系统可能检测到摄像头的视域中的其它对象，这些对象可能被误解为使用者的身体部分，这可能导致检测到错误的姿势。这在视频会议系统中尤其是问题，在所述视频会议系统中，用户或视频会议的一方的身后可能发生摄像头视域内的动作，或者用户他/她本身可能正在做出不意在被用作姿势输入的动作(如使用计算设备的触摸屏)。该动作可能(a)被错误地识别为可以导致计算设备执行并非有意的命令的姿势输入；并且(b)浪费用于确定和跟踪是不相关输入的对象的资源。因此，需要控制针对相关对象分析的区域。本文中描述的是用于使用仅在捕捉设备的预先确定的范围(即，三维量)内执行的姿势来控制基于计算的设备的系统和方法，其中，预先确定的范围是捕捉设备的视域的子集。本文中使用术语子集来意指项目的一部分，并且并不包括整个项目。系统从捕捉设备接收场景的图像流，其分析该图像流来识别预先确定的范围内的场景中的对象。一旦系统确定了预先确定的范围内的对象，其跟踪这些对象以确定预先确定的范围内的对象的位置和/或运动并且识别由这些对象执行的任何姿势。所确定的位置和识别出的姿势然后可用于控制基于计算的设备。在位置和姿势信息可以用于控制视频会议应用的情况下。具体而言，可以使用位置和姿势信息来控制视频会议应用内的绘图画布。在这些情况下，捕捉设备可以包括用于生成用户的单个图像流的单个摄像头。该单个图像流可以用于(a)识别对象和检测姿势；以及(b)向视频会议的其它各方提供用户的可视图像。如上所述，通过限制可以做出姿势的区域，降低了可能导致基于计算的设备执行并非有意的命令的错误识别的姿势的数量(因此使得姿势识别更加鲁棒)；并且资源不被浪费用于识别和跟踪不是相关输入的对象。虽然给出的示例在本文中描述和示出为在视频会议系统中实现，但本文中描述的系统是作为示例而非限制提供的。本领域技术人员将明白：给出的示例适用于各种不同系统中的应用。现在参考图1，图1示出了用于使用捕捉设备102的视域内的预先确定的范围中执行的姿势来控制基于计算的设备104的示例系统100。图1中示出的基于计算的设备104是具有单独的处理器组件106和显示屏幕108的传统的桌面式计算机；然而，本文中描述的方法和系统可以同样应用于基于计算的设备104，其中，处理器组件106和显示屏幕108诸如在膝上型计算机和平板计算机中那样集成在一起。捕捉设备102生成场景的图像，该图像由捕捉设备102或基于计算的设备104来解释或分析，以便检测在捕捉设备102的视域内的预先确定的范围中做出的姿势。参考图3更加详细地描述了预先确定的范围。预先确定的范围中检测到的姿势然后可以用于控制基于计算的设备104的操作。虽然图1的系统100包括单个捕捉设备102，但本文中描述的方法和原理可以同样应用于具有多个捕捉设备102的控制系统。在图1中，捕捉设备102安装在显示屏幕108的顶部，并指向用户110。然而，在其它示例中，捕捉设备102可以嵌入到环境中的任何其它合适的对象中或安装于其上(例如，在显示屏幕108之内)。在操作中，可以使用由捕捉设备102生成的图像来跟踪对象(例如，用户的面部或手)，以便对象的位置和运动可以由捕捉设备102或基于计算的设备104解释为执行可以用于控制由基于计算的设备104执行或在基于计算的设备104上显示的应用的姿势。系统100还可以包括在基于计算的设备104通信中允许用户通过传统手段来控制基于计算的设备104的其它输入设备，诸如，键盘或鼠标。现在参考图2，图2示出了可以用于图1的系统100的捕捉设备102的示意图。捕捉设备102包括用于捕捉场景的图像的至少一个成像传感器202。成像传感器202可以是被配置为捕捉场景的深度信息的深度摄像头。深度信息可以是包括深度值(即，与和深度摄像头与位于该图像元素处的项目或对象之间的距离相关的深度图像的每个图像元素(例如，像素)相关联的值)的深度图像的形式。可以使用任何合适的技术(包括例如，渡越时间、结构化光线、立体图像等等)来获得深度信息。捕捉到的深度图像可以包括捕捉到的场景的2维(2-D)区域，其中，该2-D区域中的每个图像元素代表来自成像传感器202的捕捉到的场景中的对象的诸如长度或距离的深度值。在一些情况下，成像传感器202可以是两个或更多个物理上分隔开的摄像头的形式，其从不同的角度观看场景，以便获得可以被解析以生成深度信息的本文档来自技高网...

【技术保护点】
一种控制基于计算的设备的方法，所述方法包括：在处理器处接收来自捕捉设备的场景的图像流；分析所述图像流来识别所述捕捉设备的预先确定的范围内的所述场景中的一个或多个对象，所述预先确定的范围是所述捕捉设备的视域的子集，所述子集与所述捕捉设备分隔开；跟踪一个或多个识别出的对象来识别由所述一个或多个识别出的对象执行的一个或多个姿势；以及使用所述一个或多个识别出的姿势来控制所述基于计算的设备。

【技术特征摘要】
【国外来华专利技术】2014.02.28 GB 1403586.9;2014.04.01 US 14/242,6491.一种控制基于计算的设备的方法，所述方法包括：在处理器处接收来自捕捉设备的场景的图像流；分析所述图像流来识别所述捕捉设备的预先确定的范围内的所述场景中的一个或多个对象，所述预先确定的范围是所述捕捉设备的视域的子集，所述子集与所述捕捉设备分隔开；跟踪一个或多个识别出的对象来识别由所述一个或多个识别出的对象执行的一个或多个姿势；以及使用所述一个或多个识别出的姿势来控制所述基于计算的设备。2.根据权利要求1所述的方法，其中，所述一个或多个识别出的姿势用于控制在所述基于计算的设备上运行的视频会议应用。3.根据权利要求1所述的方法，其中，所述预先确定的范围是三维量。4.根据权利要求3所述的方法，其中，所述三维量不是矩形。5.根据权利要求1所述的方法，其中，所述一个或多个识别出的姿势用于控制下列两项或下列两项中的一项：在所述基于计算的设备上运行的绘图应用；在所述基于计算的设备上运行的操作系统。6.根据权利要求5所述的方法...

【专利技术属性】
技术研发人员：H·特贝尔，M·尼尔松，R·瓦芬，J·皮恩丁，A·克里米尼西，I·穆纳辛哈，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US