采用拖延期的视频流的姿势预处理来减少平台功率制造技术

公开的技术用于处理视频流以通过采用分步的分布式流水线过程来减少平台功率，其中选择性地执行CPU密集处理。在一个示例情况下，这些技术在用户的计算机系统中实现，其中初始阈值检测部件（图像扰动）和用户存在（例如，手部图像）处理部件（可选地）接近或在系统的相机内，并且相机位于或接近系统的主显示器。阈值检测级和/或目标存在级可以在拖延期被选择性禁用。例如，拖延期可以在50到1000毫秒的范围中并且响应于系统的用户不可能作出导航姿势或系统没准备好处理视频的指示而被触发，因此通过避免没有导航姿势的视频帧的处理来保存功率。

【技术实现步骤摘要】
采用拖延期的视频流的姿势预处理来减少平台功率
技术介绍
最终用户的大多数计算机使用将最终用户连接到因特网，并且通过浏览接口发生。常见使用和活动包括例如基于搜索引擎的浏览、电子邮件、社交网络、内容消费（例如，新闻文章和视频观看）、内容共享（例如，照片、音乐等）、在线购物和购买、以及地图和方向，只列出一些。这样的常见因特网使用通常需要某个形式的基于用户的导航，例如典型地用鼠标或触摸板和关键词完成的导航。在改进用户导航体验的努力中，已经产生基于姿势（gesture）的导航技术。特别地，用户手部运动可以由所谓的网络相机（webcam）记录并且转化成指针运动。结合网络相机操作的典型的基于姿势的导航应用能够模仿通常用常规鼠标或触摸板执行的动作：单击、双击、拖拉和滚动。用户还可使用头部运动来控制计算机或以其它方式影响导航。存在两个使用相机实现人体姿势的基本方法：使用具有所谓的标记的对象的姿势（其中在视场中部署的标记与相机传感器交互），以及无标记的姿势（例如无标记的手势）。可以使用典型用于大约3到5米（m）范围中的观察距离的三维或3D相机（具有Z深度），或典型用于在大约0.5m范围中的观察距离的两维或2D相机（从2D信息解释3D运动），来实现无标记的姿势技术。计算环境（例如，桌上型计算机或工作站、膝上型计算机或平板计算机、或游戏控制台）中的图形处理通常需要多个复杂操作。这样的操作包括例如关于确保图像被适当并及时渲染的那些、以及关于姿势识别的那些。存在出现在这样的操作的上下文中的多个重要的问题。
技术实现思路
本专利技术一方面提供一种用于处理原始视频流的系统。该系统包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；以及目标存在级，配置为确定所述当前帧是否包括肤色颜色的（colored）像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；其中所述阈值检测级和/或目标存在级中的至少一个能够在拖延期（hold-offperiod）被选择性禁用。本专利技术另一方面提供一种用于处理原始视频流的系统。该系统包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；目标存在级，配置为确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；分割级，配置为接收来自所述当前帧的数据，并且将感兴趣的像素与不感兴趣的像素分开，其中感兴趣的像素被表示为二进制大对象（blob）并且不感兴趣的像素由非二进制大对象表示；手部分析器（parser）级，配置为执行从所述分割级接收的二进制大对象数据的空间解释；以及姿势识别级，配置为执行从所述手部分析器级接收的二进制大对象数据的时间解释并且识别用户基于手部的导航姿势；其中所述阈值检测级、目标存在级、分割级、分析器级和姿势识别级以分步的（stepped）分布式布置进行配置，并且所述阈值检测级和/或所述目标存在级中的至少一个能够在拖延期被选择性禁用。本专利技术又一方面提供一种使用原始视频流的计算机导航方法。该方法包括：在第一处理级处确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，停止后续级对所述当前帧的进一步处理；以及在第二处理级处确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，停止后续级对所述当前帧的进一步处理；其中所述第一和第二处理级中的至少一个能够在拖延期被选择性禁用，所述拖延期在50到1000毫秒的范围中并且响应于没有作出导航姿势的指示而被触发，因此通过避免没有导航姿势的视频帧的处理来保存功率。附图说明图1a根据本专利技术的实施例用图形图示用于实施视频流的姿势预处理来减少平台功耗的分步的分布式过程。图1b根据本专利技术的实施例图示图1a中分步的分布式过程的流程图。图2a根据本专利技术的实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的系统的框图。图2b根据本专利技术的实施例图示来自图2a中示出的系统的不同级（stage）的控制和数据流。图2c根据本专利技术的实施例示出用于过程中每个的典型CPU利用（给定特定计算系统设置），并且因此示范可以通过使用视频流过程的分步的分布式姿势预处理而具有的改进潜力。图3a根据本专利技术的实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的计算系统的示例使用情形。图3b-图3e根据本专利技术的实施例各自图示相机和GP电路的示例布置。图4根据本专利技术的实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的计算系统的框图。图5根据本专利技术的另一实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的计算系统的框图。图6根据本专利技术的另一实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的计算系统的框图。图7根据本专利技术的实施例图示可以减少多少平台功耗的示例。图8根据本专利技术的另一实施例图示配置用于实施视频流的分步的分布式姿势预处理来减少平台功耗的应用编程接口（API）的框图。图9图示根据本专利技术的实施例配置的媒体系统。图10图示根据本专利技术的实施例配置的移动计算系统。具体实施方式公开的技术用于通过采用分步的分布式流水线（pipeline）过程来处理视频流以减少平台功率，其中选择性地执行CPU密集处理。根据一些实施例，这些技术特别地适用于视频流的有效的基于手部的导航姿势处理。该过程的分步的分布式特性允许减小在图像处理之前将图像数据从给定相机传递到存储器所需的功率。在一个示例情况下，例如，在用户的计算机系统中实现这些技术，其中初始阈值检测（图像扰动）部件和用户存在（手部图像）处理部件（可选地）接近或在系统的相机内，并且相机位于或接近系统的主显示器。这些技术还可包括当用户摆姿势的手部忙于一些其它用户活动（例如，键盘、鼠标或触摸屏活动）时，通过在姿势预处理期间选择性地引入拖延期来减少图像处理。当计算机系统检测到这样的活动时，可以安全地推断基于手部的导航摆姿势未被同时实施，并且因此图像处理可以在那些无姿势期期间以及在随后简短的拖延期（例如，50到1000毫秒(mSec)、或50到500毫秒、或50到100毫秒）停止，拖延期通常反映用户将他/她的手部从鼠标/键盘/屏幕位置移回到通常实施基于手部的导航摆姿势的中间位置所花费的时间段。这样的停止可以被选择性地使用，例如只当计算机系统在电池或以其它方式受限的功率上操作时。例如，计算机系统可以是具有在系统内部和/或外部的显示器和相机的任何移动或固定计算系统。在一些情况下，这个中间位置的定位可以是用户可配置的。一般概述如先前解释的，存在出现在图形处理的上下文中的多个重要的问题，特别是关于姿势识别。例如，执行姿势识别的典型2D和3D视频图像处理的工作量消耗相对大量的输入/输出（IO）功率，并且对中央处理单元（CPU）利用和平台热设计功率（有时被称作TDP本文档来自技高网...

【技术保护点】
一种用于处理原始视频流的系统，包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；以及目标存在级，配置为确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；其中所述阈值检测级和/或目标存在级中的至少一个能够在拖延期被选择性禁用。

【技术特征摘要】
2013.01.09 US 13/7374131.一种用于处理原始视频流的系统，包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且响应于所述当前帧没有充分不同于所述前一帧，所述阈值检测级还配置为停止后续级对所述当前帧的进一步处理；以及目标存在级，配置为确定所述当前帧是否包括肤色颜色的像素，并且响应于所述当前帧不包括肤色颜色的像素，所述目标存在级还配置为停止后续级对所述当前帧的进一步处理；其中所述阈值检测级和/或目标存在级中的至少一个能够在拖延期被选择性禁用，并且其中所述拖延期是响应于所述系统的用户不可能作出导航姿势或所述系统未准备好处理视频的指示而被触发的时间段。2.如权利要求1所述的系统，其中所述阈值检测级配置为合计并且比较所述当前帧的亮度通道与所述前一帧的亮度通道，并且如果所述当前帧与所述前一帧之间的变化量大于给定阈值，则所述当前帧的数据被传到所述目标存在级用于进一步处理。3.如权利要求1所述的系统，其中所述目标存在级配置为将所述当前帧的数据转换成一个或多个HSV像素，并且如果找到充分数量的肤色颜色的像素，则所述当前帧的数据被传到下一处理级。4.如权利要求3所述的系统，其中所述下一处理级是分割级，所述分割级配置为将感兴趣的像素与不感兴趣的像素分开，其中感兴趣的像素被表示为二进制大对象，并且不感兴趣的像素由非二进制大对象表示。5.如权利要求4所述的系统，其中所述分割级配置为如下中的至少一个：消除由于相机噪声和/或照明引起的分散像素，和/或使用腐蚀和/或放大变形方法来处理成像数据。6.如权利要求4所述的系统，其中所述分割级在图形处理单元（GPU）中实现。7.如权利要求4所述的系统，还包括：分析器级，配置为通过将从所述分割级接收的二进制大对象数据映射到目标人体结构几何形状的模型来执行所述二进制大对象数据的空间解释。8.如权利要求7所述的系统，其中所述目标人体结构几何形状是手部。9.如权利要求7所述的系统，还包括：姿势识别级，配置为执行从所述分析器级接收的二进制大对象数据的时间解释以便查找所述用户的手部的位置改变。10.如权利要求9所述的系统，其中所述分割级、分析器级和/或姿势识别级中的至少一个配置为将反馈发送到所述阈值检测级和/或所述目标存在级中的至少一个。11.如权利要求1所述的系统，其中所述拖延期在50到1000毫秒的范围中。12.一种成像装置，包括权利要求1至11中任一项所述的系统和在操作上耦合到所述系统的相机。13.如权利要求12所述的成像装置，其中所述阈值检测级和所述目标存在级中的至少一个在所述相机的传感器电路内实现。14.一种显示器，包括权利要求1至11中任一项所述的系统。15.一种用于处理原始视频流的系统，包括：阈值检测级，配置为确定所述视频流的当前帧是否充分不同于所述视频流的前一帧，并且...

【专利技术属性】
技术研发人员：J伯尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US