当前位置: 首页 > 专利查询>英特尔公司专利>正文

使用标记区域对视频流的手势预处理制造技术

技术编号:19690508 阅读:28 留言:0更新日期:2018-12-08 10:50
公开了用于通过采用阶梯状的及分布式管线步骤而对视频流进行处理以降低平台功率的技术,其中,选择性地执行CPU密集型处理。所述技术特别适用于基于手部的导航手势处理。在一个示例性事例中,例如,所述技术在计算机系统中实现,其中初始阈值检测(图像扰动)以及选择性地用户存在(手部图像)处理组件接近所述系统的相机或在所述相机内,并且所述相机位于系统的主显示器内或者接近所述显示器。在一些事例中,处于标记区域外的多在个处理阶段之间的图像处理及像素信息传输被抑制。在一些实施例中,所述标记区域与鼠标垫或指定的桌面区或用户输入设备(例如,键盘)对齐。由系统所评估的像素可被限制在所述标记区域的子集中。

【技术实现步骤摘要】
使用标记区域对视频流的手势预处理本申请为分案申请,其原申请是于2015年5月13日(国际申请日为2013年12月10日)向中国专利局提交的专利申请,申请号为201380059289.8,专利技术名称为“使用标记区域对视频流的手势预处理”。相关申请本申请是2012年12月13日提交的、名称为“GesturePre-ProcessingofVideostreamtoReducePlatformPower”的美国专利申请No.13/713849的连续部分。此外,本申请与2013年3月13日提交的、名称为“GesturePre-ProcessingofVideoStreamUsingSkintoneDetection”的美国专利申请No.13/801111有关。这些申请中的每一个均通过引用整体并入本文。
技术介绍
对于终端用户,大多数的计算机用途是将所述终端用户连接到因特网,这是通过浏览接口进行的。常见用途及活动包括例如基于搜索引擎的浏览、电子邮件(email)、社交网络、内容消费(例如,浏览新闻及视频)、内容分享(例如,照片、音乐等)、在线购物和采买、以及地图和定向等等。这些常见的因特网用途通常需要某种形式的基于用户的导航,例如通常使用鼠标或触摸板及关键词完成。为了改善用户导航体验,已经产生了基于手势的导航技术。特别地,用户手的移动可通过所谓的网络摄影机记录下来并转换成指针的移动。典型的基于手势的导航应用结合网络摄影机进行操作,其能够模仿通常使用常规的鼠标或触摸板来执行的动作:点击、双击、拖拽及滚动。用户也可利用头部的移动来控制计算机或以其它方式实施导航。存在两种用于使用相机实现人体手势的基本方法:使用具有所谓的标记的物体的手势(其中,标记被设置在与相机传感器交互的视野内),以及无标记手势(例如,无标记的手部手势)。无标记手势技术可使用三维或3D相机(具有Z深度)来实现,这通常用于观察约3至5米(m)范围的距离,或使用二维或2D相机(根据2D信息而解释3D运动)实现,这通常用于观察约0.5米(m)范围的距离。诸如台式计算机或工作站、膝上型计算机或平板计算机、或游戏机等的计算环境中的图形处理通常需要大量复杂的操作。这些操作包括例如关于确保图像被适当并及时地被渲染以及关于手势识别的操作。在这些操作的情况下出现很多重要的问题。附图说明图1a用图形示出了根据本文所披露的技术的实施例的,用于执行对视频流的手势预处理以降低平台功耗的阶梯状的分布式流程。图1b示出了根据实施例的图1a中的阶梯状的分布式流程的流程图。图2a示出了根据本文所披露的技术的实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的系统的框图。图2b示出了根据实施例的来自图2a所示系统的不同阶段的控制和数据流。图2c示出了根据本文所披露的技术的实施例的,在给定特定的计算系统设置的情况下针对每个流程的典型CPU利用率,并由此表明通过使用对视频流的阶梯状的分布式手势预处理可具有的改善潜力。图2d示出了根据本文所披露的技术的实施例的,用于肤色阈值检测以降低平台功耗的示例性方法。图2e示出了根据本文所披露的技术的另一实施例的,用于肤色阈值检测以降低平台功耗的示例性方法。图3a示出了根据本文所披露的技术的实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的计算系统的示例性使用事例。图3b-e每个都示出了根据本文所披露的技术的实施例的用于相机及GP电路的各个示例性配置。图4示出了根据本文所披露的技术的实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的计算系统的框图。图5示出了根据本文所披露的技术的另一实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的计算系统的框图。图6示出了根据本文所披露的技术的另一实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的计算系统的框图。图7示出了根据本文所披露的技术的实施例的,可减少多少平台功耗的示例。图8示出了根据本文所披露的技术的另一实施例的,被配置为用于执行对视频流的阶梯状的分布式手势预处理以降低平台功耗的应用程序接口(API)的框图。图9a-b每个都示出了根据本文所披露的技术的实施例的,用于控制计算机系统的手势视频处理系统视野内的示例性标记区域。图9c示出了根据本文所披露的技术的实施例的,用于对目标存在的标记的检测阈值的方法。图10a-f示出了根据本文所披露的技术的实施例的,可在控制计算系统中使用的示例性手势。图11a-f示出了根据本文所披露的技术的实施例的,手势视频处理系统如何对视野内部的给定手势针对六轴移动机而进行分析。图12示出了根据本文所披露的技术的实施例的用于分析手势视频的方法。图13示出了根据本文所披露的技术的实施例配置的媒体系统。图14示出了根据本文所披露的技术的实施例配置的移动计算系统。具体实施方式所披露的技术用于通过采用阶梯状的及分布式管线来处理视频流以减少平台功率,其中选择性地执行CPU密集型处理。根据一些实施例,所述技术特别适用于对视频流的基于手部的导航手势的高效处理。所述流程的阶梯状的及分布式本质允许在图像处理之前将图像数据从给定的相机传输至存储器所需的功率减少。在一个示例性事例中,例如,所述技术在用户计算系统中实现,其中初始阈值检测(图像扰动)以及可选的用户存在(手部图像)处理组件靠近所述系统的相机或在所述相机内部,并且所述相机位于系统的主显示器内部或者靠近所述显示器。在一些实施例中,为了进一步帮助减少功耗,多个处理阶段中的至少一些之间的位于标记区域外部的图像处理及像素信息传达被消除或以其它方式被抑制。所述标记区域可以是给定视野的子集,并且在一些示例性事例中,所述标记区域与鼠标垫或指定的桌面区或用户输入设备(例如,键盘)对齐,其中所述标记区域由鼠标垫、桌面区、输入设备的周边(perimeter)进行界定。为了进一步节省处理功率,其中所述标记区域由所述鼠标垫、桌面区、输入设备的周边进行界定。为了进一步节省处理功率,由所述系统评估的多个像素可被限定在所述标记区域的子集内。在其它示例中,所述标记区域为给定视野的用户可配置子集。计算系统可以是例如具有在系统内部和/或外部的显示器和相机的任何移动或固定的计算机系统。总体概述如上所述,在图像处理情景中,尤其是关于手势识别,出现了很多重要的问题。例如,执行典型的2D及3D视频图像处理以用于手势识别的工作负荷消耗了相当大的输入/输出(I/O)功率,并使中央处理单元(CPU)利用率达和平台散热设计功率(有时被称为TDP)预算到最大。在以下应用中这些问题更为恶化:相机一直开启并提供图像以供处理,并且因此即便在可视图像内没有发生任何相关情况仍然耗电。例如,捕获图像信息并将其推送至CPU以进行处理很容易地消耗超过10瓦的功率,即便是对于简单的手势或其它在运算上简单的任务。大部分图像处理工作负荷通常涉及在计算上更加复杂的任务,并在或接近最大可用视频处理功率进行操作,其天然地受到CPU利用率及功率预算的限制。因此,图像处理应用可能消耗全部可用的CPU周期,不给其它应用留下可用的CPU处理能力或留下不足的CPU处理能力。相机本身的功率是在图像处理之前将本文档来自技高网...

【技术保护点】
1.一种成像系统,包括:相机电路,所述相机电路生成图像数据的帧,所述相机电路包括用于采集图像数据的传感器电路;阈值检测阶段,其包括被配置为确定图像数据的第一帧与第二帧之间的变化量的集成电路,所述阈值检测阶段的集成电路还被配置为响应于所述变化量不满足变化阈值,停止由所述阈值检测阶段之后的处理阶段对所述第二帧的进一步处理;以及目标存在阶段,其在所述阈值检测阶段之后并且包括集成电路,所述目标存在阶段的集成电路被配置为响应于所述变化量满足所述变化阈值,判断所述第二帧是否包括肤色像素,所述目标存在阶段的集成电路还被配置为响应于所述第二帧不包括肤色像素,停止由所述目标存在阶段之后的阶段对所述第二帧的进一步处理。

【技术特征摘要】
2012.12.13 US 13/713,849;2013.03.13 US 13/800,9101.一种成像系统,包括:相机电路,所述相机电路生成图像数据的帧,所述相机电路包括用于采集图像数据的传感器电路;阈值检测阶段,其包括被配置为确定图像数据的第一帧与第二帧之间的变化量的集成电路,所述阈值检测阶段的集成电路还被配置为响应于所述变化量不满足变化阈值,停止由所述阈值检测阶段之后的处理阶段对所述第二帧的进一步处理;以及目标存在阶段,其在所述阈值检测阶段之后并且包括集成电路,所述目标存在阶段的集成电路被配置为响应于所述变化量满足所述变化阈值,判断所述第二帧是否包括肤色像素,所述目标存在阶段的集成电路还被配置为响应于所述第二帧不包括肤色像素,停止由所述目标存在阶段之后的阶段对所述第二帧的进一步处理。2.根据权利要求1所述的系统,还包括手势处理阶段,所述手势处理阶段在所述目标存在阶段之后并且被配置为判断所述第二帧是否包括特定对象。3.根据权利要求2所述的系统,其中,所述特定对象包括手。4.根据权利要求2所述的系统,其中,所述手势处理阶段包括图形处理器、或通用处理器、或者包括图形处理器和通用处理器两者。5.根据权利要求1所述的系统,其中,所述阈值检测阶段和所述目标存在阶段之一或两者还被配置为处理与所述系统的给定视野内的区域相对应的图像帧数据,所述区域是所述视野的子集,由此不处理所述区域之外的图像帧数据。6.根据权利要求5所述的系统,其中,所述区域对应于所述第一图像和所述第二图像中的每者的特定部分。7.根据权利要求1所述的系统,其中,所述阈值检测阶段或所述目标存在阶段、或所述阈值检测阶段和所述目标存在阶段中的每者是所述相机电路的部分。8.根据权利要求1所述的系统,其中,所述阈值检测阶段或所述目标存在阶段、或所述阈值检测阶段和所述目标存在阶段中的每者是所述传感器电路的部分。9.根据权利要求1所述的系统,其中,所述系统被集成在显示装置内。10.一种用于处理图像数据以识别在所述图像数据中采集的用户手势的系统,所述系统包括:第一处理阶段,其包括集成电路以用于识别对图像数据中的活动的指示,并且在识别出不足的活动的情况下停止由后续处理阶段对所述图像数据的处理;以及第二处理阶段,其在所述第一处理阶段之后并且包括集成电路,所述第二处理阶段被配置为通过判断其中已经识别出足够的活动的图像数据是否包括肤色像素而识别在该图像数据中的用户的存在,并且响应于该图像数据不包括肤色像素,所述第二处理阶段还被配置为停止由后续处理阶段对所述图像数据的进一步处理。11.根据权利要求10所述的系统,其中,所述第一处理阶段和所述第二处理阶段的至少其中之一还被配置为忽略处于给定视野内的区域之外的图像数据,所述区域是所述视野的子集。12.根据权利要求11所述的系统,其中,所述子集是像素扫描线、部分像素扫描线、和单个像素中的一个。13.根据权利要求10所述的系统,其中,所述...

【专利技术属性】
技术研发人员:J·伯尔
申请(专利权)人:英特尔公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1