头部姿势估算方法和系统技术方案

提供有效估算用户脸部和头部姿势的改进，使得计算机或类似的设备可跟踪用户对显示设备的关注。随后用户所转向的显示器或图形用户界面的区域会被自动选择，而不需要用户提供更多的输入。应用正面脸部检测器来检测用户的正面脸部，且随后由部位检测器检测关键面部点，诸如左／右眼中心、左／右嘴角、鼻尖等。系统然后由图像跟踪器跟踪用户的头部，并按照关键面部点和／或姿势估计器的置信度输出，通过粗略到精细的过程来确定用户头部姿势的偏转、倾斜和滚动的角度和其它姿势信息。

【技术实现步骤摘要】

本专利技术涉及计算机和软件，并且更具体地，涉及用于估算用户头部的位置并根据这种估算影响可应用的计算机操作的方法和系统。
技术介绍
计算机和其它类似的设备几乎在每个行业和环境中都是无价的工具。这些设备和装置以各种各样不同的形式出现，并可将它们设计为通用或专用工具。大多数这些设备的共同点是与用户接口的需求。典型通用计算机可包括，例如，显示装置和至少一个输入装置。显示装置，例如基于CRT的监视器、平板显示器等，用于与用户可视地交流信息。这种交流常常是，例如，使用图形用户界面(GUI)软件程序等完成的。一般地，用户通过向计算机提供用户输入与一或多个关联于GUI的计算机程序连接，以由程序和/或GUI识别的某些方式并引起计算机操作/数据中的某些改变。例如，用户可以物理方式移动定位设备，诸如鼠标，它配置成向计算机逻辑发送信号，使得在GUI内图形指针相应移动。有了这样的用户输入设备，用户就可通过移动图形指针到显示的GUI内的特定区域并向计算机硬件输入选择信号，例如，通过触发配备在鼠标上的按钮等等，来选择某些程序/GUI特征。这样的操作是普通的并易于理解。随着计算能力的持续增长，许多操作系统、程序、GUI等能够支持/执行多个任务。这对具有足够大的显示设备来呈现多个不同程序GUI的计算机特别有用。例如，用户可配置计算机在一个或多个显示设备中同时显示字处理应用和电子表格应用。当有多个任务显示时，还需要识别用户当前正在交互的GUI和相应程序/应用的计算机逻辑。这样，在上述例子中，为切换计算机逻辑的焦点到应用之一，用户一般“点击”或者选择GUI区域之一。这将使计算机逻辑(例如操作系统)认出随后的用户输入将关联于所选择的程序。因此，当上例中的用户要从字处理应用切换到电子表格应用时，用户可将图形指针指向关联于电子表格应用的GUI的一部分并点击鼠标按钮。在其它示例性装置中，用户可通过输入一个或多个键盘敲击在GUI内不同的潜在可选择区域之间切换焦点。这种键盘技术可能在GUI内有较大量的可选择区域时变得不那么有效，并要求用户重复几次输入序列直到所期望的可选择区域自动地在焦点上。虽然使用鼠标或其它类似的用户定位设备的技术可证实对用户在几个可选择区域间选择更容易，但当显示设备呈现大GUI界面时它们仍会变得难以承担。在这种装置中，可能要求用户移动鼠标越过大范围，并可能要求拿起鼠标并再放回到桌面/表面上它已移过的不同位置，来完成GUI内所期望的图形指针移动。触摸板定位设备也要求类似的动作。作为进一步的例子，可能要求用户旋转轨迹球等等定位设备一段延长的时间段，来移动屏幕上的光标到所期望的可选择区域。因此，这些不同的技术和其它类似它们的技术，在某种程度上趋向阻碍或者降低多任务用户界面环境的效率。继而，需要新的和/或改进的方法、装置和系统来对计算机或其它类似设备提供用户输入。概述提供了有效估算用户脸部和头部姿势的方法、装置和系统，使得计算机或类似设备能够根据估计的头部姿势跟踪用户的关注区域。随后，用户正看着的显示器或图形用户界面的区域可被自动选择，而不需要用户提供任何更多的输入。例如，在某些实现中，应用正面脸部检测器来检测用户的正面脸部，且随后由部位检测器检测关键面部点，诸如左/右眼中心、左/右嘴角、鼻尖等。随后系统由估计器，诸如迭代SSD(差的平方和)跟踪器，在时间上接着发生的帧/图像中跟踪用户的头部。最后的偏转和倾斜角度结果，例如，随后提供用于给选择适当的应用/文档的鼠标接口等。还可建立阈值和可编程的延迟以更好地控制各种打开的应用/文档的选择。作为进一步的例子，由与计算设备一起使用的方法满足上述需求及其它。该方法包括确定计算设备的用户在第一时间的第一头部姿势和至少在第一时间之后的第二时间用户的第二头部姿势。例如，可使用不同的图像帧。方法随后包括自动可操作地在计算设备的至少一个显示设备上的至少两个可选择区域之间根据第一头部姿势与至少第二头部姿势之间的至少一个差异切换。在这种方式中，例如，当用户把他/她的头转动(旋转和/或倾斜)以观察计算机显示器的不同可选择区域时，计算设备将认出它并将用户输入焦点等切换至所观察的区域。在某些实现中，确定第一头部姿势还包括，在第一时间，生成显示至少用户脸部第一部分的第一图像、检测第一图像内脸部的至少第一部分、以及检测脸部的被检测的第一部分内的至少两个不同点并存储关联于每个不同点的跟踪信息。同样地，确定第二头部姿势还包括，在第二时间，生成显示至少用户脸部第二部分的第二图像、检测第二图像内脸部的至少第二部分、以及检测脸部的被检测的第二部分内的至少同样的两个不同点并存储关联于每个不同点的跟踪信息。在某些更多的示例性实现中，方法还包括至少比较第一跟踪信息和第二跟踪信息来确定关联于用户的估算的显示设备视图是否在第一时间到第二时间之间改变。如果关联于用户的估算的显示设备视图在第一时间和第二时间之间改变，那么方法包括可选择可操作地将在显示设备上呈现的用户输入界面焦点切换到关联于估算的显示设备视图的可选择区域。方法还可包括根据至少一个分类参数来分类关联于第一图像的图像数据的多个部分的每一个部分，以确定至少一个关联于脸部的第一部分的面部区域，并且在第二图像的相应部分中，图像补片跟踪关联于脸部的第一部分的面部区域，以识别至少一个被检测的脸部区。例如，图像补片跟踪可使用差的平方和(sum-of-square difference)(SSD)图像补片跟踪器，以识别被检测的脸部区。图像补片跟踪还可将所得到的被检测的脸部区的至少一部分与至少一个告警阈参数比较，以确定是否要求相关联的系统初始化过程。在某些实现中，方法还包括在被检测的脸部区内检测至少一个关键面部部位，并且根据被检测的关系面部部位确定精细的用户头部姿势。方法还包括，根据与在被检测的脸部区内检测不同的关键面部部位相关联的置信度信息，确定粗略的用户头部姿势，以及根据被检测的关键面部部位和置信度信息确定精细的用户头部姿势。在某些实现中，确定精细的用户头部姿势还包括使用至少一个估计器技术，诸如例如，椭圆估计器技术和/或迭代估计器技术。附图说明可通过在结合附图时参考下面详细的描述，获得本专利技术的各种方法和装置的更完整的理解，其中图1是方框图，示出示例性计算机系统。图2是方框图，示出一个系统，用于按照本专利技术的某些示例性实现估算人的头部姿势。图3(a-d)是说明图，示出三维用户头部的某些示例性面部特征以及按照本专利技术的某些方面，在这些面部特征之间的几何形状如何对于观测器与在脸部的两维图像内显得不同。图4是另一个方框图，示出具有姿势估计逻辑的系统，它配置为按照本专利技术的某些示例性实现，估算人的头部姿势。图5是方框图，示出按照本专利技术的某些另外的实现中，在示例性姿势估计逻辑以及也在例如图4中的某个用户界面功能/逻辑内的某些功能。图6是流程图，示出按照本专利技术的某些示例性实现的姿势估计过程。详细说明示例性计算环境图1示出了适当的计算环境120的例子，在其中后面所描述的方法和安排可以实现。示例性计算环境120只是适当的计算环境的一个例子，并不意在对这里所描述的改进的方法和安排的使用或功能范围提示任何限制。计算环境120不应解释为具有关于计算环境120中所示的部件的任何一个或者组合的依赖或需求。这里改本文档来自技高网...

【技术保护点】
一种与计算设备配合使用的方法，包括：　　　　确定计算设备的用户在第一时间的第一头部姿势；　　　　　确定所述用户在所述第一时间之后的第二时间的至少一个第二头部姿势；以及　　　　根据所述第一头部姿势与至少所述第二头部姿势之间的至少一个差异，自动地可操作地在计算设备的至少一个显示设备的至少两个可选择区域之间切换。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：Y胡，L张，M李，HJ张，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]