健壮的在线脸部跟踪制造技术

描述了用于健壮的在线脸部跟踪的系统和方法。在一个实现中，一种系统导出描绘可视对象运动的视频序列的每一视频帧的多个分辨率。该系统以较低分辨率跟踪可视对象的运动，作为用于以高分辨率跟踪可视对象的输入。该系统能够大大减少抖动，同时维持可靠跟踪快速移动可视对象的能力。

【技术实现步骤摘要】
【国外来华专利技术】健壮的在线脸部跟踪些旦 冃眾对于在线视频应用以及新兴的计算机视觉领域，跟踪诸如人脸表现的可视 对象仍然具有挑战性。尽管已有了很多研究，但是开发实际系统仍然面临诸多 挑战，诸如如何处理屏幕上脸部外观的改变、如何在突然移动时保持跟踪、以 及如何最小化抖动等。按照惯例，某些脸部跟踪技术使用能够显著改善性能的基于粒子的滤波器 跟踪。然而，在实际应用中，这类脸部跟踪通常最终会因复杂的背景噪声、外 观变化和快动作而失败。比单独由粒子滤波器跟踪所能提供的更为健壮的脸部 跟踪技术是诸如控制台游戏、即时消息应用、影片编辑、数字媒体生成等实际 系统所不可或缺的。为了投入实际应用，例如用于在线视频的脸部跟踪系统应该是快速的，带 有较高的检测率；并且是有效的，带有较低的跟踪失败率。这一脸部跟踪系统 应该实时跟踪而不占据计算机处理资源的主要份额，也不会遭遇明显的抖动。 在发生脸部跟踪的同时应该能够执行其他的处理任务。概述描述了用于健壮的在线脸部跟踪的系统和方法。在一个实现中， 一种系统 导出描绘可视对象运动的视频序列的每一视频帧的多种分辨率。系统以较低分 辨率跟踪可视对象的运动，作为以更高分辨率跟踪可视对象的输入。该系统 能够大大减少抖动，同时保持可靠地跟踪快速移动可视对象的能力。提供本概述以便以简化形式介绍概念精选，这些概念将在以下的详细描述 中被进一步描述。本概述并不旨在标识要求保护的主题的关键特征或本质特 征，也不旨在用于帮助确定要求保护的主题的范围。附图简述附图说明图1是示例性脸部跟踪系统的框图。 图2是示例性脸部跟踪引擎的框图。图3是示例性多尺度(multi-scale)跟踪器的框图。 图4是示例性脸部跟踪方法的流程图。详细描述 概览在此描述的系统和方法例如为在线视频应用提供了对人脸或其他可视对 象的健壮跟踪。示例性的脸部跟踪系统具有可靠地执行快动作跟踪(即，跟踪 可视对象的突然快速位置改变)同时减小抖动的能力。这通过以不同分辨率跟 踪可视对象来实现"多尺度跟踪"。示例性系统还对由于光照、表情、身体 位置等的改变造成的可视对象(例如，脸部)外观的改变表现稳定。在一个实 现中，示例系统利用全局脸部检测器和局部脸部检测器两者。因此，示例系统 通常包括脸部检测组件和多尺度跟踪组件两者。示例性系统图1示出了示例性可视对象跟踪系统，在此情况下为脸部跟踪系统100。 示例性脸部跟踪系统100是其中可以执行在此描述的脸部跟踪的计算环境。示 例性脸部跟踪系统100包括通常连接至因特网104的计算设备102，诸如台式 计算机。计算设备102在显示监视器106上显示图形输出，并且执行各应用， 诸如例示出的生成具有逼真运动的现实图形场景的游戏应用108。示例性脸部 跟踪引擎112在视频帧(诸如来自在线应用的视频帧)序列中自动找出每张脸 114，并跟踪每张脸114的位置。这一脸部跟踪在许多在线环境下很重要，例 如在连接至因特网104的另一远程玩家或远程进程控制诸如动画角色脸部的可 视对象的局部移动时。示例性脸部跟踪引擎112是健壮的，也就是说即便在快 速移动和外观改变的情况下仍不会轻易丢失对脸部位置的跟踪，并且能够可靠 地消除抖动同时保持高效计算。示例性引擎图2更为详细地示出了图1中的示例性脸部跟踪引擎112。虽然示例性引擎112在此称为"脸部跟踪引擎"，但是跟踪脸部只是提供作为该示例性引擎 112能够执行的更为普遍的"可视对象跟踪"的一个示例。示例性脸部跟踪引擎112的所示配置旨在为概览目的而提供一个示例性安排。所示组件或类似组件的许多其他安排在主题范围内也是可能的。这一示例性脸部跟踪引擎112可以用硬件、软件或硬件、软件、固件的组合等来执行。示例性脸部跟踪引擎112包括其内包含全局脸部检测器204的跟踪初始器 202、分辨率金字塔生成器206、多尺度跟踪器208、其内包含局部脸部检测器 212的区域扫描器210、所存储的脸部模板214、以及脸部模板评估器216。分辨率金字塔生成器206可以进一步包括原始图像缓冲器218、图像缓冲 器220、层数选择器222和图像下采样器224。示例性多尺度跟踪器2.08捕捉脸部114的快动作同时控制抖动。按照惯例， 粒子滤波器用于处理非线性和非高斯跟踪问题，并且有能力捕捉快动作。然而， 单独使用粒子滤波器获得的跟踪结果会遭受很多抖动，这是并对实际系统不利 的。示例性多尺度跟踪器208要在快动作检测和抖动控制之间达成折衷。多尺度跟踪器208因此就可包括两个或多个脸部跟踪器，用来在每个给定 视频帧的分层分辨率版本("各层")中跨显示图像IIO跟踪脸部移动。例如， 第一跟踪器226、第二跟踪器228、第三跟踪器230、和"第]^"跟踪器232 可被通信地耦合，用以跟踪其对应分辨率层内的脸部，而每个分辨率层都作为 原始图像的一个版本存储在图像缓冲器220内。多尺度跟踪器208还包括层间 初始器234，用来将脸部114的当前位置从跟踪器传送至跟踪器，也就是说传 送脸部位置以便在越来越高的分辨率下供连续跟踪器细化。为了开始脸部跟踪，跟踪初始器202通过接收视频内容的第一帧并在该帧 内找出脸部114来开始多尺度跟踪。跟踪初始器202的全局脸部检测器204经 由脸部特征来检测脸部114的出现，并且还确定脸部114相对于整个帧的位置。 跟踪初始器202随后把这一脸部最初位置提供给多尺度跟踪器208。打开全局 脸部检测器204，以在脸部跟踪分段的开始或者在脸部跟踪任务的间断(例如， 场景改变或者跟踪失败)之后执行其全局脸部检测任务。在整幅视频帧内对脸 部114的全局"搜索"是精确但耗时的，即计算量巨大，所以仅在刚才描述的 不知道脸部在帧内何处的情况下才打开该全局脸部检测器204。将脸部114的外观特征保持在已存储的脸部模板214内。这些己存储的 脸部特征由多尺度跟踪器208内的多个跟踪器用来识别脸部，从而可以随着脸 部114的移动跨各视频帧来确定脸部114位置变化。在全局脸部检测器204在第一视频帧内找出脸部114之后，至少部分后续 视频帧被提供给分辨率金字塔生成器206。原始图像缓冲器218存储其接收到 的视频帧，随后图像下采样器224就(例如，通过滤波)导出原始图像的不同 分辨率以便存储在图像缓冲器220内。由图像下采样器224导出的不同分辨率 数由层数选择器222确定。快动作跟踪能力通过添加更多的层而得到提升，也 就是说通过使用更多的不同分辨率版本以及在多尺度跟踪器208内使用更多的 对应跟踪器来得到提升。在较低(或最低)分辨率下工作的第一跟踪器226可以包括或者包含粒子 滤波跟踪器，用以捕捉目标脸部114的高度动态运动。另一方面，在较高(或 最高)分辨率下工作的"第N"跟踪器232可以包括或者包含均值偏移(mean shift)跟踪器。 一旦(最低分辨率)第一跟踪器226接收到来自跟踪初始器202 的初始脸部位置，第一跟踪器226随后就对后续视频帧进行处理，来跟踪脸部 位置的变化。层间初始器234将无把握的脸部位置从跟踪器传送到跟踪器，也就是说， 从每一较低分辨率器的跟踪器(例如，226)传送到更高分辨率的跟踪器(例 如，228)。这一传送将由每一连续跟踪器输出的脸部位置作为近似开始位置 输入到下一本文档来自技高网...

【技术保护点】
一种方法，包括：　　　　导出视频序列的各视频帧的多个分辨率，其中所述视频序列包括移动中的可视对象；　　　　在所述多个分辨率的较低分辨率下跟踪所述可视对象的移动；以及　　　　在所述多个分辨率的较高分辨率下跟踪所述可视对象的移动，其中在较低分辨率下所述跟踪的输出用作在较高分辨率下所述跟踪的输入。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：张伟伟，R肖，汤晓鸥，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]