面部检测方法和设备技术

一种面部检测方法包括：接收多个图像帧；对所述多个图像帧执行面部检测任务，所述面部检测任务包括多组的一个或多个子任务；其中每个组采用对应的检测区域尺寸。还提供面部检测设备。

【技术实现步骤摘要】
【国外来华专利技术】面部检测方法和设备
技术介绍
诸如数字照相机和照相机电话之类的设备常常提供面部检测模式。在此模式下，照相机检测场景中的面部并且然后自动地聚焦（AF）并优化曝光（AE）。即使人移动，照相机也将跟踪所检测到的面部，聚焦在其上并且相应地调整曝光。结果，面部检测和跟踪在拍摄肖像场景时为摄影师提供很多便利。虽然在产品广告中常常不区分“面部检测”和“面部跟踪”的术语，但是在技术观点上它们是大大不同的。虽然面部检测通常在图像的整个区域中工作以发现新出现的面部，但是面部跟踪通常在旧面部的非常小的相邻区域中工作并探测其移动。因此，单个面部跟踪可能比全图像面部检测花费少得多的计算（例如少2-3个数量级）。面部检测和跟踪特征可以在移动平台（例如照相机和照相机电话）中被实施为嵌入式软件解决方案，或者被实施为硬件加速的版本（IP核）以提供经加速的速度性能。然而，以有效的方式提供这些特征在计算上可能具有挑战性。附图说明在附图中，相同的附图标记一般地指示相同的、在功能上类似的和/或在结构上类似的元件。用附图标记中的最左侧的（一个或多个）数字来指示其中元件首次出现的图。将参考附图来描述本专利技术，在附图中：图1A-1C是示例性面部检测技术的图；图2A和2B是示例性面部检测技术的图；图3是示例性面部检测技术的图；图4和5是逻辑流程图；图6A和6B是示例性分类技术的图；图7是示例性设备的图；图8是示例性实施的图；以及图9和10是示出示例性性能特性的图。具体实施方式实施例提供涉及面部检测的技术。例如，可以将面部检测任务分解成成组的一个或多个子任务。随后，可以跨多个图像帧分配各组的子任务。此分配可以基于资源预算。另外，可以执行面部跟踪任务。这些技术可以改进用于面部检测和跟踪的性能效率，从而检测大的和小的面部这二者。通常，数字照相机和照相机电话将所检测面部的最小尺寸限制为图像高度的近似十分之一至八分之一。然而，这防止小的面部的检测（例如在包含一群人的图像中）。在本文中公开的技术可以有利地检测所有尺寸的面部。此外，这些技术可以有利地实现随时间推移而改进的负荷平衡，以及提供高度准确的检测和跟踪。此外，这些技术可以提供独立于图像尺寸的计算负荷。遍及本说明书的对“一个实施例”或“实施例”的提及意指，结合该实施例描述的特定的特征、结构或特性被包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的各种地方的出现不一定都是指相同的实施例。此外，可以在一个或多个实施例中以任何合适的方式来组合特定的特征、结构或特性。可以参考下列图和伴随实例来进一步描述用于实施例的操作。一些图可以包括逻辑流。虽然在本文中给出的这种图可以包括特定逻辑流，但是可以认识到，逻辑流仅仅提供如何可以实施在本文中所述的一般功能的实例。此外，给定的逻辑流不一定必须按照所给出的顺序来执行，除非另有指示。另外，可以用硬件元件、由处理器执行的软件元件、或其任何组合来实施给定逻辑流。实施例不限于本上下文。实施例提供将大的面部检测任务分解成较小子任务的技术。而且，实施例提供将面部检测和跟踪进行融合的技术。这种技术可以有利地减少随时间推移的不平衡处理负荷，如上面所解释的，面部检测比面部跟踪花费多得多的时间。这可以导致更好的用户体验（例如通过值得注意的性能抖动的减少或消除）。许多设备当前采用实时面部检测技术，其基于众所周知的Viola和Jones的技术，所述技术被公布为PaulViolaandMichaelJones,RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures,AcceptedConferenceonComputerVisionandPatternRecognition,2001。这些技术使用自适应增强（AdaBoost）分类器的级联以通过在图像上穷尽性地扫描窗口来检测面部。更特别地，Viola和Jones的技术可以采用称为积分图像的图像表示，其允许由检测器所使用的特征的快速计算。基于AdaBoost的学习算法从较大集合中选择少数的关键视觉特征以产生高效分类器。随后，这些技术以级联的方式组合越来越复杂的分类器。结果，可以在计算专用于更有希望的类对象的区域的同时快速地丢弃图像的背景区域。因此，根据Viola和Jones的技术，可以将分类器的级联视为对象特定的注意焦点机制。这些技术可能是计算密集的。例如，在2.4GHzIntel®Core™2Duo平台（可从加利福尼亚州圣克拉拉市的英特尔公司获得）中，Viola和Jones的算法的实施（使用OpenCV库）可以以320×240像素的图像分辨率花费约100毫秒。如上面所讨论的，在技术观点上面部检测和面部跟踪（在产品广告中常常不区分时）是大大不同的。更特别地，面部检测在图像的整个区域中工作以发现新出现的面部。然而，面部跟踪在旧的面部的非常小的相邻区域中工作并探测其移动。因此，单个面部的跟踪可能比全图像面部检测花费少得多的计算（例如少2-3个数量级）。因此，对于视频流（例如数字照相机的预览模式）而言，在每个帧中运行全图像面部检测在计算上不是经济的。为了节省计算，可以以少量帧（例如30个帧）的间隔周期性地运行面部检测，并且在此间隔期间连续地调用面部跟踪。然而，由于面部检测花费比面部跟踪基本上更多的时间，这可能遗憾地随时间推移而导致不平衡的处理负荷。此外，在具有减少的计算能力（例如与个人计算机相比更少的能力）的平台中，大图像中的面部检测可以在短时间段内阻塞系统。结果，可能发生用户可感知的抖动。如本文所述，面部检测（例如根据Viola和Jones的技术）可以涉及在整个图像区域上扫描窗口（例如矩形窗口）以检测面部。为了发现不同尺寸的面部（例如大的和小的），可以使用不同的窗口尺寸来反复地执行这种扫描。例如，可以从最小窗口尺寸（例如20×20像素）至覆盖整个图像区域的最大窗口尺寸来反复地执行扫描。在实施例中，可以将这种扫描分解成较小的任务。随后，可以将这些较小任务跨多个图像帧分布并在多个图像帧中执行。因此，通过此特征，可以有利地避免由于多尺寸面部检测而引起的系统阻塞。然而，将面部检测操作分解成较小任务不是小事。例如，将图像区域划分成相等的块并对每个块独立地执行面部检测是无效的。这是因为这种方法不能处理其中面部出现在两个块的边界处的情况。此外，覆盖这种块并未克服此问题，因为两个块应被覆盖多少是未知的（由于出现的（一个或多个）面部的尺寸是未知的）。此外，这种方法不能处理其中面部大于所划分图像块的情况。另一方法涉及对每个帧执行单尺度面部检测。然而，检测图像上小的面部比检测大的面部花费更多时间。这可能随时间推移而引起不平衡的工作负荷。实施例采用将面部检测任务分解成多个子任务的任务分解技术。可以对图像帧序列中的对应帧执行这些子任务中的每个。每个子任务采用对应的检测区域。检测区域是图像空间的一部分（例如矩形）。因此，每个子任务在其对应的检测区域内执行面部检测。这涉及通过子任务的检测区域来扫描检测窗口（例如对应检测区域的矩形部分）。连续子任务采用可以与先前的子任务的先前检测区域部分地重叠的检测区域。可以执行这种连续子任务以覆盖整个图像区域。此外，子任务可以采用各种尺寸的检测区域和检测窗本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种面部检测方法，包括：接收多个图像帧；以及对所述多个图像帧执行面部检测任务，所述面部检测任务包括多组的一个或多个子任务，其中所述一个或多个子任务的组采用逐渐地增大的检测区域尺寸；确定对于子任务是否存在足够的计算资源；以及响应于对于子任务不存在足够的计算资源的确定而合并和过滤数据结构中的面部。2.根据权利要求1所述的方法，还包括：分配用于所述多个图像帧中的每个的面部检测子任务执行的资源预算。3.根据权利要求1所述的方法，其中，所述执行包括针对每个子任务扫描检测区域内的窗口，所述检测区域具有对应组的检测区域尺寸。4.根据权利要求3所述的方法，其中，所述执行包括针对每个子任务采用多个分类级，每个分类级在多个窗口上同时地操作。5.根据权利要求1所述的方法，其中，所述多组中的每个采用具有对应检测区域尺寸的一个或多个检测区域。6.根据权利要求5所述的方法，其中，所述多组中的至少一个采用具有对应检测区域尺寸的两个或更多个部分重叠的检测区域。7.根据权利要求1所述的方法，其中，所述执行包括在所述多个图像帧中的对应的一个中执行所述子任务中的至少一个。8.根据权利要求1所述的方法，还包括：对所述多个图像帧执行面部跟踪任务。9.根据权利要求8所述的方法，还包括：保持关于一个或多个先前检测的面部的信息。10.一种面部检测设备，包括：面部跟踪模块，所述面部跟踪模块跟踪图像帧内的一个或多个先前检测的面部；以及面部检测模块，所述面部检测模块在所述图像帧内执行一个或多个面部检测子任务；其中每个面部检测子任务扫描检测区域内的窗口，所述一个或多个子任务采用逐渐地增大的...

【专利技术属性】
技术研发人员：Y杜，QE李，
申请(专利权)人：英特尔公司，
类型：
国别省市：