数据处理系统及其生成设备、和面部检测方法技术方案

数据处理系统及其生成设备、和面部检测方法。本发明专利技术提供了面部检测。一种用于对帧的流执行面部检测的数据处理系统，该数据处理系统包括：皮肤色块识别器，其被构造为识别第一帧中的皮肤颜色的一个或多个色块并且使用预定形状的相应色块构造来对第一帧中的每个色块进行特征化；第一搜索拼块生成器，其被构造为从一个或多个色块构造生成一个或多个第一搜索拼块；以及面部检测器，其被构造为通过在第一搜索拼块内在流的一个或多个帧中执行面部检测来检测流中的面部。

【技术实现步骤摘要】

本专利技术涉及用于在一系列帧中执行面部检测的数据处理系统和方法。
技术介绍
虽然人具有容易地识别图片中的面部的能力，但是对于计算机来说，这是一个难以解决的问题。近年来已经进行了显著的努力以改进自动面部识别的准确性和可靠性。然而，即使最强的系统仍然远远落后于人脑的性能，具有低能力处理器的便携式装置的性能在较宽范围的照明条件和面部取向下常常不能够检测到图像中的面部。基于能够可靠地检测图像和视频中的面部是非常有用的事实而想要对于数字装置改进自动面部检测。例如，了解图像中的面部的位置允许利用面部所属于的人的名称对图像进行手动或自动的加标签操作。并且由于人脑对于面部是特别敏感的，因此了解视频流中的面部的位置允许视频编码器通过优先以更高的质量对包含面部的视频帧的区域进行编码来改进编码视频流的感知质量。此外，如果能够实时地执行面部检测，则能够由相机的自动对焦系统使用场景中的面部的位置以有助于确保图像的这些区域处于合焦状态。用于执行自动面部检测的很多现代方法是基于Viola-Jones对象检测框架，其将数字图像中的面部检测分解为一系列处理步骤，每个处理步骤在数字处理器处快速地执行。Viola-Jones框架通过将二类分类器应用图像的子窗口来进行操作，每个子窗口处于图像内的不同位置、尺度或旋转角度，以允许检测不同位置或不同大小和旋转角度的面部。对于图像的子窗口执行的每个二类分类器由强分类器的级联组构成，所述强分类器的复杂性增加并且在子窗口上操作以检测子窗口是否可能约束图像中的面部。仅当所有强分类器通过子窗口，才将所通过的子窗口视为表示对于二类分类器匹配(可能要进行进一步的处理)。如果任何强分类器拒绝了子窗口，则对于该子窗口不执行任何进一步的处理并且处理移到下一子窗口。能够在P.Viola和M.Jones的论文\Robust real-time face detection\,International Journal of Computer Vision,vol.57,no.2,pp.137-154,2004中找到根据Viola-Jones框架执行的面部检测的进一步的细节。根据Viola-Jones对象检测框架执行的分类器操作能够在数字处理器处快速地执行，并且甚至在便携式装置中，也允许执行基本级别的实时面部检测。然而，由于针对图像的可能的搜索空间非常大，因此难以使用Viola-Jones框架可靠地实时检测图像中的所有面部。图像的搜索空间可以包括图像中的具有位置、大小和旋转的每个可能的组合的子窗口。为了允许面部的实时检测，通常通过忽略图像中的子窗口的可能的旋转，或者仅考虑窄范围的旋转子窗口，来显著地使搜索空间变窄。这意味着，仅可能发现在图像中至少基本上直立的那些面部。因此，需要一种改进的用于执行面部检测的设备，其允许在便携式设备处的准确且可靠的实时面部检测并且允许识别在图像中非直立地存在的面部。
技术实现思路
根据本专利技术的第一方面，提供了一种数据处理系统，其用于对于帧的流执行面部检测，所述数据处理系统包括：皮肤色块(patch)识别器，其被构造为识别第一帧中的皮肤颜色的一个或多个色块并且使用预定形状的相应色块构造来对第一帧中的每个色块进行特征化；第一搜索拼块(tile)生成器，其被构造为从一个或多个色块构造生成一个或多个第一搜索拼块；以及面部检测器，其被构造为通过在所述第一搜索拼块内在所述流的一个或多个帧中执行面部检测来检测所述流中的面部。所述面部检测器可以被构造为仅在由搜索拼块表示的帧的区域内执行面部检测，所述搜索拼块包括所述第一搜索拼块。所述第一搜索拼块生成器可以被构造为生成均具有从相应色块构造的取向确定的取向的所述一个或多个第一搜索拼块。所述面部检测器可以被构造为通过在第一搜索拼块内在第一帧中执行面部检测来检测所述流中的面部。所述面部检测器可以被构造为通过将二类分类器应用于所述第一搜索拼块的一个或多个子窗口来执行面部检测。所述面部检测器可以被构造为仅在所述第一搜索拼块的没有相对于相应搜索拼块的取向旋转的那些子窗口中执行面部检测。所述皮肤色块识别器可以被构造为形成各色块构造以对在第一帧中识别的皮肤颜色的各色块的位置、大小和取向进行特征化。所述预定形状可以是椭圆并且所述一个或多个色块构造中的每一个的取向由椭圆的取向来指示。所述第一搜索拼块生成器可以被构造为对于每个色块构造生成具有与该色块构造的大小相关的预定组的尺寸的多个第一搜索拼块。所述数据处理系统可以进一步包括变换单元，其被构造为从第一帧以多个尺度生成表示该帧中的消色差(achromatic)信息的图像数据，所述面部检测器被构造为根据该图像数据执行面部检测。所述数据处理系统可以进一步包括变换单元，其被构造为从第一帧生成皮肤颜色概率图，该皮肤颜色概率图对于所述第一帧中的每个像素指示该像素表示皮肤颜色的概率，所述皮肤色块识别器被构造为根据所述皮肤颜色概率图检测所述第一帧中的皮肤颜色的所述一个或多个色块。所述皮肤色块识别器可以被构造为执行所述皮肤颜色概率图的阈值处理，以对二进制值进行操作(operate on)，所述二进制值对于所述皮肤颜色概率图中的每个像素指示该像素表示皮肤颜色的高概率或低概率，通过识别阈值处理后的皮肤颜色概率图中的高概率值的色块，来从所述皮肤颜色概率图识别所述第一帧中的皮肤颜色的所述一个或多个色块。所述皮肤色块识别器可以被构造为使用从下述值中的一个选择的阈值来执行所述皮肤颜色概率图的阈值处理：通过下述步骤确定的阈值，即，从所述概率图中读取预定数目的值，将这些值按照值顺序排序并且计算具有最大差的两个相邻值的平均值；以及从预定间隔选择的随机值。所述变换单元可以被构造为通过下述步骤将所述第一帧转换为所述皮肤颜色概率图：将所述第一帧变换到预定颜色空间，该颜色空间的轴中的一个基本上在根据皮肤颜色的预定分布的最大方差(variation)的方向上取向；以及根据给定颜色到平均皮肤颜色的颜色空间距离的测量计算该颜色是皮肤颜色的概率。可以根据所述流的前一帧中由所述皮肤检测器检测到的面部的像素中的至少一些的平均颜色的测量确定平均皮肤颜色。可以在GPU处支持所述面部检测器和变换单元，并且可以在CPU处支持所述皮肤色块识别器和第一搜索拼块生成器。所述数据处理系统可以进一步包括第二搜索拼块生成器，其被构造为生成第二搜索拼块，所述第二搜索拼块用于由所述面部检测器用作本文档来自技高网...

【技术保护点】
一种数据处理系统，所述数据处理系统用于对于帧的流执行面部检测，所述数据处理系统包括：皮肤色块识别器，所述皮肤色块识别器被构造为识别第一帧中的皮肤颜色的一个或多个色块并且使用预定形状的相应色块构造来对所述第一帧中的每个色块进行特征化；第一搜索拼块生成器，所述第一搜索拼块生成器被构造为从所述一个或多个色块构造生成一个或多个第一搜索拼块；以及面部检测器，所述面部检测器被构造为通过在所述第一搜索拼块内在所述流的一个或多个帧中执行面部检测来检测所述流中的面部。

【技术特征摘要】
2013.10.23 GB 1318757.01.一种数据处理系统，所述数据处理系统用于对于帧的流执行面部检测，所述
数据处理系统包括：
皮肤色块识别器，所述皮肤色块识别器被构造为识别第一帧中的皮肤颜色的一个
或多个色块并且使用预定形状的相应色块构造来对所述第一帧中的每个色块进行特
征化；
第一搜索拼块生成器，所述第一搜索拼块生成器被构造为从所述一个或多个色块
构造生成一个或多个第一搜索拼块；以及
面部检测器，所述面部检测器被构造为通过在所述第一搜索拼块内在所述流的一
个或多个帧中执行面部检测来检测所述流中的面部。
2.根据权利要求1所述的数据处理系统，其中，所述面部检测器被构造为仅在
由搜索拼块表示的帧的区域内执行面部检测，这些搜索拼块包括所述第一搜索拼块。
3.根据权利要求1或2所述的数据处理系统，其中，所述第一搜索拼块生成器
被构造为生成均具有从所述相应色块构造的取向确定的取向的所述一个或多个第一
搜索拼块。
4.根据任一前述权利要求所述的数据处理系统，其中，所述面部检测器被构造
为通过在所述第一搜索拼块内在第一帧中执行面部检测来检测所述流中的面部。
5.根据任一前述权利要求所述的数据处理系统，其中，所述面部检测器被构造
为通过将二类分类器应用于所述第一搜索拼块的一个或多个子窗口来执行面部检测。
6.根据权利要求5所述的数据处理系统，其中，所述面部检测器被构造为仅在
所述第一搜索拼块的没有相对于相应搜索拼块的取向旋转的那些子窗口中执行面部
检测。
7.根据任一前述权利要求所述的数据处理系统，其中，所述皮肤色块识别器被
构造为形成各色块构造，以对在所述第一帧中识别的皮肤颜色的各色块的位置、大小
和取向进行特征化。
8.根据任一前述权利要求所述的数据处理系统，其中，所述预定形状是椭圆，
并且所述一个或多个色块构造中的每一个的取向由所述椭圆的取向来指示。
9.根据任一前述权利要求所述的数据处理系统，其中，所述第一搜索拼块生成

\t器被构造为对于每个色块构造生成具有与该色块构造的大小相关的预定组的尺寸的
多个第一搜索拼块。
10.根据任一前述权利要求所述的数据处理系统，所述数据处理系统进一步包括
变换单元，所述变换单元被构造为从第一帧以多个尺度生成表示该帧中的消色差信息
的图像数据，所述面部检测器被构造为根据该图像数据执行面部检测。
11.根据任一前述权利要求所述的数据处理系统，所述数据处理系统进一步包括
变换单元，所述变换单元被构造为从第一帧生成皮肤颜色概率图，所述皮肤颜色概率
图对于所述第一帧中的每个像素指示该像素表示皮肤颜色的概率，所述皮肤色块识别
器被构造为根据所述皮肤颜色概率图检测所述第一帧中的皮肤颜色的所述一个或多
个色块。
12.根据权利要求11所述的数据处理系统，其中，所述皮肤色块识别器被构造
为执行所述皮肤颜色概率图的阈值处理以计算二进制值，所述二进制值对于所述皮肤
颜色概率图中的每个像素指示该像素表示皮肤颜色的高概率或低概率，通过识别阈值
处理后的所述皮肤颜色概率图中的高概率值的色块从所述皮肤颜色概率图识别所述
第一帧中的皮肤颜色的所述一个或多个色块。
13.根据权利要求12所述的数据处理系统，其中，所述皮肤色块识别器被构造
为使用从以下中的一个选择的阈值来执行所述皮肤颜色概率图的阈值处理：
通过以下步骤确定的阈值：从所述概率图读取预定数目的值，将这些值按照值顺
序排序并且计算那些具有最大差的两个相邻值的平均值；以及
从预定间隔选择的随机值。
14.根据权利要求11至13中的任一项所述的数据处理系统，其中，所述变换单
元被构造为通过下述步骤将所述第一帧转换为皮肤颜色概率图：
将所述第一帧变换到预定颜色空间，该颜色空间的轴中的一个基本上在根据皮肤
颜色的预定分布的最大方差的方向上取向；以及
根据给定颜色到平均皮肤颜色的颜色空间距离的测量计算该给定颜色是皮肤颜
色的概率。
15.根据权利要求14所述的数据处理系统，其中，根据所述流的前一帧中由所
述皮肤检测器检测到的面部的像素中的至少一些的平均颜色的测量确定所述平均皮
肤颜色。
16.根据权利要求10至15中的任一项所述的数据处理系统，其中，在GPU处
支持所述面部检测器和所述变换单元，并且在CPU处支持所述皮肤色块识别器和所
述第一搜索拼块生成器。
17.根据任一前述权利要求所述的数据处理系统，所述数据处理系统进一步包括
第二搜索拼块生成器，所述第二搜索拼块生成器被构造为生成第二搜索拼块，所述第
二搜索拼块用于由所述面部检测器使用作为搜索拼块以检测所述第一帧中的面部，所
述第二搜索拼块生成器被设置为生成具有随机或伪随机确定的位置和/或大小的第二
搜索拼块。
18.根据任一前述权利要求所述的数据处理系统，所述数据处理系统进一步包括
分组单元，所述分组单元被构造为将由所述面部检测器检测为所述第一帧中的面部的
多组交叠的子窗口一起分组，以对于每一组形成单个检测面部。
19.根据任一前述权利要求所述的数据处理系统，所述数据处理系统进一步包括
第三搜索拼块生成器，所述第三搜索拼块生成器被构造为生成第三搜索拼块，所述第
三搜索拼块用于由所述面部检测器用作搜索拼块以便于检测所述第一帧中的面部，所
述第三搜索拼块生成器被设置为从所述流中的所述第一帧之前的帧中由所述面部检
测器检测到的一个或多个面部生成第三搜索拼块。
20.根据从属于权利要求18的权利要求19所述的数据处理系统，其中，所述第
三搜索拼块生成器被构造为对于所述第一帧之前的帧中由所述分组单元形成的每个
检测到的面部生成多个第三搜索拼块，所述多个第三搜索拼块与相应面部交叠并且具
...

【专利技术属性】
技术研发人员：S·塞法尔瓦伊，保罗·布拉斯尼特，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：英国;GB