脸部位置检测制造技术

从关于场景的数据来检测脸部位置。从所述场景的测量结果获得3D表面模型。从所述3D表面模型生成2D角度数据图像。针对虚拟照明方向生成所述角度数据图像，所述图像表示在来自虚拟光源方向的射线方向与3D表面的法线之间的角度。将2D脸部位置算法应用于各自的2D图像中的每个。在实施例中，生成针对多个虚拟照明方向的各自的2D角度数据图像，并且融合从所述各自的2D图像检测的脸部位置。

【技术实现步骤摘要】
【国外来华专利技术】脸部位置检测
本专利技术涉及一种用于从产生包含脸部的场景的3维表面模型的测量结果确定脸部位置的系统和方法。
技术介绍
US7436988公开了一种使用2维图像以形成3维模型的脸部认证和识别方法，以及通过3维模型与参考数据的比较来验证人的身份。从的脸部的对称平面与3D模型的交叉提取脸部轮廓线，并且使用该轮廓线的特性验证人的身份。通过形成3D模型的镜像版本并且以导致最佳匹配的方式相对于彼此定位原始3D模型和镜像版本来寻找对称平面。假设在建模的空间中脸部是仅有的基本上对称的对象，则用于寻找对称平面的程序隐含地确定涉及脸部位置的信息。然而，US7436988并未讨论位置确定的问题。脸部识别和脸部位置确定是涉及不同考虑的不同任务。脸部识别是固有的人特异性的：脸部识别的本质是不同的人应当是被区分。另一方面，脸部位置确定优选地是不依赖于人的：应当不依赖于独特的人的脸部特征来确定位置。
技术实现思路
除了其他因素，目的在于提供用于从包含脸部的场景的3维模型确定脸部的位置的系统和方法。提供了根据本申请的方法。在本文中，使用包含脸部的场景的3D表面模型作为开始点，以用于脸部定位，即，在场景中检测脸部的位置。例如，可以从2D光学成像推导3D表面模型。从3D表面模型生成2D角度数据图像，所述2D角度数据图像表示建模的3D表面的法线与根据虚拟光源的方向的入射方向之间的角度的角度数据。在执行2D脸部位置算法中使用角度数据图像。以这种方式，能够使用可用的和测试的2D脸部位置算法，以确定3D模型中的脸部位置。不需要脸部的光学表面特性的可靠的测量结果。即使是从2D光学图像推导3D表面模型，3D表面模型的使用使脸部位置检测更加鲁棒，以防表面的反射特性和色彩的效应。优选地，仅从关于在生成的2D图像的各自像素位置处看得见的3D点处建模的3D表面的几何信息确定生成的2D图像的像素值，而不使用非几何光学特性。在实施例中，生成针对各自不同的虚拟照明方向的具有角度数据的多幅各自的2D图像，并且将脸部位置检测算法应用于各自的2D图像的每幅。产生的位置检测可以被组合，以提供检测的脸部位置。例如，可以通过任选地在移除异常值后对针对不同方向检测的位置取平均，或者通过选择针对不同方向检测的位置的中值或其他具有代表性的一个，来融合产生的位置检测。组合还可以包括聚类步骤，这涉及将位置检测分配到选定的聚类并且在聚类内融合位置检测。在实施例中，针对所述各自方向的相同观察方向，生成多幅2D图像。以这种方式，使所述方法更加鲁棒。此外，使得能够确定在2D图像中的脸部位置的平均。或者，可以使用所述各自方向的观察方向的任意组合。在实施例中，生成针对多个不同的观察方向的图像。这使所述方法鲁棒地防止脸部的旋转的变化。在实施例中，2D脸部定位算法可以包括确定在图像中的各自区域上的角度数据的多个总和、将所述总和与阈值进行比较并且组合将所述比较的结果。从Viola等人题目为《RobustReal-TimeFaceDetection》(InternationalJournalofComputerVision57(2)，2004年，第137-154页)的文章中已知用于从2维图像进行脸部位置确定的成功的算法。Viola等人使用在各种矩形图像区域中的像素值的总和的组合，以决定脸部的位置。借助计算机学习来设置矩形图像区域的组合。在学习阶段，提出具有可以使用的脸部的大量范例和反例以及大量不同尺寸和位置的矩形的系统。使用AdaBoost计算机学习技术来选择提供鲁棒结果的矩形的组合。例如，可以通过使用针对2D图像的训练结果，而不必经历新的训练程序，而使用由Viola等人描述的算法。可以从存储设备获得3D表面模型，在已经生成所述3D表面模型之后，所述3D表面模型已经存储在所述存储设备中。在实施例中，使用来自从场景接收的光的一幅或多幅2D图像的信息，以获得3D表面模型。可以使用结构光来照亮场景。通过首先将该信息转换为3D表面模型并且之后转换回2D图像(其中，使用表面取向而不是直接的光学图像特性)所述方法不必获得关于脸部的光学表面特性的可靠信息。或者，可以使用诸如3D断层摄影技术的其他测量技术，以例如从3D体积模型间接地获得3D表面。附图说明这些和其他目的以及有利的方面将使用以下附图，通过对示范性实施例的描述变得显而易见。图1示出了脸部数据处理系统。图2示出了脸部位置确定的流程图。图3示出了处理架构。具体实施方式图1示出了脸部数据处理系统，其包括结构光源10、照相机12和处理器14。结构光源10和照相机12被耦合到处理器14。尽管通过举例的方式示出结构光源10和照相机12，但应当认识到，可以使用用于捕获3D几何信息的其他设备。结构光源10可以被配置为将点或条纹的阵列投影到对象上，即，仅在相互独立的射线方向的阵列中或在相互独立的射线平面的阵列中传播光。结构光源10可以被配置为借助沿方向的模式的动态扫描或例如使用例如穿过静态掩模的投影来实现投影。示出了操作配置，其中，结构光源10和照相机12被导引到含有脸部16的场景处。在操作中，结构光源10利用一个或多个结构光模式来照射场景，并且在结构光源10照射所述场景的同时照相机12捕获场景的图像。结构光源10向处理器14提供表示一幅或多幅产生的图像的信息。处理器14处理一幅或多幅图像，以形成场景的3D表面模型。用于这样做的方法本身是已知的。处理器14可以是可编程处理器，其包括使处理器14这样做的计算机程序。事实上，处理器14可以是处理系统，包括执行处理器14被配置执行的任务的不同部分的多个计算机。如在本文中所使用的，在处理器14具有将使其执行操作的程序时，处理器14将被描述为被配置为当其具有执行操作的程序时，执行这些操作。然而，如果处理器14包含被设计为执行操作的专用电路，则处理器14还将被描述为被配置为执行所述操作。处理器14可以被配置为检测像素位置，在所述像素位置处，由来自结构光源10的光照射的场景中的表面点是可见的。另外，处理器14可以被配置为每个这样的像素识别在来自结构光源10的结构光的模式内的照射光的位置。考虑到照相机姿态和结构光源10的几何形状，模式中的位置和像素位置每个都定义了3D空间中的射线方向，各方向在所照射的对象点处交叉。处理器14从像素位置和模式中的位置计算对象点的3D坐标。处理器14可以通过在所计算的位置之间插值，例如，通过逼近如平面三角形的相邻检测点之间的表面，来逼近对象的表面。通过这样的插值，能够确定任何表面点的差值的3D坐标，以及在那些表面点处的表面法线。这样的确定能够应用于由照相机12捕获的图像的像素，而且能够应用于从其他照相机姿态能够获得的虚拟图像。处理器14被配置为使用该信息以确定在3D空间中的脸部的位置。图2示出了用于确定脸部位置的过程的流程图。将根据由处理器14执行的动作来描述所述流程图。应当理解，处理器14被“配置”为执行这些动作。在第一步骤21中，处理器14选择相对于3D模型的第一方向。选定的第一方向将被称为虚拟照相机方向。在实施例中，第一方向可以对应于照相机12的方向。在第二步骤22中，处理器14定义包括像素阵列的图像。像素阵列与具有相对于选定的第一方向定义的方向的射线路径阵列相关联。处理器14使用从结构照明获得的3D本文档来自技高网...

【技术保护点】
一种检测脸部位置的图像处理方法，所述方法包括：?从场景的测量结果获得3D表面模型；?从所述3D表面模型生成（24）角度数据的2D图像，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述2D图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；?将2D脸部位置算法应用（25）于所述2D图像。

【技术特征摘要】
【国外来华专利技术】2011.04.28 EP 11164162.71.一种检测脸部位置的图像处理方法，所述方法包括：-从场景的测量结果获得3D表面模型；-从所述3D表面模型生成(24)角度数据的2D图像，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述2D图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；-将2D脸部位置算法应用(25)于所述2D图像；-从所述3D表面模型生成(24)多幅各自的2D图像，每幅所述各自的2D图像针对各自的虚拟照明方向；-将所述2D脸部位置算法应用(25)于所述各自的2D图像中的每幅；-组合(27)从所述各自的2D图像检测的脸部位置。2.根据权利要求1所述的方法，包括针对所述各自的虚拟照明方向的相同观察方向来生成多幅所述各自的2D图像。3.根据权利要求2所述的方法，包括从包括针对多个相互不同的各自的虚拟照明方向的各自的2D图像的每个多幅所述各自的2D图像来生成各自的多个多幅所述各自的2D图像，每个多幅所述各自的2D图像来自不同的观察方向。4.根据权利要求2所述的方法，包括确定针对所述多幅各自的2D图像的平均的检测的2D位置，并且根据所述3D表面模型确定与所述平均的检测的2D位置相关联的3D表面位置。5.根据权利要求1所述的方法，其中，应用(25)所述2D脸部位置算法包括确定在图像中的各自区域上的角度的多个总和、将所述总和与阈值进行比较并且组合所述比较的结果。6.根据权利要求1所述的方法，包括根据所述3D表面模型确定与各自的检测的2D脸部位置相关联的各自的3D表面位置，并且确定所述各自的3D表面位置的平均。7.根据权利要求1所述的方法，其中，使用来自从所述场景接收的光的一幅或多幅另外的2D图像的信息，获得所述3D表面模型。8.根据权利要求7所述的方法，包括借助结构光对所述场景进行照明。9.根据权利要求7所述的方法，其中，针对与从所述场景接收的光的所述一幅或多幅另外的2D图像的观察方向相对应的观察方向，生成所述各自的2D图像。10.根据权利要求7所述的方法，其中，如果有与所述3D表面上的所述点相关联的光反射特性，独立于所述光反射特性生成所述各自的2D图像。11.根据权利要求1所述的方法，包括使用所述3D表面模型和由所述2D脸部位置算法检测的脸部位置，来确定在所述3D表面上的在所检测的脸部位置处可见的点的3D位置。12.一种检测脸部位置的图像处理装置，所述装置包括：-用于从场景的测量结果获得3D表面模型的单元；-用于从所述3D表面模型生成(24)角度数据的2D图像的单元，所述2D图像表示角度数据，针对所述2D图像中的每个各自的图像点的角度数据是根据从虚拟照明方向导出的入射方向与在3D表面上的在所述2D图像中的所述图像点处看得到的点处的所述3D表面的法线之间的角度而选择的；-用于将2D脸部位置算法应用(25)于所述2D图像的单元；-用于从所述3D表面模型生成(24)多幅各自的2D图像的单元，每幅所述各自的2D图像针对各自的虚拟照明方向；-用于将所述2D脸部位置算法应用(25)于所述各自的2D图像中的每幅的单元；-用于组合(27)从所述各自的2D图像检测的脸部位...

【专利技术属性】
技术研发人员：K·C·范布雷，R·弗卢特尔斯，D·N·兹纳缅斯基，
申请(专利权)人：皇家飞利浦有限公司，
类型：
国别省市：