一种3D-2D人脸识别方法技术

本发明专利技术公开了一种3D

【技术实现步骤摘要】
一种3D
‑
2D人脸识别方法


[0001]本专利技术属于图像处理及模式识别的
，特别是涉及一种3D
‑
2D人脸识别方法。

技术介绍

[0002]人脸识别一直是计算机视觉，模式识别和机器学习研究中的一个关键主题，它扩展了感知、行为和社会原则。人脸识别技术在传感器、算法、数据库和评估框架方面一直在不断发展，这种日益增长的兴趣一部分由困难的任务和挑战驱动，该挑战为复杂的及类内对象识别问题，一部分由涉及身份管理的各种应用驱动。研究的挑战包括：(i)将内在与外在的外观变化分开；(
ⅱ
)发展判别表示和相似性度量；(iii)发现跨异构数据和条件的性能不变量。面向应用程序，面部正在成为一种强大的生物识别技术，一种用于基于内容的索引和检索的高级语义，以及一种用于人机交互的自然而丰富的通信模式。现有的用于面部识别的框架根据一些方法或面部数据域变化，方法包括数据驱动、基于模型、感知；面部数据域包括图像、点云、深度图。
[0003]现有的2D
‑
2D人脸识别技术存在着精确度、识别通过率、识别速度等方面的缺陷，它会受到诸如光照，角度，清晰度等客观条件的影响，从而给判定的结果带来影响，目前已经提供了一些方法来提高对比的准确性，但是在这些现有技术的方法中存在诸多限制。
[0004]本专利技术提出的3D
‑
2D识别框架，该框架利用3D数据进行登记，同时仅需要2D数据进行识别，并且也可以容易地应用于2D
‑
3D的情况，基于3D的算法展示了非常高的识别率，基于3D模型的面部签名对于条件变化更具辨别力和鲁棒性。与跨不同模态映射特征的不对称或异构识别方法相比，开发的3D
‑
2D框架(称为UR2D)依赖于模态协同作用，其中3D模型用于2D图像和纹理数据的配准，对齐和后照标准化。与先前用于3D
‑
2D配准和拟合的方法相比，UR2D使用3D形状信息来重光照(使用表面法线信息)和分数计算。与现有的多模式2D+3D方法相比，UR2D以特定主题的方式跨越模态和跨登记/识别阶段整合面部数据。此外，与现有的3D辅助2D识别方法不同，本方法使用2D图像推断3D图库模型。UR2D是基于个性化图库模型，由实际的3D面部数据拟合模型所构造。

技术实现思路

[0005]本专利技术提供了一种3D
‑
2D人脸识别方法，解决了以上问题。
[0006]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0007]本专利技术的一种3D
‑
2D人脸识别方法，包括以下步骤：
[0008]S1、3D模型纹理图像的构建；
[0009]S2、3D
‑
2D识别和相对姿态估计；
[0010]S3、纹理提升；
[0011]S4、双向重光照；
[0012]S5面部签名和相似性得分识别；
[0013]S6、评分规整
[0014]进一步地，在步骤S1中，面部数据图案和记录框架是由AFM构建模型所提供，任何适合3D数据的模型都会继承此预定义的参数化和相同的几何图像网格。通过将纹理值与模型点相关联，可以在UV坐标空间上构建纹理图像，从而为局部面部特征提供通用参考框架。UV空间中的纹理图像通过构造对齐并记录，并且使用局部相似性度量进行比较。对于具有记录的2D纹理数据的3D模型，从对应于最接近3D点的纹理元素获得每个UV坐标的图像值。
[0015]进一步地，在步骤S2中，通过估计透视投影变换实现将拟合的3D模型配准到图像面，其涉及3D刚性变换(旋转和平移)和2D投影。在最一般的情况下，两种模态都可能表现出异形脸。在登记期间，使用已知的相机参数和同时获取的3D和2D数据来获得变换。通过显式估计给定的3D
‑
2D投影来纠正模态之间的相对姿势差异。在模型拟合之前，通过原始数据与AFM的刚性对齐来隐含地考虑3D姿势。通过迭代最近点算法估计R3中的相似变换A，使得模型点与最接近的3D表面点对齐。通过基于对应的预对准初始化算法，可以获得极端姿势的稳健性。
[0016]进一步地，在步骤S3中，该过程类似于从模型的纹理图像中提取UV图：通过UV参数化，几何图像中的纹理值来自重新投影模型顶点位置的图像值。
[0017]进一步地，在步骤S4中，在归一化的一对纹理的照明条件下，通过应用优化的没有明确的反照率来估计照明传输。所提出的二次照明算法对在AFM的UV空间表示的纹理进行操作时，应尽量减少其逐元素照明差，使用混合双向反射分布函数(BRDF)形式的分析皮肤反射模型(ASRM)。
[0018]进一步地，在步骤S5中，基于图像梯度方向的相关系数，通过全局相似性得分获得探针和图库来提升纹理的成对比较。
[0019]进一步地，在步骤S6中，报告结果使用标准Z得分对1
‑
N进行归一化得分，归一化和使用从图库数据中提取的距离进行NN归一化的度量多维缩放。
[0020]本专利技术提出了一种更实用的3D
‑
2D人脸识别框架，对于3D
‑
2D人脸识别来说，它的资料库是由3D模型和2D数据结构组成，它的探针是任意的2D图像。提出了一种3D
‑
2D系统(UR2D)，其基于3D可变形面部模型，其允许3D和2D数据的配准，面部对准以及姿势和照明的标准化。在记录期间，使用3D+2D数据构建特定主题的3D模型。为了识别，使用图库3D模型和基于地标的3D
‑
2D投影估计在标准化图像空间中表示2D图像。双向重光照应用于探针和图库纹理之间的非线性局部照明归一化，并且基于全局方向的相关度量用于成对相似性评分，生成的，个性化的，姿势和光标准化的签名可用于一对一验证或一对多识别。
[0021]当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0022]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术的一种3D
‑
2D人脸识别方法的流程步骤图。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0025]请参阅图1所示，本专利技术的一种3D
‑
2D人脸识别方法，包括以下步骤：
[0026]S1、3D模型纹理图像的构建；
[0027]S2、3D
‑
2D识别和相对姿态估计；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D
‑
2D人脸识别方法，其特征在于：包括以下步骤：S1、3D模型纹理图像的构建：人脸面部数据图案和记录框架是由AFM构建模型所提供，模型的表面参数(或UV参数)是一个内射函数：其中，一个波浪强调表示向量R3，M表示图像，没有强调表示向量R2，U表示2D网格；S2、3D
‑
2D识别和相对姿态估计：3D数据被映射到规范模型姿势为上，拟合后，变形模型顶点通过映射到原始空间：其中，是齐次坐标中点的列排列矩阵，A是4
×
4矩阵；透视投影估计：在全透视投影模型下给出了3D到2D的线性映射P∈R3×4：对于点它们映射到点均在齐次坐标中；其中，K是内部参数的3
×
3矩阵，E是外部参数的3
×
4矩阵，相对于平移矢量旋转矩阵R和尺度s进一步写入；求解P量通过线性变换将一组3D点映射到2D图像位置X的3
×
4投影矩阵的条目：其中，X＝(x1,
…
,x
l
)和是齐次坐标中的点的列排列矩阵；地标重投影误差最小化：使用平方差，通过求解所有参考点上的最小二乘近似来估计：目标函数是相对于投影矩阵P(即，变量集{(P)
j
}，j＝1,...,12)进行参数化，而不是单独的姿势参数；最小化P是对应于匹配任意3D和2D数据的未知基础设置的姿势和相机参数的耦合估计；S3、纹理提升：模型点的投影是从两个变换的级联中获得的；方程式中的三维变换将变形模型映射到3D数据坐标系，并将透视投影P最小化：其中，X和分别是图像和3D空间中模型顶点的矩阵；在对应于某个模型点的UV坐标处，使用x∈X中的图像I值获得T的值：用h：M
→
U方程中的模型参数化；通过来自投影模型三角测量的插值来指定对于u不对应于某些的T的值，可见性图
为指标函数：S4、双向重光照：纹理照明模型：结果是UV空间中的纹理图像应用于未知面部反照率B(u)的照明：T(u)＝L
s
(u)+(L
d
(u)+L
a
(u))B(u)
ꢀꢀꢀꢀ
(9)其中，L
s
(u)、L
d
(u)...

【专利技术属性】
技术研发人员：陈广辉，唐亮，王天成，喻恺，吴传洁，皮旭东，王新官，
申请(专利权)人：江西方兴科技股份有限公司，
类型：发明
国别省市：