一种基于联合字典的三维人脸表情去除的方法技术

本发明专利技术公开了一种基于联合字典的三维人脸表情去除方法，其步骤如下：(1)、三维人脸非刚性对齐；(2)、联合字典学习；(3)、基于残差的表情去除人脸区域提取；(4)、模板引导的泊松变形。主要解决的是将输入的带表情人脸自动变成对应的中性人脸的技术问题，通过本发明专利技术的方法进行处理，能够自动地将输入的一个带表情的三维人脸数据变成其对应的中性人脸数据。

【技术实现步骤摘要】

本专利技术涉及一种基于联合字典的三维人脸表情去除方法，尤其涉及一种以三维人脸非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除的方法。
技术介绍
三维表情去除与三维人脸表情合成都是多学科交叉的研究课题，同属人脸合成领域。表情是人们传递情感的重要渠道之一，在日常的工作、生活之中占有重要的地位，然而在某些应用的场景下，表情的存在反倒成为了影响和负担，例如表情的存在会影响人脸识别的准确性，尤其是人脸带有夸张表情时往往会识别出错误的身份。因此，让使用者摆出中性表情人脸，又有违人脸识别非配合性的初衷。一个思路是在设计、实现表情不敏感的三维人脸识别算法，减弱表情的影响；而通过计算机合成的方法，从带表情人脸生成相应的中性人脸，随后再进行识别，是解决这一困境的另一条思路。公开号为CN101976454A的中国专利申请公开了一种三维人脸表情的去除方法，步骤如下：(1)三维人脸模型的非刚性对齐；(2)建立表情空间；(3)表情残差空间的计算；(4)建立表情空间和表情残差空间的映射关系；(5)表情残差推导和表情去除。这个方法使用径向基函数回归,在法向特征空间与表情残差空间中建立映射,从输入人脸的法向特征数据求解相应的表情残差,随后使用输入的带表情人脸减去表情残差即可获得中性人脸。但是这个方法在对嘴巴张得比较大的人脸模型，处理的效果并不好。
技术实现思路
本专利技术提供一种基于非刚性对齐、稀疏编码、联合字典和泊松变形的三维人脸表情去除方法，主要解决的是将输入的带表情人脸自动变成对应的中性人脸的技术问题。一种基于联合字典的人脸表情去除方法，其步骤如下：(1)、三维人脸非刚性对齐：用于将所有三维人脸数据规则化，便于后续的处理；(2)、联合字典学习：通过联合字典学习完成对训练数据库中的人脸与其对应的表情残差间的映射建立，其中表情残差通过表情人脸“减去”对应的中性人脸得到；(3)、基于残差的表情去除人脸区域提取：对输入一张测试的带表情人脸，根据步骤(2)得到的字典映射，得到与表情残差，通过“减去”残差获得中性人脸；(4)、模板引导的泊松变形：基于向导的变形和刚性区域约束对步骤(3)得到中性人脸进行处理，使得最后输出的中性人脸噪声更少并更接近真实人脸。步骤(1)中的三维人脸非刚性对齐，是指将一个通用人脸模板向所有人实验用到的人脸模板变形，拿变形的结果替代人脸成为新的实验数据，它分为三个阶段：1)特征点原则的人脸变形，使用少数特征点位作为引导，设定变形影响范围，使得这些特征点的移动能够带动其周围较大范围内邻域点的移动，达到预先变形通用模板，减少网格折叠的目标；2)基于最近点原则的人脸曲面变形；3)基于混合原则的人脸曲面变形，即结合最近点原则和法线射线原则，在变形的过程中，不断调整这两个原则对变形结果影响的比重，具体调整原则请参考后面具体实施方案。在联合字典的学习过程中，在表情人脸和表情残差人脸间建立了一组非显性的映射W，使得带表情人脸与对应的表情残差在各自字典上的稀疏表征编码保持相同，即共享编码。带表情人脸fexp“减去”对应中性人脸fneu得到表情残差fres基于以下公式：Φ(fres)＝Φ(fexp)-Φ(fneu)  (3)其中Φ(·)表示从三维人脸曲面上提取的曲面信号向量。假设本专利技术中提到的非刚性对齐步骤已经完成，则Φ(·)可以写成：Φ(f)＝(x1，y1，z1，x2，y2，z3，…，xn，yn，zn)T  (4)其中xi，yi，zi，1≤i≤n是三维人脸上的第i个点的三维坐标。基于向导的变形的方法是将输入的人脸在自身拓扑结构的约束下向目标人脸(“向导”)变形。刚性区域约束指的是通过边界条件的方式对泊松方程加以约束，固定人脸上的刚性区域保持不变。三维人脸表情去除可以定义如下：通过输入的带表情的三维人脸fexp，生成相应的不含表情的人脸模型，即中性人脸模型f′neu，它应该与真实的中性人脸fneu尽量的像，φ(f′neu，fneu)≤ξ  (5)ξ是一个尽量小的阈值。三维人脸表情去除可归结为“经由某种特征提取方式提取三维人脸数据的特征向量y后，寻找一个从带表情人脸数据到表情残差数据间的映射关系W，yot＝W·yin  (6)其中yot和yin分别表示带表情人脸数据和对应残差数据，W即表情人脸与表情残差人脸间的映射。本专利技术使用稀疏表征以及字典联合学习为三维人脸表情映射处理模型建立隐式的映射关系。三维人脸y可以用字典D∈R3n*m表示，即y＝Dx，带表情人脸数据yin、表情残差数据yot以及目标函数可表示为Dotxot＝yot＝W·yin＝W·Dinxin  (7)其中Dot和Din分别是带表情人脸、表情残差人脸数据集的字典，xin和xot是带表情人脸、表情残差人脸在各自字典上的相应的编码。字典Din和Dot可在带表情人脸及对应残差人脸各自的训练集上各自训练获得，表情残差人脸yot可以被认为是编码xot经由某种映射，从带表情人脸yin相应的编码xin映射获得。然而这种想法仅仅是由yin和yot间的映射转化为xin和xot间的映射而已。加入我们在字典训练时找到两组相应的字典Din和Dot，它们在带表情人脸和表情残差人脸间建立了一组非显性的映射W使得同一张人脸的带表情人脸对应的表情残差人脸数据间在各自字典上的稀疏表征编码保持相同，即共享编码：Dotx＝yot＝W·yin＝W·Dinx  （8）那么给定带表情人脸数据后，在带表情人脸的字典Din上求解稀疏表征编码x后，即可直接使用字典重构Dot重构输出人脸数据yot＝Dotx。不少取得不错效果的三维人脸表情去除算法使用表情残差作为中间变量，通过在带表情人脸与表情残差间建立映射关系，获得表情残差后，将其从带表情人脸上“减去”以获得中性表情。该方法通常情况下是基于假设“非中性人脸与表情残差间的联系比与它与中性人脸间的关系更紧密”。从数据的角度而言，该假设具有一定的道理，基于“直接映射”的方法等价于使用中性人脸生成目标人脸，相当于“从无到有”的生成；而基于“间接映射”的方法则等价使用表情残差对输入的带表情人脸进行“修正”。直观而言，在原有人脸上“修正”可能要比使用其他人脸“生成”包含更多的个人独有的特征。因此本专利技术使用带表情人脸和表情残差建立映射的方法对三维人脸进行表情去除。本专利技术有益的效果是自动地将输入的一个本文档来自技高网...

【技术保护点】
一种基于联合字典的三维人脸表情去除方法，其步骤如下：(1)、三维人脸非刚性对齐：用于将所有三维人脸数据规则化，便于后续的处理；(2)、联合字典学习：通过联合字典学习完成对训练数据库中的人脸与其对应的表情残差间的映射建立，其中表情残差通过表情人脸“减去”对应的中性人脸得到；(3)、基于残差的表情去除人脸区域提取：对输入一张测试的带表情人脸，根据步骤(2)得到的字典映射，得到表情残差，通过“减去”表情残差获得中性人脸；(4)、模板引导的泊松变形：基于向导的变形和刚性区域约束对步骤(3)得到中性人脸进行处理，使得最后输出的中性人脸噪声更少并更接近真实人脸。

【技术特征摘要】
1.一种基于联合字典的三维人脸表情去除方法，其步骤如下：
(1)、三维人脸非刚性对齐：用于将所有三维人脸数据规则化，便于后
续的处理；
(2)、联合字典学习：通过联合字典学习完成对训练数据库中的人脸与
其对应的表情残差间的映射建立，其中表情残差通过表情人脸“减去”对
应的中性人脸得到；
(3)、基于残差的表情去除人脸区域提取：对输入一张测试的带表情人
脸，根据步骤(2)得到的字典映射，得到表情残差，通过“减去”表情残差
获得中性人脸；
(4)、模板引导的泊松变形：基于向导的变形和刚性区域约束对步骤(3)
得到中性人脸进行处理，使得最后输出的中性人脸噪声更少并更接近真实
人脸。
2.根据权利要求1所述的基于联合字典的三维人脸表情去除方法，
其特征在于，所述的三维人脸数据非刚性对齐，是指将一个通用人脸模板
向所有人实验用到的人脸模板变形，拿变形的结果替代人脸成为新的实验
数据。
3.根据权利要求1所述的基于联合字典的三维人脸表情去除方法，
其特征在于，所述的三维人脸数据非刚性对齐分为三个阶段：1)特征点
原则的人脸变形，使用少数特征点位作为引导，设定变形影响范围，使得
这些特征点的移动能够带动其周围较大范围内邻域点的移动，达到预先变
形通用模板，减少网格折叠的目标；2)基于最近点原则的人脸曲面变形；
3)基于混合原则的人脸曲面变形，即结合最近点原则和法线射线原则...

【专利技术属性】
技术研发人员：王跃明，潘纲，郑乾，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33