一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法技术方案

本发明专利技术公开了一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法，所述方法具有如下步骤：建立训练样本库和测试样本库；建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器，相邻所述自编码器之间设有非负约束稀疏自编码器；初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数；以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b；以最小化人脸重建目标函数进行堆叠渐进自动编码器反向微调，输出参数最优的堆叠渐进自动编码器模型。本发明专利技术方便简单、训练参数少，有效解决了以往方法参数指标多、对硬件配置要求高等的缺点。

【技术实现步骤摘要】
一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法
本专利技术涉及一种基于2D方面重现正面人脸的系统及方法，适用于多姿态变化下的正面人脸重建。
技术介绍
在过去的几十年里，人脸识别在许多领域都得到了成功的应用，如访问控制、身份验证、监视列表等。但是，由于表情、姿势、灯光、老化等原因造成的巨大变化，对于那些无法控制的场景来说，人脸识别仍然是一个很遥远的方法。其中，姿态变异是最大的挑战之一，因此，正面人脸图像合成已成为热门的研究课题。一般来说，人脸合成是利用一个或多个角度的人脸图像合成所需视角的人脸图像。由一个或者几个侧面视角的人脸图像合成其正面图像是一个逆向问题，在此过程中，需要恢复经过变形压缩后的人脸纹理以及由于人脸遮挡而不可见的纹理，因此实现起来相对困难，且其困难程度也会随着侧脸视角的加大而增加。为了解决这个问题，已经开发了许多有前途的作品，大致可以分为两类：2D技术和3D技术。本专利技术针对二维技术方面存在参数指标多、训练数据量大、对硬件设备的要求高、重建细节差的问题，提出了一种基于约束条件的堆叠步进自编码器的人脸重建方法，解决了参数指标多、重建细节差等问题。
技术实现思路
本专利技术针对现有技术存在的不足，提出了一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法。本专利技术采用的技术手段如下：一种基于约束条件的堆叠步进自编码器的正面人脸重建系统，包括：第一存储模块，被配置为存储训练样本库，所述训练样本库包括从FERET数据集提取的X个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；第二存储模块，被配置为存储测试样本库，所述测试样本库包括从FERET数据集提取的Y个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；堆叠渐进自动编码器，包括n层自编码器，相邻所述自编码器之间设有非负约束稀疏自编码器，其中：第一层自编码器，预训练时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身；网络微调时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调；非负约束稀疏自编码器，预训练时，被配置为接收前一层自编码器输出的的各姿态人脸图像，约束前一层自编码器中的权值w，使其为非负值，将前一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据；其余n-1层自编码器，预训练时，被配置为接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身；网络微调时，被配置为接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调。n＝(N-1)/2，其中，N＝2k+1。本专利技术还公开了一种基于约束条件的堆叠步进自编码器的正面人脸重建方法，具有如下步骤：S1：从FERET数据集提取的X个人的人脸图像建立训练样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；从FERET数据集提取的Y个人的人脸图像建立测试样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；S2、建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器,相邻所述自编码器之间设有非负约束稀疏自编码器；S3、初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数：所述逐层训练具有如下步骤：第一层自编码器接收训练样本库的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身，第一层自编码器输出的各姿态人脸图像经过与其对应的非负约束稀疏自编码器，约束第一层自编码器中的权值w，使其为非负值，保留输入数据的局部特征信息，提高稀疏性和重建质量，将第一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据，其余n-1层自编码器接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身，使得最后一层编码器输出图像角度全为p0；S4、以最小化人脸重建目标损失函数更新堆叠渐进自动编码器的权值w和偏置向量b，人脸重建目标损失函数包括堆叠步进自编码器的损失函数和非负约束稀疏自编码器的损失函数，人脸重建目标损失函数由计算公式：J＝Jpose+αJlocal计算得到，其中，Jpose是堆叠步进自编码器的损失函数，Jlocal是非负约束稀疏自编码器的损失函数，α是用来权衡Jpose和Jlocal的相对重要程度，堆叠步进自编码器的损失函数由计算公式计算得到，其中，xlarger表示每一层自编码器中带有较大姿态的人脸图像的输入，f(·)表示每一层自编码器的编码函数，g(·)表示每一层自编码器的解码函数，xsmaller表示每一层自编码器的期望映射的较小姿态的图像，N是训练样本，N＝2k+1；非负约束稀疏自编码器损失函数由计算公式Jlocal＝JAE+λJwd+βJsparse计算得到，其中，λ，β是平衡不同惩罚项的系数；JAE是训练样本的重建误差；Jwd是权重衰减项，作用是减小权重的幅度，防止过度拟合；Jsparse是稀疏正则项，即KL熵，用来限制自编码器的激活值；JAE由计算公式计算得到，其中，x是输入数据；Jwd由计算公式计算得到，n和d分别是每个训练样本的维度和自编码器表达的维度，权值；Jsparse由计算公式计算得到，其中，l代表自编码器的层序号，ρ为稀疏度参数，为自编码器的平均激活度，其表达式由公本文档来自技高网...

【技术保护点】
1.一种基于约束条件的堆叠步进自编码器的正面人脸重建系统，其特征在于，包括：第一存储模块，被配置为存储训练样本库，所述训练样本库包括从FERET数据集提取的X个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk‑1>···>p1>0°和与此对称的角度‑pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；第二存储模块，被配置为存储测试样本库，所述测试样本库包括从FERET数据集提取的Y个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk‑1>···>p1>0°和与此对称的角度‑pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；堆叠渐进自动编码器，包括n层自编码器，相邻所述自编码器之间设有非负约束稀疏自编码器，其中：第一层自编码器，预训练时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将‑pk和pk角度的人脸图像分别映射到‑pk‑1和pk‑1输出，其余角度分别映射到其本身；网络微调时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将‑pk和pk角度的人脸图像分别映射到‑pk‑1和pk‑1，完成角度转换之后，在第一层自编码器进行‑pk‑1和pk‑1角度向‑pk和pk角度的反向微调；非负约束稀疏自编码器，预训练时，被配置为接收前一层自编码器输出的的各姿态人脸图像，约束前一层自编码器中的权值w，使其为非负值，将前一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据；其余n‑1层自编码器，预训练时，被配置为接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中‑pk‑n+1和pk‑n+1角度的人脸图像分别映射到‑pk‑n和pk‑n输出，其余角度分别映射到其本身；网络微调时，被配置为接受第n‑1层自编码器输出的‑pk‑n+1和pk‑n+1角度的人脸图像，在解码时将所有‑pk‑n+1和pk‑n+1角度的人脸图像再依次映射到‑pk‑n和pk‑n，完成后，在第n层自编码器进行‑pk‑n+1和pk‑n+1角度的人脸图像向‑pk‑n和pk‑n角度的人脸图像的反向微调。...

【技术特征摘要】
1.一种基于约束条件的堆叠步进自编码器的正面人脸重建系统，其特征在于，包括：第一存储模块，被配置为存储训练样本库，所述训练样本库包括从FERET数据集提取的X个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；第二存储模块，被配置为存储测试样本库，所述测试样本库包括从FERET数据集提取的Y个人的人脸图像，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；堆叠渐进自动编码器，包括n层自编码器，相邻所述自编码器之间设有非负约束稀疏自编码器，其中：第一层自编码器，预训练时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1输出，其余角度分别映射到其本身；网络微调时，被配置为接收训练样本库和测试样本库中的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和pk-1，完成角度转换之后，在第一层自编码器进行-pk-1和pk-1角度向-pk和pk角度的反向微调；非负约束稀疏自编码器，预训练时，被配置为接收前一层自编码器输出的的各姿态人脸图像，约束前一层自编码器中的权值w，使其为非负值，将前一层自编码器输出的的各姿态人脸图像在编码过程中分解为一些稀疏部分，而在解码过程中又将这些稀疏部分组合到一起来重建输入数据；其余n-1层自编码器，预训练时，被配置为接受第n层自编码器之前的非负约束稀疏自编码器重建的输入数据，向其之后的非负约束稀疏自编码器输出时，将重建的输入数据中-pk-n+1和pk-n+1角度的人脸图像分别映射到-pk-n和pk-n输出，其余角度分别映射到其本身；网络微调时，被配置为接受第n-1层自编码器输出的-pk-n+1和pk-n+1角度的人脸图像，在解码时将所有-pk-n+1和pk-n+1角度的人脸图像再依次映射到-pk-n和pk-n，完成后，在第n层自编码器进行-pk-n+1和pk-n+1角度的人脸图像向-pk-n和pk-n角度的人脸图像的反向微调。2.根据权利要求1所述的系统，其特征在于：n＝(N-1)/2，其中，N＝2k+1。3.一种基于约束条件的堆叠步进自编码器的正面人脸重建方法，其特征在于具有如下步骤：S1：从FERET数据集提取的X个人的人脸图像建立训练样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；从FERET数据集提取的Y个人的人脸图像建立测试样本库，每个人的人脸图像中包括有角度p1～pk的各姿态人脸图像，其中pk>pk-1>···>p1>0°和与此对称的角度-pi，i＝1，2，···，k，以及正脸姿态p0，所以共2k+1种姿态；S2、建立包括n层自编码器的基于条件约束的堆叠渐进自动编码器,相邻所述自编码器之间设有非负约束稀疏自编码器；S3、初始化堆叠渐进自动编码器的权值w和偏置向量b，并逐层训练得到整个堆叠渐进自动编码器的最优参数：所述逐层训练具有如下步骤：第一层自编码器接收训练样本库的各姿态人脸图像，在输出时将-pk和pk角度的人脸图像分别映射到-pk-1和...

【专利技术属性】
技术研发人员：宫俊，丁焕雪，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21