一种基于自注意力的耦合姿态人脸识别方法技术

本发明专利技术请求保护一种基于自注意力的耦合姿态人脸识别方法，属于模式识别技术领域。所述方法主要包括以下步骤：步骤1.利用MTCNN对训练图像进行预处理操作(人脸检测、特征点标定)；提出基于K

【技术实现步骤摘要】
一种基于自注意力的耦合姿态人脸识别方法


[0001]本专利技术属于计算机模式识别
，特别涉及基于姿态不变的人脸识别方法。

技术介绍

[0002]在现实生活中，如门禁系统、机场与海关入口等特殊场合，身份验证系统要求目标对象主动配合采集到正面人脸图像，可以取得较为理想的识别结果。然而，在现实场景中，大多数情况都是无法获得目标对象的主动配合，甚至是在目标对象毫不知情的情况下通过视频监视系统采集的，也就是说，一般都是在俯视、侧视、仰视等非理想的视角下采集的。在这些非理想的视角下，人仍然能够比较准确地识别人脸，保持相当高的识别绩效；但机器视觉却难以做到，而且在非理想视角下，光照度、眼镜等附加物、图像分辨率等因素对机器视觉识别绩效的影响尤为明显。因此积极深入开展姿态变化下的人脸识别关键问题的研究不仅具有重要的理论意义，更有宽广的应用前景。
[0003]一些研究人员一直在致力于解决姿态变化下的人脸识别问题，并且已经取得了一些研究成果。基于姿态不变特征学习方法的主要思想是：通过对不同姿态图像的特征提取，利用网络模块进行正面人脸恢复，将正面人脸保存为监督信息进行网络训练。其最具代表性的方法是深度神经网络DNN，此类方法从学习人脸身份保留特征着手，取得了好的识别结果，但是还存在一些缺点：由于模型的深层结构，网络有数百万个参数需要调整，因此需要大量的多姿态训练数据。相比姿态不变特征学习方法，基于人脸合成技术的方法在实际生活场景应用中更具有优势。人脸合成方法大致可以分为两类：基于2D人脸合成和基于3D人脸合成。基于2D人脸合成的方法试图通过非线性回归模型提取姿态鲁棒特征，使用局部扭曲策略合成正面姿态图像，此类方法的代表方法有：Stack-flow、解纠缠表示学习方法(Disentangled Representation Learning GAN for Pose-Invariant Face Recognition,DR-GAN)、野外无监督人脸正则化姿态和表情识别方法(Unsupervised Face Normalization with Extreme Pose and Expression in the Wild,FNM)等,此类方法合成的人脸图像存在模糊效应，失去了精细的面部纹理信息。基于3D人脸合成的方法通过评估人脸得深度信息变化将人脸图像归一化到统一姿态，代表得方法有：3D型变模型(3DMM)、野外大姿态人脸正面化(Towards Large-Pose Face Frontalization in the Wild,FF-GAN)。此类方法通常利用有限的信息，如密集的面部关键点坐标，来估计姿态和形状参数，而姿态和形状估计的误差会在后续的纹理映射和人脸合成操作中产生不良的伪影，对人脸识别产生不利影响。为了解决以上问题，本专利技术提供了一种基于自注意力的耦合姿态人脸识别方法。

技术实现思路

[0004]本专利技术旨在解决以上现有技术的问题。提出了一种基于自注意力的耦合姿态人脸识别方法。本专利技术的技术方案如下：
[0005]一种基于自注意力的耦合姿态人脸识别方法，其包括以下步骤：
[0006]101、将训练数据图像输入到多任务卷积神经网络进行人脸检测和五个特征点标定，通过三维形变模型计算特征点对应的姿态偏航角，然后提出基于K-means算法的姿态导向策略PGS，对所有图像的姿态偏航角进行聚类处理，得到四个最优姿态偏航角，作用于三维型变模型，生成四个姿态模板；
[0007]102、使用步骤101中构建的姿态导向策略PGS，将目标图像经过姿态导向策略PGS得到四个姿态人脸，将目标图像与四个姿态人脸同时输入生成器网络，利用编码网络对多张姿态人脸图像进行特征提取，对多个特征进行加权平均得到融合特征，利用解码网络将融合特征还原成正面人脸图像；
[0008]103、采用解纠缠表示学习方法，采用双判别器网络对合成图像进行判别学习，得到姿态人脸识别结果。
[0009]进一步的，所述步骤103采用双判别器网络对合成图像进行判别学习的过程中，还将自注意力模块植入生成器和判别器，通过对特征通道的权重进行分配，从而增强局部纹理信息。
[0010]进一步的，所述步骤101具体包括以下步骤：
[0011]A1、将训练数据图像输入到MTCNN网络进行人脸检测并标定五个关键点，即左右眼中心、鼻尖、左右嘴角；
[0012]B1、通过五个关键点的二维坐标(x
i
，y
i
)计算欧拉角，即俯仰角pitch、偏航角yaw、翻滚角roll，将得到的偏航角组成一维角度向量；
[0013]C1、利用K-means算法对步骤B1中得到的向量进行聚类，通过计算欧式距离划分为四类，得到四个姿态模板。
[0014]进一步的，所述步骤102将目标图像经过姿态导向策略PGS得到四个姿态人脸，将目标图像与四个姿态人脸同时输入生成器网络，利用编码网络对多张姿态人脸图像进行特征提取，对多个特征进行加权平均得到融合特征，利用解码网络将融合特征还原成正面人脸图像，具体包括以下步骤：
[0015]A2、将步骤101中得到的四个姿态模板作用于单张输入图像，在三维型变模型3DMM的辅助下生成四个相同身份不同姿态的人脸图像；
[0016]B2、将原图像和四张姿态图像作为生成网络G的输入，编码器G
enc
进行特征提取，得到特征f1、f2、f3、f4、f5，编码器G
enc
不仅学习f(x)，而且还为每幅图像估计一个置信系数w，以预测表示学习的质量，为了减小姿态的类内差异性，对特征进行加权平均，得到融合特征f(x1,x2,x3,x4,x5)，将融合特征表示作为G
dec
的输入，生成一张与x
i
具有相同身份正面姿态的新图像G
syn
；
[0017]C2、将合成图像G
syn
输入身份判别器D
d
中，对合成图像的身份进行分类，然后将与原始图像x具有相同身份的正面图像和G
syn
同时输入姿态判别器D
p
,进行姿态分类，D
d
和D
p
负责将G
syn
判为假类。同时设计了自注意力编码器和自注意力判别器，自注意力编码器作用是使提取的特征更具真实性和判别性，自注意力判别器负责判别提取的特征为假类，并提供更具鲁棒性的特征供生成器学习。
[0018]进一步的，所述步骤B2的融合特征f(x1,x2,x3,x4,x5)的计算方式如下：
[0019][0020]其中，w
i
是每个特征对应的权重参数，n表示特征数量(n＝5)。通过对w的学习，应用Sigmod激活函数约束w的范围为[0,1]。
[0021]进一步的，所述步骤C2的计算公式如下：
[0022][0023]其中p
z
(z)表示噪声码，初始化为50,p
c
(c)表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力的耦合姿态人脸识别方法，其特征在于，包括以下步骤：101、将训练数据图像输入到多任务卷积神经网络进行人脸检测和五个特征点标定，通过三维形变模型计算特征点对应的姿态偏航角，然后提出基于K-means算法的姿态导向策略PGS，对所有图像的姿态偏航角进行聚类处理，得到四个最优姿态偏航角，作用于三维型变模型，生成四个姿态模板；102、使用步骤101中构建的姿态导向策略PGS，将目标图像经过姿态导向策略PGS得到四个姿态人脸，将目标图像与四个姿态人脸同时输入生成器网络，利用编码网络对多张姿态人脸图像进行特征提取，对多个特征进行加权平均得到融合特征，利用解码网络将融合特征还原成正面人脸图像；103、采用解纠缠表示学习方法，采用双判别器网络对合成图像进行判别学习，得到姿态人脸识别结果。2.根据权利要求1所述的一种基于自注意力的耦合姿态人脸识别方法，其特征在于，所述步骤103采用双判别器网络对合成图像进行判别学习的过程中，还将自注意力模块植入生成器和判别器，通过对特征通道的权重进行分配，从而增强局部纹理信息。3.根据权利要求1所述的一种基于自注意力的耦合姿态人脸识别方法，其特征在于，所述步骤101具体包括以下步骤：A1、将训练数据图像输入到MTCNN网络进行人脸检测并标定五个关键点，即左右眼中心、鼻尖、左右嘴角；B1、通过五个关键点的二维坐标(xi，yi)计算欧拉角，即俯仰角pitch、偏航角yaw、翻滚角roll，将得到的偏航角组成一维角度向量；C1、利用K-means算法对步骤B1中得到的向量进行聚类，通过计算欧式距离划分为四类，得到四个姿态模板。4.根据权利要求3所述的一种基于自注意力的耦合姿态人脸识别方法，其特征在于，所述步骤102将目标图像经过姿态导向策略PGS得到四个姿态人脸，将目标图像与四个姿态人脸同时输入生成器网络，利用编码网络对多张姿态人脸图像进行特征提取，对多个特征进行加权平均得到融合特征，利用解码网络将融合特征还原成正面人脸图像，具体包括以下步骤：A2、将步骤101中得到的四个姿态模板作用于单张输入图像，在三维型变模型3DMM的辅助下生成四个相同身份不同姿态的人脸图像；B2、将原图像和四张姿态图像作为生成网络G的输入，编码器G
enc
进行特征提取，得到特征f1、f2、f3、f4、f5，编码器G
enc
不仅学习f(x)，而且还为每幅图像估计一个置信系数w，以预测表示学习的质量，为了减小姿态的类内差异性，对特征进行加权平均，得到融合特征f(x1，x2，x3，x4，x5)，将融合特征表示作为G
dec
的输入，生成一张与x
i
具有相同身份正面姿态的新图像G
syn
；C2、将合成图像G
syn
输入身份判别器D
d
中，对合成图像的身份进行分类，然后将与原始图像x具有相同身份的正面图像和G
syn
同时输入姿态判别器D
p
，进行姿态分类，D
d
和D
p
负责将G
syn
判为假类，同时设计了自注意力编码器和自注意力判别器，自注意力编码器作用是使提取的特征更具真实性和判别性，自注意力判别器负责判别提取的特征为假类，并提供更具鲁棒性的特征供生成器学习。
5.根据权利要求4所述的一种基于自注意力的耦合姿态人脸识别方法，其特征在于，所述步骤B2的融合特征...

【专利技术属性】
技术研发人员：周丽芳，陈旭，李伟生，雷帮军，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：