基于人脸属性感知损失的人脸识别方法、装置与电子设备制造方法及图纸

本发明专利技术实施例提供一种基于人脸属性感知损失的人脸识别方法、装置与电子设备，其中所述方法包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征；将高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对待识别人脸的识别。本发明专利技术实施例能够更有效的优化人脸的特征表达，从而更准确的进行人脸识别。

【技术实现步骤摘要】
基于人脸属性感知损失的人脸识别方法、装置与电子设备
本专利技术实施例涉及人脸识别
，更具体地，涉及一种基于人脸属性感知损失的人脸识别方法、装置与电子设备。
技术介绍
近些年来，随着深度学习技术的火热发展，人脸识别作为计算机视觉领域热点问题之一，得到了长足发展。目前，主流的人脸识别方法大多首先采用深度网络将人脸样本映射到高维特征空间，得到具有区分性的特征表达，再通过计算特征距离来对人脸进行分类。例如，对比损失函数(contrastiveloss)、三元组损失函数(tripletloss)以及以centerloss为代表的一系列softmax变体损失，都是通过度量学习的方法来减少类内特征的距离，同时增大类间特征的距离。然而，这些方法并未考虑到人脸样本的潜在语义表达，致使其在高维空间中的特征分布趋于均匀分布。也就是说，采用传统的深度学习损失函数进行人脸识别时，不同类样本的特征相近程度并不能代表样本的潜在语义相似度，因此不利于更准确的进行人脸识别。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种基于人脸属性感知损失的人脸识别方法、装置与电子设备，用以更有效的优化人脸的特征表达，从而更准确的进行人脸识别。第一方面，本专利技术实施例提供一种基于人脸属性感知损失的人脸识别方法，包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。第二方面，本专利技术实施例提供一种基于人脸属性感知损失的人脸识别装置，包括：预处理模块，用于分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；特征提取模块，用于将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；聚类模块，用于将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；识别输出模块，用于基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。第三方面，本专利技术实施例提供一种电子设备，包括：至少一个存储器、至少一个处理器、通信接口和总线；所述存储器、所述处理器和所述通信接口通过所述总线完成相互间的通信，所述通信接口用于所述电子设备与人脸图像设备之间的信息传输；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上第一方面所述的基于人脸属性感知损失的人脸识别方法。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上第一方面所述的基于人脸属性感知损失的人脸识别方法。本专利技术实施例提供的基于人脸属性感知损失的人脸识别方法、装置与电子设备，通过引入人脸属性，并构建属性差异和特征差异之间的全局线性映射来优化特征表达，结合使用属性感知损失和多模态输入，使学习出的特征映射更具判别性和鲁棒性，能够有效提高人脸识别方法的准确率和泛化能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图；图2为本专利技术另一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图；图3为本专利技术实施例提供的基于人脸属性感知损失的人脸识别装置的结构示意图；图4为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术实施例的一部分实施例，而不是全部的实施例。基于本专利技术实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术实施例保护的范围。为了克服传统的深度学习损失函数的人脸识别算法中，不同类样本的特征相近程度不能代表样本的潜在语义相似度，而不利于更准确的识别人脸的问题，本专利技术实施例引入人脸属性，例如：种族、性别、年龄等，通过构建属性差异和特征差异之间的全局线性映射来优化特征表达，使得属性相近的类别其特征距离也相近。同时，为了提升识别模型的鲁棒性，对Depth模态数据进行点云化处理，与RGB模态数据相融合作为网络输入，能够有效地提升人脸识别的准确率和鲁棒性。以下将具体通过多个实施例对本专利技术实施例进行展开说明和介绍。图1为本专利技术一实施例提供的基于人脸属性感知损失的人脸识别方法的流程示意图，如图1所示，该方法的处理流程包括：S101，分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合。可以理解的是，考虑到虽然基于RGB单模态也能够实现人脸识别，但是表情变化、姿态变化，尤其是光照变化等仍会直接影响到识别的准确程度。随着Kinect、IntelRealSense以及PrimeSense等RGB-D相机的发展，人们可以直接获取到Depth图像数据。因此，为了更大程度的提高对人脸识别的鲁棒性，而采用RGB和Depth多模态结合的方式，来对人脸进行更有效的识别。具体而言，本专利技术实施例事先会对待识别人脸进行图像采集，获取待识别人脸的RGB模态数据和Depth模态数据。之后，为了便于将待识别人脸的RGB模态数据和Depth模态数据进行有效融合，分别执行如下处理流程：首先，对RGB模态数据进行人脸检测和人脸对齐，并裁剪出规格一致的人脸图像，进行尺度归一化处理。例如，可以利用人脸检测器，对RGB模态数据进行人脸检测和关键点定位，根据关键点的位置进行相似变换、缩放、裁剪等操作，保存为112x96像素大小的图像，并将该图像像素做归一化处理。其次，先根据RGB模态数据上的人脸检测框和关键点位置，得到相对应的Depth模态数据上的人脸检测框和关键点位置，再将Depth模态数据转为相机坐标系下的点云表示，并在点云表示中对人脸的三维区域进行剪裁、处理与至二维平面的重新投影，得到相同尺寸Depth二维图像并进行点云转换和存储。最后，在信号层级上进行模型数据的融合，将归一化的人脸RGB模态数据和Depth模态数据的点云图像进行通道堆叠与数据融合，组合为6通道，作为深度卷积网络的输入。S102，将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取待识别人脸的高维人脸特征。在根据上本文档来自技高网...

【技术保护点】
1.一种基于人脸属性感知损失的人脸识别方法，其特征在于，包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。

【技术特征摘要】
1.一种基于人脸属性感知损失的人脸识别方法，其特征在于，包括：分别对待识别人脸的RGB模态数据和Depth模态数据进行人脸图像的尺度归一化处理，并将归一化的人脸RGB模态数据和归一化的人脸Depth模态数据进行通道堆叠融合；将堆叠融合后的人脸RGB模态数据和人脸Depth模态数据输入深度卷积网络，提取所述待识别人脸的高维人脸特征；将所述高维人脸特征输入人脸属性感知损失与分类损失结合层，实现基于人脸属性的特征聚类；基于所述特征聚类，通过计算与人脸图像库中不同人脸图像的相似度得分，实现对所述待识别人脸的识别。2.根据权利要求1所述的方法，其特征在于，对待识别人脸的Depth模态数据进行人脸图像的尺度归一化处理的步骤具体包括：根据所述RGB模态数据上的人脸检测框和关键点位置，获取相对应的Depth模态数据上的人脸检测框和关键点位置；将所述Depth模态数据转换为相机坐标系下的点云表示，并以所述点云表示上设定关键点的坐标作为球心，根据设定半径对所述点云表示进行裁剪；对裁剪后的点云进行去中心化处理，并将去中心化后的点云沿深度方向平移固定的值；将平移后的点云重新投影到二维平面，获取尺度归一的Depth图像，并将所述尺度归一的Depth图像转换为空间点云后，以三通道的二维图像进行存储。3.根据权利要求1所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层中的人脸属性感知损失项的表达式如下：d(pi,pj)＝||pi-pj||2式中，表示参数矩阵，需要深度网络学习得到，pi,分别表示第i、j个样本所标注的人脸属性向量，d(pi,pj)表示两个属性向量pi和pj的欧氏距离，γ为阈值，用来衡量两个属性向量的相近程度，yi、yj分别表示第i、j个样本对应的样本标签，fi、fj分别表示第i、j个样本的深度特征值。4.根据权利要求3所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层中的分类损失项的表达式如下：式中，fi,表示第i、j个样本的深度特征值，和分别表示最后一个全连接层的权重和偏置，N表示训练集的大小，C表示聚类的最大类别数。5.根据权利要求4所述的方法，其特征在于，所述人脸属性感知损失与分类损失结合层的总优化目标函数表达式如下：L＝Ls+λLa式中，Ls表示所述分类损失项，La表示所述人脸属性感知损失项，λ表示超参数，用来权衡分类损失和脸属性感知损失所占的比重。6.根据权利要求2所述的方法，其特征在于...

【专利技术属性】
技术研发人员：张举勇，邓柏林，户磊，
申请(专利权)人：北京的卢深视科技有限公司，
类型：发明
国别省市：北京,11