一种多池化信息融合的人脸图像特征提取方法技术

本发明专利技术涉及一种多池化信息融合的人脸图像特征提取方法，属于数字图像处理技术领域。该方法为：数据预处理阶段：对于输入的人脸图像，首先利用人脸检测方法提取出含有较少背景信息的人脸，对该部分进行裁剪并重新调整裁剪图像尺寸；局部特征提取阶段：通过特征累加的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的局部特征；全局特征提取阶段：通过特征连接的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的全局特征；将得到的局部特征与全局特征以特征连接的方式融合，得到对人脸姿态变化鲁棒的增强特征。本发明专利技术结合全局特征信息与局部差异信息，使得融合后的特征信息能更好的表示任意姿态下人脸图像的身份特征。

【技术实现步骤摘要】
一种多池化信息融合的人脸图像特征提取方法
本专利技术属于数字图像处理
，涉及一种多池化信息融合的人脸图像特征提取方法。
技术介绍
近几年来，计算机视觉的应用需求加剧，并在人脸识别，物体追踪，场景检测等多个研究方向中收获了大量成果。另一方面，监控摄像机数量和质量的上升，使得在人脸数据采集方面的难度大幅下降，人脸识别的市场应用领域得到了进一步扩展。当前，限制环境下的人脸识别率已接近饱和，研究人员已经开始将非限制条件下的人脸识别技术作为未来的研究方向。其中，跨姿态的人脸识别技术就是非限制条件下的一个重要方向，尤其是针对真实场景中的跨姿态人脸识别问题。目前，已有的人脸识别技术在真实场景环境中仍然存在诸多实际困难：首先，人脸图像容易受到外界因素的影响，如姿态变化角度，光照量，目标人脸表情等因素。这使得人脸因姿态改变而产生的刚性形变会对传统方法中基于正面人脸的特征提取方法产生极大的影响，从而影响最终的识别结果。其次，即使是不同的待识别人物，在特定角度下的对应人脸图像也会产生较大的相似性，提升了人脸识别问题的复杂性和困难程度。在跨姿态变化下的人脸识别任务中，头部姿态变化所造成的复杂图像变化使得人脸识别的在准确性受到了影响。另外，在大多数已有的基于深度学习的人脸识别网络模型中，经过全局池化后的深层特征图通常作为输入图像的全局描述特征。而全局特征并不能有效地描述图像间的差异性，同时也造成了图像中局部显著性特征的缺失。对应于人脸识别任务中，当同类别人脸样本中存在较大差异性时(如姿态，光照等)，模型所产生的全局特征的鲁棒性则会下降，并造成一定程度上的识别性能下降。而局部特征虽然具有对差异信息敏感的特点，但又相对缺乏对图像全局属性的描述能力。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种多池化信息融合的人脸图像特征提取方法。为达到上述目的，本专利技术提供如下技术方案：一种多池化信息融合的人脸图像特征提取方法，该方法包括以下步骤：S1：数据预处理阶段：对于输入的人脸图像，利用人脸检测方法提取出含有较少背景信息的主要人脸部分，同时将其尺寸重新调整为为224×224；S2：局部特征提取阶段：通过特征累加的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的局部特征；S3：全局特征提取阶段：通过特征连接的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的全局特征；S4：特征融合阶段：将得到的局部特征与全局特征以特征连接的方式融合，得到对人脸姿态变化鲁棒的增强特征。可选的，所述步骤S1包括以下步骤：S11：对所有人脸图像数据进行归一化，让整个图像的均值为0，标准差为1，即使原始图像在r,g,b通道上的分布服从正态分布；S12：利用人脸检测网络裁剪出原始图像中的人脸部分，并将裁剪出的切块图像尺寸重新拉伸为224×224。可选的，所述步骤S2包括以下步骤：S21：图像的局部主干特征提取阶段，将S12得到的图像作为输入送入深度卷积神经网络，并将所得特征层向量作为图像的局部特征信息；S22：图像的局部特征最大池化，将S21得到的特征层向量进行全局最大池化，并输出池化后的最大池化特征；S23：图像的局部特征平均池化，将S21得到的特征层向量进行全局平均池化，并输出池化后的平均池化特征；S24：局部池化特征的融合阶段，将S22与S23所得到的两种池化特征向量进行对位累加，输出累加后的融合池化特征作为增强的局部信息鲁棒特征。可选的，所述步骤S3包括以下步骤：S31：图像的全局主干特征提取阶段，将S12得到的图像作为输入送入深度卷积神经网络，不同于S21所使用的网络，并将所得特征层向量作为图像的全局特征信息；S32：图像的全局特征最大池化，将S31得到的特征层向量进行全局最大池化，并输出池化后的最大池化特征；S33：图像的全局特征平均池化，将S31得到的特征层向量进行全局平均池化，并输出池化后的平均池化特征；S34：全局池化特征的融合阶段，将S22与S23所得到的两种池化特征向量进行特征维度连接，输出维度连接后的融合池化特征作为增强的全局信息鲁棒特征。本专利技术的有益效果在于：本专利技术解决了单一池化特征所造成的信息损失的问题，通过结合平均池化与最大池化，使得网络所提取出的特征既保留了输入信息的全局特征，又结合了图形信息的局部纹理特征，提升了深度卷积神经网络中特征信息的鲁棒性。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为本专利技术中人脸图像预处理的流程示意图。图2为本专利技术中局部特征提取的流程示意图。图3为本专利技术中全局特征提取的流程示意图。图4为本专利技术中增强的融合特征提取流程示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。图1为本专利技术所述方法中人脸图像预处理的流程示意图，该流程包含如下步骤：步骤1：数据预处理阶段：对于输入的人脸图像，首先利用人脸检测方法提取出含有较少背景信息的主要人脸部分。步骤101：对所有人脸图像数据进行归一化，让整个图像的均值为0，标准差为1，即使原始图像在r,g,b通道上的分布服从正态分布。步骤102：利用预训练好的MTCNN人脸检测网络，得到输入图像中人脸的主要区域坐标位置。步骤103：利用步骤102中获取的人脸位置信息，裁本文档来自技高网...

【技术保护点】
1.一种多池化信息融合的人脸图像特征提取方法，其特征在于：该方法包括以下步骤：/nS1：数据预处理阶段：对于输入的人脸图像，利用人脸检测方法提取出含有较少背景信息的主要人脸部分，同时将其尺寸重新调整为为224×224；/nS2：局部特征提取阶段：通过特征累加的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的局部特征；/nS3：全局特征提取阶段：通过特征连接的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的全局特征；/nS4：特征融合阶段：将得到的局部特征与全局特征以特征连接的方式融合，得到对人脸姿态变化鲁棒的增强特征。/n

【技术特征摘要】
1.一种多池化信息融合的人脸图像特征提取方法，其特征在于：该方法包括以下步骤：
S1：数据预处理阶段：对于输入的人脸图像，利用人脸检测方法提取出含有较少背景信息的主要人脸部分，同时将其尺寸重新调整为为224×224；
S2：局部特征提取阶段：通过特征累加的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的局部特征；
S3：全局特征提取阶段：通过特征连接的形式，将全局最大池化特征与全局平均池化特征融合，得到增强的全局特征；
S4：特征融合阶段：将得到的局部特征与全局特征以特征连接的方式融合，得到对人脸姿态变化鲁棒的增强特征。


2.根据权利要求1所述的一种多池化信息融合的人脸图像特征提取方法，其特征在于：所述步骤S1包括以下步骤：
S11：对所有人脸图像数据进行归一化，让整个图像的均值为0，标准差为1，即使原始图像在r,g,b通道上的分布服从正态分布；
S12：利用人脸检测网络裁剪出原始图像中的人脸部分，并将裁剪出的切块图像尺寸重新拉伸为224×224。


3.根据权利要求2所述的一种多池化信息融合的人脸图像特征提取方法，其特征在于：所述步骤S2包括以下步骤：
S21：图像的局部主干特征提取阶段，将S12...

【专利技术属性】
技术研发人员：栾晓，耿弘民，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50