一种用于化妆前后人脸图像自动识别方法技术

本发明专利技术公开了一种用于化妆前后人脸图像自动识别方法，包括如下步骤S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

An Automatic Recognition Method for Face Images Before and After Makeup

The invention discloses an automatic recognition method for face image before and after makeup, which includes the following steps: feature extraction of face data; S2, using data set expansion algorithm based on facial critical region replacement to expand facial makeup data set; S3, constructing multi-example training data set; S4, using key local region feature to assist learning task network to carry out global situation. After extracting the features and local features, we use the feature information fusion method of attention mechanism to obtain the final features of training data, and constantly train and fine-tune the network; S5, iterate over and over again until the network converges, so as to realize the training of face recognition network; S6, on the test data set, given the face data before and after the recognition of cosmetics, through training. The proposed face recognition network performs feature extraction and similarity calculation to realize face recognition.

【技术实现步骤摘要】
一种用于化妆前后人脸图像自动识别方法
本专利技术涉及计算机图像分析
，特别涉及一种用于化妆前后人脸图像自动识别方法。
技术介绍
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。近年来，随着计算机视觉技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。并且随着近些年来深度学习技术的不断发展，人脸识别任务的精度已经得到大幅度提升。然而由于头部姿势的变化，遮挡，光线等影响，在实际应用中，人脸识别技术仍面临着许多挑战。本专利技术的系统主要针对的是对化妆前后人脸图像进行自动识别任务。普遍的深度学习框架人脸识别模型在此任务上主要存在以下挑战：首先，由于化妆前后人脸数据集的规模很小，因其要求数据集为包含同一人的化妆前后照片，因而此类数据集目前最大也仅包含1000多张图片，数据的多样性严重缺乏，这对于深度网络结构的学习十分不利，极有可能造成模型过拟合问题；并且由于化妆在现代社会中已经成为日常生活中修饰自我的常用方式，可以大幅度遮盖脸部瑕疵、提亮面部肤色、深化眼部轮廓、描绘眉部轮廓、改变唇部底色、修饰面颊形态等，从而提升个人的魅力与自信心。但使用化妆品后的人脸面部特征会发生大幅度改变，极大程度上降低人脸识别任务精度。近年来，也有相关研究工作尝试解决此类问题。文献1(Y.Sun,L.Ren,Z.Wei,B.Liu,Y.Zhai,andS.Liu.Aweaklysupervisedmethodformakeup-invariantfaceverification.PatternRecognition,66:153–159,2017)提出了将人脸识别模型在公开的大规模视频数据集上进行预训练，其后在小规模的面部化妆数据集上进行微调。但该方法要求大规模额外数据集，并且训练过程复杂，耗时较多。文献2(Y.Li,L.Song,X.Wu,R.He,andT.Tan.Antimakeup:Learningabi-leveladversarialnetworkformakeup-invariantfaceverification.arXivpreprintarXiv:1709.03654,2017)提出了通过生成对抗网络，对于给定化妆后的面部图片生成素颜人脸图片的方法，缩小化妆前后面部特征见的巨大差异，从而使用常规人脸识别模型判别真实素颜图片和生成的素颜图片的身份信息。但该方法需要额外训练一个生成对抗网络，并且生成图片的真实性和质量都较为低下。
技术实现思路
本专利技术的目的是提供一种用于化妆前后人脸图像自动识别方法，考虑到数据集本身的特殊性以及面部特征的显著性，以此设计了基于面部关键性区域替换的数据集扩充算法和多示例学习的深度神经网络结构模型，从而解决了数据量小、多样性差的问题，同时从图像中获取表达能力更强的特征。基于以上改进，本专利技术提出的基于深度神经网络与脸部显著性特征对化妆前后人脸图像进行多示例学习的自动识别算法更具真实系统的实用性，且可以大幅度提升人脸识别任务的精度。为了实现以上目的，本专利技术是通过以下技术方案实现的：一种用于化妆前后人脸图像自动识别方法，其特点是，包括如下步骤：S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。所述的步骤S1包括：步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。所述的步骤S2包括：步骤S2.1，计算每一张基准人脸图片分别和所有候选图片之间的特征距离，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关键区域之一替换为候选图片中对应区域的图像，其他区域保持不变，实现面部化妆数据集扩充。所述的候选图片之间的特征距离包括：利用余弦距离计算两个特征之间的距离。所述的步骤S3具体为：在扩充后的面部化妆数据集中，将原先单个示例的训练集重组成多示例的包训练数据，并将所述的包训练数据送入到关键性局部区域特征辅助学习任务网络。所述组成多示例的包训练数据包括：对于任一基准图片，从由其扩充的数据集中随机挑选部分图片组成一个包，即每个包包含1张基准图片及若干个由其生成扩充的新人脸图片。所述的采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取包括：将训练数据送入全局特征提取网络后得到全局特征，将训练数据中的多个关键区域分别送入相应的局部特征提取网络得到局部特征，并且完成相应的局部区域识别任务。所述的采用注意力机制的特征信息融合方法获得训练数据的最终特征包括：将利用关键性局部区域特征辅助学习任务网络得到的全局特征和局部特征，根据注意力机制进行全局特征和局部特征的融合，生成最终特征。本专利技术与现有技术相比，具有以下优点：本专利技术考虑到数据集本身的特殊性以及面部特征的显著性，以此设计了基于面部关键性区域替换的数据集扩充算法和多示例学习的深度神经网络结构模型，从而解决了数据量小、多样性差的问题，同时从图像中获取表达能力更强的特征。基于以上改进，本专利技术提出的基于深度神经网络与脸部显著性特征对化妆前后人脸图像进行多示例学习的自动识别算法更具真实系统的实用性，且可以大幅度提升人脸识别任务的精度。使用基于面部关键性区域替换的数据集扩充算法，将数据量少、多样性差的面部化妆数据集进行扩充，从而得到大量丰富的面部化妆数据，从而避免了训练过程中的模型过拟合问题，保证了模型训练的稳定性。针对化妆前后人脸的变化规律，提出了关键性局部区域特征辅助学习任务网络，将特征提取的焦点关注于与身份信息密切相关的重点局部区域(眼睛和嘴巴)，并且通过注意力机制的特征信息融合方法学习到更具表达力的特征，提升人脸识别的精度。附图说明图1为本专利技术一种用于化妆前后人脸图像自动识别方法的流程图；图2为基于面部关键性区域替换的数据集扩充算法示意图；图3为局部特征提取网络结构图。具体实施方式以下结合附图，通过详细说明一个较佳的具体实施例，对本专利技术做进一步阐述。图1示出了用于化妆前后人脸图像自动识别方法的流程图，如图1所示，包括了基于面部关键性区域替换的数据集扩充算法、关键性局部区域特征辅助学习任务网络以及注意力机制的特征信息融合方法。该用于化妆前后人脸图像自动识别方法，具体包括如下步骤：S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅本文档来自技高网...

【技术保护点】
1.一种用于化妆前后人脸图像自动识别方法，其特征在于，包括如下步骤：S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。

【技术特征摘要】
1.一种用于化妆前后人脸图像自动识别方法，其特征在于，包括如下步骤：S1，对人脸数据进行特征提取；S2，使用基于面部关键性区域替换的数据集扩充算法扩充面部化妆数据集；S3，构建多示例的训练数据集；S4，采用关键性局部区域特征辅助学习任务网络进行全局特征和局部特征的提取，其后采用注意力机制的特征信息融合方法获得训练数据的最终特征，并不断训练和微调网络；S5，不断迭代重复步骤S2和步骤S3，直至网络收敛，实现人脸识别网络的训练；S6，在测试数据集上，给定待识别的化妆前后人脸数据，通过训练得到的人脸识别网络进行特征提取和相似度计算，从而实现人脸识别。2.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S1包括：步骤S1.1，使用带标签的大量辅助数据对基础特征提取网络进行预训练，得到具有初始化参数的人脸识别预训练网络；步骤S1.2，将面部化妆数据集中的样本作为基准人脸图片，未标注的辅助数据作为候选图片，用此基础特征提取网络对所有人脸图片进行特征提取。3.如权利要求1所述的用于化妆前后人脸图像自动识别方法，其特征在于，所述的步骤S2包括：步骤S2.1，计算每一张基准人脸图片分别和所有候选图片之间的特征距离，并根据相似度对候选图片进行排序，对任一基准人脸图片，从候选图片集中挑选置信度高的候选图片；步骤S2.2，对任一一对基准人脸图片和候选图片，进行人脸关键点检测，并根据关键点将基准图片中多个关...

【专利技术属性】
技术研发人员：付彦伟，姜育刚，薛向阳，王文萱，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31