基于多任务学习的卷积神经网络的人脸属性分析方法技术

本发明专利技术公布了一种基于多任务学习的卷积神经网络(CNN)的人脸属性分析方法。该方法主要是以卷积神经网络为基础，采用多任务学习的方法对人脸图像同时进行年龄估算、性别识别和种族分类。在传统的处理方法中，人脸多属性分析时，需要分多次计算，既消耗时间，又降低了模型的泛化能力。本发明专利技术通过对三个单任务网络分别进行训练，然后选用收敛最慢网络的权值初始化多任务网络的共享部分，随机初始化多任务网络的独立部分；接下来对多任务网络进行训练，得到多任务CNN网络模型；最后，就可以利用训练好的多任务CNN网络模型对输入的人脸图像同时进行年龄、性别和种族三个属性的分析，既节约了时间又获得了较高的准确度。

【技术实现步骤摘要】

本专利技术涉及图像识别领域，具体涉及一种基于多任务学习的卷积神经网络的人脸属性分析方法。
技术介绍
传统的人脸图像分析技术往往只针对单个任务，如年龄估算、性别识别、种族分类等，针对人脸多属性分析时，需要分多次计算，非常消耗时间，很难达到实际需求。此外，单任务的人脸图像分析技术忽视了各个信息之间的联系，不能充分利用人脸图像中所蕴含的信息。人脸的面部特征在不同性别、不同种族之间是不一样的，如男女之间、黑白人种之间皮肤细腻程度、肤色、皮肤光亮程度等存在差异，并且皮肤的光亮程度、色泽、皱纹纹理等会随着年龄增长而发生相应的变化，其变化速度也随性别、种族而异。由此可见，各个人脸信息之间是紧密联系的，将各个任务进行独立学习在一定程度上会丢失很多有用的信息，从而降低模型的泛化能力。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出一种基于多任务学习的卷积神经网络的人脸属性分析方法，提高了人脸多属性分析时的计算速度和模型的泛化能力。本专利技术提出的基于多任务学习的卷积神经网络的人脸属性分析方法，包括单任务模型分析、多任务模型训练和人脸属性判断三部分；单任务模型分析：步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；多任务模型训练：步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；人脸属性判断：步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。优选的，步骤A1具体包括以下内容：步骤A11，选取各年龄人脸图像作为原始样本；步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。优选的，步骤A2中在分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络时，学习率、学习策略等条件完全一致。优选的，步骤B1中多任务卷积神经网络的共享部分为多任务网络的底层部分，包括数据输入以及卷积层和池化层。优选的，步骤B1中多任务卷积神经网络的独立部分为：年龄估算、性别识别、种族分类三个任务独立的网络结构，每个独立网络结构拥有独立的卷积层、pooling层和全连接层。优选的，多任务卷积神经网络总损失函数为：lmulti-task＝α·lage+β·lgender+γ·lrace其中lmulti-task为多任务网络的总损失，α、β、γ分别为预设的三个任务的权重系数，lage、lgender、lrace分别为多任务卷积神经网络中的年龄估算损失、性别识别损失、种族分类损失。优选的，步骤B2中训练多任务卷积神经网络的方法为：步骤B21，从步骤A1生成的新样本中随机抽取m张图像，输入到在步骤B1中构建并已初始化的多任务卷积神经网络，进行多任务同步训练；步骤B22，多任务卷积神经网络前向传递，分别计算年龄估算损失lage、性别识别损失lgender和种族分类损失lrace；步骤B23，计算多任务卷积神经网络的总损失lmulti-task；步骤B24：判断网络训练是否收敛，若收敛则停止训练并得到多任务卷积神经网络模型，否则执行步骤B25；步骤B25：采用反向传播算法计算网络各参数梯度，采用随机梯度下降法更新网络参数权值；返回步骤B21。优选的，步骤C1具体包括以下内容：步骤C11，对所输入的图片检测其是否包含人脸，若不包含人脸则放弃该张图片，否则进入步骤C12；步骤C12，对所输入的图片进行人脸关键点检测，得到两个关键点；步骤C13，按照上述关键点的位置及其连线对原始图片进行人脸图像的对齐，所述人脸图像的对齐包括对原始图片的旋转、缩放、平移；步骤C14，将步骤C13中对齐后的图片按照预设尺寸裁剪生成包含人脸图像的新图片。优选的，步骤C2具体包括以下内容：步骤C21，将步骤C1得到的新图片输入到已经训练好的多任务卷积神经网络，进行人脸多属性分析；步骤C22，得到年龄概率p1(i)，最终年龄估算结果为各年龄的数学期望值，其中输出结点个数为k+1个，i为输出节点序号，a(i)为输出节点i对应的年龄数值；步骤C23，得到性别类别概率p2(i)，最终性别识别结果为概率最大的性别，gender_pre＝argmaxip2(i)，其中i为性别类别序号；步骤C24，得到种族类别概率p3(i)，最终种族分类结果为概率最大的种族，race_pre＝argmaxip3(i)，其中i为种族类别序号。优选的，步骤A12和步骤C12所述的两个关键点为两眼中心点和上嘴唇中心点。本专利技术通过单任务模型分析、多任务模型训练，然后利用训练好的多任务学习的卷积神经网络对人脸多种属性(年龄、性别、种族)进行判断，提高了人脸多属性分析时的计算速度和模型的泛化能力。附图说明图1为本实施例的步骤A1流程示意图；图2为本实施例的步骤A2流程示意图；图3为本实施例的多任务卷积神经网络框架示意图；图4为本实施例的步骤B2流程示意图；图5为本实施例的步骤C1流程示意图；图6为本实施例的步骤C2流程示意图。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。本专利技术基于多任务学习的卷积神经网络的人脸属性分析方法，先进行单任务训练，找出收敛最慢的网络；再将训练好的收敛最慢的网络模型的权值赋给多任务卷积神经网络的共享部分，再进行多任务同步训练；这一步赋权值的工作会使多任务训练变得容易，可以很大程度上减小多任务网络针对收敛最慢任务的训练难度，使各个任务的收敛步调基本一致。本专利技术包括单任务模型分析、多任务模型训练和人脸属性判断三部分；单任务模型分析：步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；多任务模型训练：步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别本文档来自技高网...

【技术保护点】
一种基于多任务学习的卷积神经网络的人脸属性分析方法，其特征在于，包括单任务模型分析、多任务模型训练和人脸属性判断三部分；单任务模型分析：步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；多任务模型训练：步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；人脸属性判断：步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。...

【技术特征摘要】
1.一种基于多任务学习的卷积神经网络的人脸属性分析方法，其特征在于，包括单任务模型分析、多任务模型训练和人脸属性判断三部分；单任务模型分析：步骤A1，将各年龄人脸图像的原始样本进行人脸关键点检测，并进行人脸对齐后按照预设尺寸裁剪生成包含人脸图像的新样本；步骤A2，利用步骤A1生成的新样本，分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络，比较各网络的收敛速度，获取收敛速度最慢的一个单任务卷积神经网络的权值；多任务模型训练：步骤B1，构建多任务卷积神经网络，该网络共有三个任务输出，分别对应年龄估算、性别识别和种族分类，三个任务都采用softmax损失函数作为目标函数；所述多任务卷积神经网络包括用于多任务学习中数据共享和信息交换的共享部分、以及用于计算上述三个任务输出的独立部分；利用步骤A2获取的单任务卷积神经网络的权值初始化多任务卷积神经网络的共享部分，形成初始化后的多任务卷积神经网络；步骤B2，利用步骤A1中生成的新样本，训练多任务卷积神经网络，得到训练好的多任务卷积神经网络模型；人脸属性判断：步骤C1，对所输入图片进行人脸检测，判断是否包含人脸图像，如包含则对输入图像进行人脸关键点检测，并进行人脸对齐，然后按照预设尺寸裁剪生成包含人脸图像的新图片；步骤C2，将步骤C1所得新图片，输入到步骤B2得到的多任务卷积神经网络模型，进行年龄估算、性别识别和种族分类。2.根据权利要求1所述的方法，其特征在于，步骤A1具体包括以下内容：步骤A11，选取各年龄人脸图像作为原始样本；步骤A12，对所选取的原始样本进行人脸关键点检测，得到两个关键点；步骤A13，按照两个关键点的位置及其连线对原始样本进行人脸图像的对齐，所述人脸图像的对齐包括对原始样本的旋转、缩放、平移；步骤A14，将步骤A13中对齐后的样本按照预设尺寸裁剪生成包含人脸图像的新样本。3.根据权利要求1所述的方法，其特征在于，步骤A2中在分别训练年龄估算网络、性别识别网络、种族分类网络三个单任务卷积神经网络时，学习率、学习策略等条件完全一致。4.根据权利要求1所述的方法，其特征在于，步骤B1中多任务卷积神经网络的共享部分为多任务网络的底层部分，包括数据输入、卷积层和池化层。5.根据权利要求4所述的方法，其特征在于，步骤B1中多任务卷积神经网络的独立部分为：年龄估算、性别识别、种族分类三个任务独立的网络结构，每个独立网络结构拥有独立的卷积层、pooling层和全连...

【专利技术属性】
技术研发人员：万军，李子青，雷震，谭资昌，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11