一种基于变速学习深度自编码网络的人脸识别方法技术

本发明专利技术提供一种基于变速学习深度自编码网络的人脸识别方法，属于深度神经网络的模式识别领域。该方法包括以下内容：图像包括训练图像和待识别图像，首先对训练图像进行预处理得到归一化数据；其次将预处理后的训练数据输入深度自编码网络，通过变速学习策略指导深度自编码网络的逐层预训练，然后在网络顶层上添加分类器，通过微调进一步优化网络获得识别模型，针对预处理后的待识别人脸图像进行识别，输出识别结果，并统计识别率。本发明专利技术的模型充分利用了深度自编码网络发现数据本质特征的能力，同时加快了特征学习速度和网络的收敛速度，得到较优的识别性能。

A face recognition method based on variable speed learning deep self coding network

The invention provides a face recognition method based on variable speed learning depth self-coding network, which belongs to the field of pattern recognition of deep neural network. The method includes the following contents: the image includes the training image and the image to be recognized. Firstly, the training image is preprocessed to obtain normalized data; secondly, the preprocessed training data is input into the depth self-coding network, and the depth self-coding network is pre-trained layer by layer through variable speed learning strategy, and then on the top layer of the network. A classifier is added to optimize the network by fine-tuning to get the recognition model. The recognition result is output and the recognition rate is counted according to the pre-processed face image. The model of the invention makes full use of the ability of deep self-coding network to discover the essential features of data, speeds up the learning speed of features and the convergence speed of the network, and obtains better recognition performance.

【技术实现步骤摘要】
一种基于变速学习深度自编码网络的人脸识别方法
本专利技术属于深度神经网络的模式识别领域，具体涉及一种变速学习深度自编码网络对人脸图像的识别模型。该模型充分利用了深度自编码网络发现数据本质特征的能力，同时加快了特征学习速度和网络的收敛速度，提高了人脸识别性能。
技术介绍
人脸识别是当下计算机视觉领域热门研究方向，也是模式识别应用涉及的主要内容。深度自编码网络能够模拟人类神经元活动原理，自主地学习出人脸图像内在不同层次的特征，使人脸识别摆脱了使用传统手工提取特征复杂而低效的困扰。在识别模型中，良好的特征能准确地提取到有利于解决问题的信息，因此特征学习是模式识别领域的重点方向，并具有广泛的应用价值。然而，在深度自编码网络的特征学习中，目前是使用单一固定的学习率来控制学习进度。学习率取值过大时，网络可能过调甚至发散，学习率取过小时，网络收敛很慢，这导致网络学到的特征较差，模型识别结果不佳。而且，网络中不同的特征在训练过程中对学习率的要求是不同的。通常，学习率是由大量试凑实验后根据经验所得，这类方法耗时费力，且得到的学习率是面向整个网络而不是各个特征，因此效率不高。因此有必要提出一种新的技术方案来解决上述问题。
技术实现思路
本专利技术提出一种基于变速学习深度自编码网络的人脸识别方法。该模型首先进行人脸数据预处理；其次通过可变速学习策略指导逐层预训练。最后，在网络顶层添加分类器，进行微调优化得到基于深度自编码网络的识别模型，将待识别人脸图像输入模型进行识别。本专利技术的技术方案：一种基于变速学习的深度自编码网络模型的人脸识别方法，包括以下步骤：1)将训练数据集输入识别模型进行数据预处理；2)将预处理后的数据输入可变速学习的深度自编码网络进行逐层预训练；2-1)使用小批量梯度下降算法训练深度自编码网络，首先训练第一层网络，初始化学习阶段数设为1；2-2)对输入层数据进行编码得到隐含层数据，再将隐含层数据解码得到输出层数据，分别计算输出层数据和输入层数据间的重构误差信息和网络参数更新信息；2-3)统计网络的重构误差信息，量化局部变速系数和总体变速系数；2-4)统计网络的参数更新信息，量化相关变速系数；2-5)将局部变速系数、总体变速系数和相关变速系数相乘，得到最终变速系数；2-6)将初始学习率与步骤2-5)的最终变速系数相乘，获得下一阶段的学习率向量，每个隐含层特征节点有与之对应更新的学习率且其学习过程相互独立；下一阶段的网络参数将在各节点对应的学习率指导下完成更新；2-7)当前学习阶段数自加1，判断当前阶段数是否小于预设学习阶段总数，满足则跳转至步骤2-2)，否则表示当前层训练完毕，跳转至步骤2-8)；2-8)上一个自编码网络的隐含层输出作为下一个自编码网络的隐含层的输入，同样使用小批量梯度下降法，以重构误差最小化为目标进行阶段化训练；训练中参数更新所使用的学习率同样通过2-2)至步骤2-7)的变速学习策略进行更新；直至完成深度自编码网络各层预训练为止；3)对各层已完成预训练的深度自编码网络进行全网微调；3-1)将预处理后的人脸图像数据输入步骤2)训练好的深度自编码网络，进行逐层特征提取，网络最后一层上添加分类器，通过反向传播算法对深度自编码网络进行参数优化；3-2)当完成全网络微调后，即可获得基于变速学习的深度自编码网络模型；4)将预处理后的待识别的人脸图像输入微调后的深度自编码网络模型中，得到对应的识别结果。所述步骤1)中的数据预处理首先通过LBP方法初步提取人脸的纹理特征，然后将图像数据归一化至区间[0,1]。所述步骤2-3)具体为：A1)基于步骤2-2)得到的重构误差信息，分别计算得到当前阶段块级平均误差CME、当前阶段批次级测试误差CTE、总体块级平均误差GME和总体批次级测试平均误差GTE，计算方法分别为：其中，Lrepochs为该学习阶段中的训练批次数，MSE(t)(j)指第t个学习阶段的第j批次训练误差；其中，TE(t)(j)指第t个学习阶段的第j批次整体训练误差，表示当某一学习阶段的某批次完成参数更新后当即对该批次进行一次前馈计算，获取该批次所有数据块更新后网络的整体训练误差；A2)从局部和整体角度通过步骤A1)得到的四个参量计算当前效应Ceffect和总体效应Geffect，计算方法分别为：A3)根据步骤A1)和步骤A2)得到的Ceffect、Geffect和CTE，判断当前变速方向和总体变速方向，具体判断方式为：其中，CTE(t)和CTE(t-1)分别表示第t阶段和第t-1阶段的当前批次级测试误差，GTE(t)和GTE(t-1)分别表示第t阶段和第t-1阶段的总体批次级测试平均误差；A4)基于步骤A3)得出的变速方向，通过Ceffect和Geffect及其各自历史效应的最大最小值计算局部变速系数Clrcc和总体变速系数Glrcc；当变速方向是加速时，局部变速系数Clrcc和总体变速系数Glrcc的计算方式分别为：当变速方向是减速时，局部变速系数Clrcc和总体变速系数Glrcc的计算方式分别为：其中，MAX(Ceffect)和MIN(Ceffect)分别为Ceffect的历史最大值和最小值，MAX(Geffect)和MIN(Geffect)分别为Geffect的历史最大值和最小值。所述步骤2-4)具体为：B1)基于步骤2-2)得到的参数更新信息，计算学习阶段内连接各隐含层节点的参数更新变化量Δθ，所述的参数包括权重和偏置；上式中，dθ(t)(j)为第t个学习阶段中第j个批次训练时的参数更新值；B2)用PPMCC度量网络各阶段间隐含层节点权值更新量之间的强弱关系和变化趋势，计算得出每个节点对应的相关性系数R；上式中，Δθi(t)和Δθi(t-1)分别表示与当前层第i个节点相连的所有权值参数在第t个阶段和第t-1个阶段上的权值更新量，和分别表示第t阶段和第t-1阶段当前层所有神经元的平均激活值；cov(·)表示协方差函数，和分别表示Δθi(t)和Δθi(t-1)的标准差；B3)将步骤B2)得到的相关性系数R统一映射至区间[0,2]，得到相关变速系数Rlrcc，其中，MIN(R(t)和MAX(R(t)分别为第t阶段相关性系数中的最小值和最大值。所述步骤2-5)中的最终变速系数LRCC计算公式为：LRCC(t)＝Clrcc(t)*Glrcc(t)*Rlrcc(t)。所述步骤2-6)中学习率向量的计算公式为：Lr(t)＝LRCC(t)*Lr，其中，为Lr(t)第t阶段的学习率，Lr为网络初始学习率；对应的第t阶段网络参数更新公式为：其中，θ表示网络中的参数，表示损失函数的梯度，损失函数一般选择平方差函数，用来计算输出值与期望值间的误差。本专利技术的有益效果：本专利技术用于解决当前定值型学习率导致的网络收敛速度慢，训练低效的问题。本专利技术提出的基于变速学习的深度自编码网络人脸识别模型，从训练误差趋势和参数更新相关性两个不同的角度方面较全面的评估当前学习率下网络的训练质量，在误差稳步下降的同时加速训练，增强特征学习能力，并进一步提高识别性能。附图说明图1为本专利技术基于可变速学习的深度自编码网络人脸识别模型图；图2为本专利技术中基于训练误差趋势分析及量化变速系数流程图；图3为本专利技术中基于参数更新相关性示意图；图4为本专利技术中基本文档来自技高网...

【技术保护点】
1.一种基于变速学习深度自编码网络的人脸识别方法，其特征在于，包括以下步骤：1)将训练数据集输入识别模型进行数据预处理；2)将预处理后的数据输入可变速学习的深度自编码网络进行逐层预训练；2‑1)使用小批量梯度下降算法训练深度自编码网络，首先训练第一层网络，初始化学习阶段数设为1；2‑2)对输入层数据进行编码得到隐含层数据，再将隐含层数据解码得到输出层数据，分别计算输出层数据和输入层数据间的重构误差信息和网络参数更新信息；2‑3)统计网络的重构误差信息，量化局部变速系数和总体变速系数；2‑4)统计网络的参数更新信息，量化相关变速系数；2‑5)将局部变速系数、总体变速系数和相关变速系数相乘，得到最终变速系数；2‑6)将初始学习率与步骤2‑5)的最终变速系数相乘，获得下一阶段的学习率向量，每个隐含层特征节点有与之对应更新的学习率且其学习过程相互独立；下一阶段的网络参数将在各节点对应的学习率指导下完成更新；2‑7)当前学习阶段数自加1，判断当前阶段数是否小于预设学习阶段总数，满足则跳转至步骤2‑2)，否则表示当前层训练完毕，跳转至步骤2‑8)；2‑8)上一个自编码网络的隐含层输出作为下一个自编码网络的隐含层的输入，同样使用小批量梯度下降法，以重构误差最小化为目标进行阶段化训练；训练中参数更新所使用的学习率同样通过2‑2)至步骤2‑7)的变速学习策略进行更新；直至完成深度自编码网络各层预训练为止；3)对各层已完成预训练的深度自编码网络进行全网微调；3‑1)将预处理后的人脸图像数据输入步骤2)训练好的深度自编码网络，进行逐层特征提取，网络最后一层上添加分类器，通过反向传播算法对深度自编码网络进行参数优化；3‑2)当完成全网络微调后，即可获得基于变速学习的深度自编码网络模型；4)将预处理后的待识别人脸图像通过输入微调后的深度自编码网络模型中，得到对应的识别结果。...

【技术特征摘要】
1.一种基于变速学习深度自编码网络的人脸识别方法，其特征在于，包括以下步骤：1)将训练数据集输入识别模型进行数据预处理；2)将预处理后的数据输入可变速学习的深度自编码网络进行逐层预训练；2-1)使用小批量梯度下降算法训练深度自编码网络，首先训练第一层网络，初始化学习阶段数设为1；2-2)对输入层数据进行编码得到隐含层数据，再将隐含层数据解码得到输出层数据，分别计算输出层数据和输入层数据间的重构误差信息和网络参数更新信息；2-3)统计网络的重构误差信息，量化局部变速系数和总体变速系数；2-4)统计网络的参数更新信息，量化相关变速系数；2-5)将局部变速系数、总体变速系数和相关变速系数相乘，得到最终变速系数；2-6)将初始学习率与步骤2-5)的最终变速系数相乘，获得下一阶段的学习率向量，每个隐含层特征节点有与之对应更新的学习率且其学习过程相互独立；下一阶段的网络参数将在各节点对应的学习率指导下完成更新；2-7)当前学习阶段数自加1，判断当前阶段数是否小于预设学习阶段总数，满足则跳转至步骤2-2)，否则表示当前层训练完毕，跳转至步骤2-8)；2-8)上一个自编码网络的隐含层输出作为下一个自编码网络的隐含层的输入，同样使用小批量梯度下降法，以重构误差最小化为目标进行阶段化训练；训练中参数更新所使用的学习率同样通过2-2)至步骤2-7)的变速学习策略进行更新；直至完成深度自编码网络各层预训练为止；3)对各层已完成预训练的深度自编码网络进行全网微调；3-1)将预处理后的人脸图像数据输入步骤2)训练好的深度自编码网络，进行逐层特征提取，网络最后一层上添加分类器，通过反向传播算法对深度自编码网络进行参数优化；3-2)当完成全网络微调后，即可获得基于变速学习的深度自编码网络模型；4)将预处理后的待识别人脸图像通过输入微调后的深度自编码网络模型中，得到对应的识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤1)中的数据预处理首先通过LBP方法初步提取人脸的纹理特征，然后将图像数据归一化至区间[0,1]。3.根据权利要求1或2所述的方法，其特征在于，所述步骤2-3)具体为：A1)基于步骤2-2)得到的重构误差信息，分别计算得到当前阶段块级平均误差CME、当前阶段批次级测试误差CTE、总体块级平均误差GME和总体批次级测试平均误差GTE，计算方法分别为：其中，Lrepochs为该学习阶段中的训练批次数，MSE(t)(j)指第t个学习阶段的第j批次训练误差；其中，TE(t)(j)指第t个学习阶段的第j批次整体训练误差，表示当某一学习阶段的某批次完成参数更新后当即对该批次进行一次前馈计算，获取该批次所有数据块更新后网络的整体训练误差；A2)从局部和整体角度通过步骤A1)得到的四个参量计算当前效应Ceffect和总体效应Geffect，计算方法分别为：A3)根据步骤A1)和步骤A2)得到的Ceffect、Geffect和CTE，判断当前变速方向和总体变速方向，具体判断方式为：其中，CTE(t)和CTE(t-1)分别表示第t阶段和第t-1阶段的当前批次级测试误差，GTE(t)和GTE(t-1)分别表示第t阶段和第t-1阶段的总体批次级测试平均误差；A4)基于步骤A3)得出的变速方向，通过Ceffect和Geffect及其各自历史效应的最大最小值计算局部变速系数Clrcc和总体变速系数Glrcc；当变速方向是加速时，局部变速系数Clrcc和总体变速系数Glrcc的计算方式分别为：...

【专利技术属性】
技术研发人员：宋威，李炜，王晨妮，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32