The invention relates to a face evaluation method based on long and short-term memory network and face key points, including: A. collecting key points of face in input image, dividing the preprocessed face data into training set and test set; B. constructing a depth learning model including front-end network and back-end network, and completing initialization of the depth learning model, including excluding the global in front-end network Resnext \u2011 50 neural network of average pooling layer and full connection layer, including a long-term and short-term memory network and a full connection layer in the back-end network; C. input the data of the training set into the initialized deep learning model to train the deep learning model and get the optimized deep learning model; D. input the data of the test set into the optimized deep learning model, The results of facial appearance evaluation are obtained. The invention greatly reduces the regression error in the face appearance evaluation process, and obtains a more accurate face appearance evaluation effect.
【技术实现步骤摘要】
基于长短期记忆网络和人脸关键点的相貌评估方法
本专利技术涉及长短期记忆神经网络深度学习的方法,具体讲是基于长短期记忆网络和人脸关键点的相貌评估方法。
技术介绍
人脸的相貌在人际交往与社会活动中有着巨大的作用。使人愉悦的相貌作为第一印象可以影响企业用人的录用决策、相亲的成功概率、自媒体平台的关注率等。人脸相貌的评估也可以应用于对美妆、整容等行业的指导,以及社交平台与婚恋交友网站的个性化推荐。传统的人脸相貌评估主要研究几何特征和纹理特征的影响。但现有的几何特征都有其局限性。纹理特征对同年龄段的人脸相貌不足以进行有效区分。因此,依据人工定义提取得到的相貌特征并不能完全解决人脸相貌评估问题。近年来基于神经网络的深度学习模型在各个领域都取得了较大的进步,而长短期记忆网络(Long-ShortTermMemory,LSTM)可以学习不同特征之间的相关性。因人脸相貌的特殊性,如何有效利用人脸的局部/细节信息是相貌评估问题的关键。而在现有的相貌评估方法中并没有相应的突破。
技术实现思路
本专利技术提供了一种基于长短期记忆网络和人脸关键点的相貌评估方法,以解决现有技术中的人脸局部信息利用率低、回归误差高的问题,提高人脸相貌评估的有效性。本专利技术基于长短期记忆网络和人脸关键点的相貌评估方法,包括:A.采集输入图像中人脸的关键点,根据所述关键点对人脸图像预处理后,将预处理后的人脸数据分为训练集和测试集;B.构建包括前端网络和后端网络的深度学习模型,并完成对所述深度学习模型的初始化,在所述的前端网络中包括不含全局平均池化层和全连接层的Resnext-50神经网络,在后端网络中包括一 ...
【技术保护点】
1.基于长短期记忆网络和人脸关键点的相貌评估方法,其特征包括:A.采集输入图像中人脸的关键点,根据所述关键点对人脸图像预处理后,将预处理后的人脸数据分为训练集和测试集;B.构建包括前端网络和后端网络的深度学习模型,并完成对所述深度学习模型的初始化,在所述的前端网络中包括不含全局平均池化层和全连接层的Resnext‑50神经网络,在后端网络中包括一个长短期记忆网络和一个全连接层;C.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练,得到优化后的深度学习模型;D.将所述测试集的数据输入到优化后的深度学习模型,得到人脸相貌评估的结果。
【技术特征摘要】
1.基于长短期记忆网络和人脸关键点的相貌评估方法,其特征包括:A.采集输入图像中人脸的关键点,根据所述关键点对人脸图像预处理后,将预处理后的人脸数据分为训练集和测试集;B.构建包括前端网络和后端网络的深度学习模型,并完成对所述深度学习模型的初始化,在所述的前端网络中包括不含全局平均池化层和全连接层的Resnext-50神经网络,在后端网络中包括一个长短期记忆网络和一个全连接层;C.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练,得到优化后的深度学习模型;D.将所述测试集的数据输入到优化后的深度学习模型,得到人脸相貌评估的结果。2.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法,其特征为:步骤A所述的预处理包括通过仿射变换将倾斜的人脸区域进行校正,并计算校正后的关键点的位置。3.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法,其特征为:步骤B所述的前端网络通过将所述关键点进行尺度变换映射至前端网络的输出特征图,再利用双线性插值计算关键点映射的深度特征信息,将得到的深度特征信息作为后端网络的输入,实现前端网络和后端网络的连接。4.如权利要求1所述的...
【专利技术属性】
技术研发人员:程建,周晓晔,刘济樾,林莉,许轲,
申请(专利权)人:电子科技大学,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。