一种性别约束的全智能化人脸表情识别方法及系统技术方案

本发明专利技术公开了一种性别约束的全智能化人脸表情识别方法及系统，包括人脸特征提取、人脸性别估计、条件随机森训练和基于性别条件随机森林的人脸表情识别四个步骤，对输入的人脸图像进行人脸检测和图像质量评判以后，将其送入预训练好的深度神经网络中进行学习提取深度学习特征，然基于提取的人脸特征，利用随机森林分类方法进行人脸性别估计，基于提取的人脸特征及其性别属性，利用条件随机森林进行人脸表情识别。本发明专利技术提出的基于深度学习和条件随机森林的鲁棒性人脸表情识别方法，解决了非可控环境和小样本下的人脸表情识别问题，解决了深度学习方法需要大量训练样本支持的问题，同时提高了非可控环境下的人脸表情识别准确性和有效性。

【技术实现步骤摘要】
一种性别约束的全智能化人脸表情识别方法及系统
本专利技术属于图像处理与模式识别
，具体涉及一种性别约束的全智能化人脸表情识别方法及系统。
技术介绍
人脸表情是人类一种最直接、自然和有效的情感表达方式，它是人工智能和计算机领域的一个重要研究方向。人脸表情识别可以广泛应用于安全驾驶、智能教室、视频监控、虚拟现实和人工机交互等场景。由于人脸表情识别是一种特殊的模式识别问题，因此一般的模式分类方法可以自然而然的应用于人脸表情识别问题。受到人脸识别和ImageNet图像识别巨大突破的启示，深度学习技术被广泛应用于人脸表情识别。如，Kim等人通过多样化CNNs设计出一种层次化的网络结构应用于人脸表情识别，在国际人脸表情竞赛(EmotiW2015)上获得第一名成绩。目前，在可控环境下，已经出现了大量的人脸表情识别方法并获得很大的成功。但是，只有少数工作去研究非可控环境下的人脸表情识别问题，非可控环境和小样本下的人脸表情识别问题仍然是一个具有挑战的问题。本专利技术提出基于深度学习和条件随机森林的鲁棒性人脸表情识别方法，解决深度学习方法需要大量训练样本支持本文档来自技高网...

【技术保护点】
1.一种性别约束的全智能化人脸表情识别方法，其特征在于，包括人脸特征提取、人脸性别估计、条件随机森训练和基于性别条件随机森林的人脸表情识别四个步骤，首先，对输入的人脸图像进行人脸检测和图像质量评判以后，将其送入预训练好的深度神经网络中进行学习提取深度学习特征，然后，基于提取的人脸特征，利用随机森林分类方法进行人脸性别估计，最后，基于提取的人脸特征及其性别属性，利用条件随机森林进行人脸表情识别，/n步骤一：人脸特征提取/n将采集的人脸图像送入卷积神经网络(CNN)进行表示学习，提取人脸高层语义特征，并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练，使其更具高层语义信息表示能力，...

【技术特征摘要】
1.一种性别约束的全智能化人脸表情识别方法，其特征在于，包括人脸特征提取、人脸性别估计、条件随机森训练和基于性别条件随机森林的人脸表情识别四个步骤，首先，对输入的人脸图像进行人脸检测和图像质量评判以后，将其送入预训练好的深度神经网络中进行学习提取深度学习特征，然后，基于提取的人脸特征，利用随机森林分类方法进行人脸性别估计，最后，基于提取的人脸特征及其性别属性，利用条件随机森林进行人脸表情识别，
步骤一：人脸特征提取
将采集的人脸图像送入卷积神经网络(CNN)进行表示学习，提取人脸高层语义特征，并使用迁移学习策略将选择的网络模型在LFW和YTF人脸库进行预训练，使其更具高层语义信息表示能力，人脸特征提取表示为y；
步骤二：人脸性别估计
使用整个训练集S去训练生成一个基于人脸性别分类的随机森林TG，然后，训练集S根据人脸性别类别被分成N＝2个子集，每一个子集被用于训练生成一组条件随机森林用于人脸表情分类，将人脸性别划分成两类{Ω1：female,Ω2：male}；
步骤三：条件随机森林训练
条件随机森林中的每棵决策树TtS(Ωn)采用相同的方法独立训练，为构建每棵决策树，从相应的数据子集中随机选取图像构成训练数据集，然后，从每张训练样本特征y随机提取一组子特征{yi＝(ei,Ii)}，其中ei为人脸表情类别，为提取的子特征集合，最后，提取的子特征集合被用于决策树节点的分裂以便生成最终的决策树；
步骤四：基于性别条件随机森林的人脸表情识别
首先，利用人脸性别随机森林TG对测试人脸图像进行性别估计，然后，根据性别估计结果，随机的从条件随机森林中选择相应数量的决策树动态构建人脸表情识别随机森林TE，最后，根据构建的人脸表情识别随机森林TE进行人脸表情分类识别。


2.根据权利要求1所述的性别约束的全智能化人脸表情识别方法，其特征在于，步骤一中，为了提高特征的鲁棒性，CNN采用目前效果较好的GoogleNet、VGG21或RestNet50。


3.根据权利要求2所述的性别约束的全智能化人脸表情识别方法，其特征在于，步骤一中，将检测到的人脸图像进行归一化处理后送入GoogleNet网络模型进行表示学习，GoogleNet通过LFW和YTF人脸库进行预训练，使其更具高层语义信息表示能力，基于GoogleNet的人脸特征提取可以表示为：
y＝xcw+b(1)
式(1)中，其中，y表示最后的高层特征输出，xc表示人脸图像在“Depthconcat”层中的特征图，w是权值项，b为偏置项，其中，深度学习框架采用Caffe开源平台，学习率λ＝0.005，epochs为5000，优化函数采用“Adam”算法，最终得到人脸高层特征表示向量y的维度为256。


4.根据权利要求1所述的性别约束...

【专利技术属性】
技术研发人员：廖海斌，李淑琴，邱吉刚，晏丽娟，
申请(专利权)人：江西赣鄱云新型智慧城市技术研究有限公司，
类型：发明
国别省市：江西;36