一种基于面部特征迁移学习的表情识别网络结构及方法技术

本发明专利技术公开一种基于面部特征迁移学习的表情识别网络结构及方法，包括人脸关键点检测网络和表情识别网络，人脸关键点检测网络包括无监督的人脸重构网络、受监督的热图生成网络和无监督的热图分类网络；人脸重构网络包含编码器、生成器和判别器。通过生成器生成人脸以及与判别器对抗训练，编码器可以将学到的大量的人脸中的隐含信息捕获到一个低维空间中；热图生成网络由人脸重构网络中的编码器和生成器改造而成，热图生成网络包含信息传输保留模型，信息传输保留模型捕获到的信息可以让热图生成网络更好的完成学习。热图分类网络通过一轮的训练会学会对热图分类，让热图自己搜寻可以减小映射误差的映射函数。表情识别网络添加有一个注意力模型。有一个注意力模型。有一个注意力模型。

【技术实现步骤摘要】
一种基于面部特征迁移学习的表情识别网络结构及方法


[0001]本专利技术主要涉及深度学习领域，尤其涉及一种基于面部特征迁移学习的表情识别网络结构及方法。

技术介绍

[0002]自从20世纪90年代以来，深度学习领域开始出现人脸特征解析
[13,14]方面的研究。人脸特征解析指基于一定的人脸特征提取需要的信息。这些人脸特征包括表情识别需要的表情特征、人脸对齐需要的脸部朝向特征、人脸分割需要的各个器官位置特征等等。
[0003]人脸关键点检测是人脸特征解析研究最基础的方向之一。所谓人脸关键点检测，指的是通过一系列算法，检测出人脸面部一些特征点位置，这些位置包括但不限于眼睛，鼻子，嘴巴，眉毛等。在人脸关键点检测领域有着诸多优秀的成果。其中，AWLoss
[1]、Wing Loss
[2]、Laplace Landmark Localization
[3]等论文分别从收敛速度、方差等角度专门研究了损失函数。LUVLI
[4]论文把人脸关键点的遮挡分为了自我遮挡、无遮挡和其他遮挡，并对可见性进行了标注，借助本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部特征迁移学习的表情识别网络结构，其特征在于，包括人脸关键点检测网络和表情识别网络，所述人脸关键点检测网络包括无监督的人脸重构网络、受监督的热图生成网络和无监督的热图分类网络；所述人脸重构网络包括编码器、生成器和判别器，通过生成器生成人脸数据以及与判别器对抗训练，编码器能够将学到的人脸数据中的隐含信息捕获到一个低维空间E(x)中；所述热图生成网络在人脸重构网络的编码器和生成器基础上加入了一个信息传输保留模型，信息传输保留模型由3*3的卷积网络和3*3的反卷积网络组成；信息传输保留模型包含两个模型：信息传输模型和信息保留模型；信息传输模型是交错地插在生成器每一层网络之间的3*3卷积网络；信息保留模型是编码器后面的若干条通道，由用来和卷积后信息做叠加的反卷积网络和无卷积网络组成；热图生成网络的训练以人脸重构网络训练阶段得到的隐含信息为基础；信息传输模型负责传输信息；信息传输模型能够将编码器得到的人脸隐含信息逐步解析得到出关键点位置信息；信息保留模型负责将隐含信息输送给信息传输模型的每一层网络，以防止在信息传输的过程中造成的信息丢失，增强热图生成网络的鲁棒性；所述热图分类网络仅由三层卷积网络组成，热图分类网络将热图生成网络得到的热图当作输入进行训练，通过对热图分类网络的一轮训练后，热图分类网络学会对热图分类，使热图自己搜寻能够减小映射误差的映射函数；所述表情识别网络由预处理网络、Resnet18和注意力模型组成，其中预处理网络是两层3*3的卷积网络，注意力模型是一个全连接网络；表情识别网络的训练需要更换数据集为表情识别数据集；将表情识别数据集输入到人脸关键点检测网络，得到的关键点坐标，然后将坐标转化为热图，并将热图与经过预处理网络预处理的表情识别数据集做乘积；注意力模型负责将表情识别网络输出结果维度变为1并使用Sigmoid激活函数激活；使用注意力模型的输出与Resnet18的输出相乘，当作表情识别网络最终的输出。2.根据权利要求1所述一种基于面部特征迁移学习的表情识别网络结构，其特征在于，所述人脸重构网络的训练使用四个损失函数做约束，分别为L
cs
(E，G)，L
rec
(E，G)，L
enc
(E，G)和L
adv
(E，G，D)，它们公式如下：L
cs
(E,G)＝E
x～p(x)
[cs(x,G(E(x))]L
rec
(E,G)＝E
x～p(x)
[||x,G(E(x))||1]L
adv
(E,G)＝E
x～p(x)
[log D
x
(x)]+E
x～p(x)
[log(1
‑
D
x
(G(E(x))))]；其中，E
(x～p(x))
和都指交叉熵损失函数，x指输入编码器的人脸图片，z指由编码器生成的人脸隐含信息，E指编码器，G指生成器，D
z
指作用于z的判别器，D
x
指作用于x的判别器，c和s是结构对齐度参数，它们公式如下：
其中，σ
x
和σ
y
指的x和y两个滑窗的强度方差，σ
xy
则是它们的协方差，常数c负责增加分母的稳定性，在这里c＝255
0.01
；每张图片都会经过k*k个滑窗，之后便可得到两张图的结构对齐度：其中，w＝k*k，x
w
和y
w
分别表示不同的滑窗。3.一种基于面部特征迁移学习的表情识别方法，基于权利要求1所述基于面部特征迁移学习的表情识别网络结构，其特征在于，包括以下步骤：步骤一、准备三种数据集，具体为：S101.收集人脸图片作为人脸重构网络的数据集，并分为训练集C和测试集C
’
；S102.搜集包含清晰人脸器官的人脸图片，以左上角为原点，手动标注人脸关键点的位置坐标，以包含清晰人脸器官的人脸图片为数据集图片，以手动标注人脸关键点的位置坐标为数据集标注；按照5：1的比例将数据集图片分为训练图片P和测试图片P
’
，同时按照5：1的比例将数据集标注分为训练标注W和测试标注W
’
；S103.下载RAF
‑
DB数据集作为表情识别网络的数据集使用；RAF
‑
DB数据集的训练集称为B，测试集称为B
’
；步骤二、将训练图片P与训练标注W分别储存在两个文件夹中，并将训练标注W转化为numpy格式，以便快速读取关键点坐标；步骤三、将训练集C输入人脸重构网络进行训练；步骤四、将训练图片P输入热图生成网络进行训练；步骤五、待热图生成网络的损失函数波动并趋于稳定，开始训练热图分类网络；步骤六、将此时人脸关键点检测网络每个部分训练得到的参数都记录下来，作为人脸关键点检测网络模型并保存；步骤七、将测试图片P
’
和测试集B

【专利技术属性】
技术研发人员：孙倩，商宇，
申请(专利权)人：天津大学，
类型：发明
国别省市：