一种基于显著表情变化区域辅助学习的人脸表情识别方法技术

本发明专利技术公开了一种基于显著表情变化区域辅助学习的人脸表情识别方法，其搭建一个辅助学习网络对人脸表情图像中的显著表情变化区域进行特征提取，将主网络与辅助学习网络的前3层特征提取层的参数进行共享，将辅助学习网络的第四层、第五层特征提取层提取的特征与主网络的第四层、第五层进行特征加权融合，使得主网络结构可以学习到辅助网络中的一些显著表情区域的特征；使用人脸检测和定位算法对人脸表情数据集进行处理得到人脸区域图像，用于对主网络进行训练；将人脸区域图像进行预处理得到具有表情显著变化区域的图像，用于对辅助学习网络进行训练，使得表情识别的主网络可以更加集中注意力在显著表情变化的区域，从而提取更加具有辨识力和鲁棒性的表情特征。

【技术实现步骤摘要】
一种基于显著表情变化区域辅助学习的人脸表情识别方法
本专利技术涉及人工智能领域，更具体的，涉及一种基于显著表情变化区域辅助学习的人脸表情识别方法。
技术介绍
在人与人之间的交流中，人脸表情所传递的信息反映着人类丰富的内心世界，是人体行为信息与情感的重要载体。随着科学技术的发展，人脸表情识别技术得到了深入研究，并广泛的应用在各个领域中，人脸表情识别常常用于人机交互领域。人脸表情识别的步骤一般包含人脸表情图像的获取和对原始人脸表情图像的剪裁、归一化、表情特征提取、模型训练和表情分类，其中的关键步骤是表情特征提取，提取的特征的有效性决定着人脸表情识别性能的高低。现有技术中一般都是对整张人脸表情图像进行识别，而人脸表情传递着重要信息主要是通过眼睛、嘴唇嘴巴变化来实现。因此若对整张人脸表情图像进行特征提取，容易导致部分表情特征信息的丢失，在一定程度上损失了原有的特征信息，使得所取得的识别性能不太令人满意，此外提取到的特征维数都非常大，不利于下阶段的分类；同时识别精确度不高。
技术实现思路
本专利技术为了解决现有识别技术中，只对整张人脸表情图像进行特征提取，存在识别性能低下，提取到的特征维数都非常大，不利于下阶段的分类的问题，提供了一种基于显著表情变化区域辅助学习的人脸识别方法，其通过辅助学习网络与主网络之间进行参数共享，有效提高识别精度。为实现上述本专利技术目的，采用的技术方案如下：一种基于显著表情变化区域辅助学习的人脸表情识别方法，该识别方法如下：S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S3：将主网络和辅助学习网络的前3层特征提取层的参数进行共享；然后将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络的第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；S4：主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整主网络、辅助学习网络的参数，不断优化主网络、辅助学习网络；S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；S6：将待识别的人脸表情图像输出主网络中，完成人脸表情识别。优选地，所述主网络的5层特征提取层、辅助学习网络的5层特征提取层中的每一层特征提取层均包括卷积层，池化层，BatchNormalization层和ReLU层；主网络的5层特征提取层、辅助学习网络的5层特征提取层均用于对人脸表情特征提取。优选地，步骤S3，所述加权融合的计算方式如下：其中：α是加权因子；是主网络结构的第i层的特征输出，是辅助网络的第i层的特征输出，是进行主辅网络融合后的特征向量，i＝4，5；融合后的特征作为主网络的相应层的输出特征输入下一层继续前向传播。进一步地，所述α＝0.5，主网络和辅助学习网络的第四层和第五层特征提取层提取的特征权重各自占据比例为0.5。优选地，步骤S4，所述交叉熵损失函数的损失计算如下：整个网络的目标就是最小化主网络、辅助学习网络的损失函数：argmin(Lossmain+Lossauxiliary)其中：Lossmain是主网络的损失函数，Lossauxiliary是辅助学习网络的损失函数。优选地，步骤S5，所述训练方式具体是训练主网络三次，然后训练辅助学习网络一次，周而复始循环训练。进一步地，步骤S5，所述具有表情显著变化区域的图像包括眼睛眉毛区域的特征数据、嘴唇嘴巴区域的特征数据。本专利技术的有益效果如下：1.本专利技术通过搭建一个辅助学习网络对人脸表情图像中的显著表情变化区域进行特征提取，同时主网络与辅助学习网络的前3层特征提取层的参数进行共享，将辅助学习网络的第四层、第五层特征提取层提取的特征与主网络的第四层、第五层进行特征加权融合，使得主网络结构可以学习到辅助网络中的一些显著表情区域的特征。2.使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集进行处理得到相应的人脸区域图像，对主网络进行训练；并将人脸区域图像进行预处理得到具有表情显著变化区域的图像，对辅助学习网络进行训练，使得表情识别的主网络可以更加集中注意力在显著表情变化的区域，从而提取更加具有辨识力和鲁棒性的表情特征。附图说明图1是本专利技术的总特征提取层图。图2是第N层特征提取的特征提取层图。具体实施方式下面结合附图和具体实施方式对本专利技术做详细描述。实施例1如图1所示，一种基于显著表情变化区域辅助学习的人脸表情识别方法，该识别方法如下：S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，如图2所示，所述主网络的5层特征提取层中的每一层特征提取层包括卷积层，池化层，BatchNormalization层和ReLU层；将提取后的高层语义特征输入到全连接层中，本实施例采用3层的全连接结构，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果。S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，如图2所示，所述辅助学习网络的5层特征提取层中的每一层特征提取层包括卷积层，池化层，BatchNormalization层和ReLU层；将提取后的高层语义特征输入到全连接层中，本实施例采用3层的全连接结构，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果。S3：为了使得主网络能学习到辅助学习网络中的显著表情区域的特征，将主网络和辅助学习网络的前3层特征提取层的提取的参数进行共享；为了使得网络后面可以各自学习到不同的特征，将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络的第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；S4：为了提高人脸表情识别精度，主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整网络的参数，不断优化主网络、辅助学习网络；S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；本实施例人脸表情数据集的采用CK+数据集，将CK+数据集分割成帧，取每一个序列中的最后3帧作为一个具有标签的表情数据集，然后使用Opencv中的Adaboost人脸检测和定位本文档来自技高网...

【技术保护点】
1.一种基于显著表情变化区域辅助学习的人脸表情识别方法，其特征在于：该识别方法如下：S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S3：将主网络和辅助学习网络的前3层特征提取层的参数进行共享；然后将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；S4：主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整主网络、辅助学习网络的参数，不断优化主网络、辅助学习网络；S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；S6：将待识别的人脸表情图像输出主网络中，完成人脸表情识别。...

【技术特征摘要】
1.一种基于显著表情变化区域辅助学习的人脸表情识别方法，其特征在于：该识别方法如下：S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S3：将主网络和辅助学习网络的前3层特征提取层的参数进行共享；然后将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；S4：主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整主网络、辅助学习网络的参数，不断优化主网络、辅助学习网络；S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；S6：将待识别的人脸表情图像输出主网络中，完成人脸表情识别。2.根据权利要求1所述的基于显著表情变化区域辅助学习的人脸表情识别方法，其特征在于：所述主网络的5层特征提取层、辅助学习...

【专利技术属性】
技术研发人员：胡海峰，陈文东，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44