一种基于深度学习的口罩遮挡人脸表情识别方法和系统技术方案

本发明专利技术涉及人脸表情识别领域，尤其涉及一种基于深度学习的口罩遮挡人脸表情识别方法和系统。该识别方法包括如下步骤：获取人脸图像，并对所述人脸图像建立口罩遮挡；构建口罩遮挡人脸表情数据集；对所述口罩遮挡人脸表情数据集进行修复；构建口罩遮挡人脸表情识别模型；采集待识别人脸图像，通过所述口罩遮挡人脸表情识别模型对所述待识别人脸图像进行识别，并获取识别结果。该识别方法用以对秋冬季群众为了预防疾病佩戴口罩时的人脸表情识别，能够增加关键特征点，同时能够去除噪声混叠，提升人脸表情识别模型的性能和识别率，提升通用性并提供便利性。用性并提供便利性。用性并提供便利性。

【技术实现步骤摘要】
一种基于深度学习的口罩遮挡人脸表情识别方法和系统


[0001]本专利技术涉及人脸表情识别领域，尤其涉及一种基于深度学习的口罩遮挡人脸表情识别方法和系统。

技术介绍

[0002]面部表情是人类传达情绪状态最自然、最普遍的方式之一。随着计算机技术的不断发展，机器学习算法和计算机视觉被广泛应用到人们生活的各个领域，人脸表情识别更是应用到我们日常生活的每一天，例如日常消费时候的刷脸支付，乘坐动车、火车时的刷脸验证，刷脸通行的门禁系统，科技改变了我们的生活方式，也改变了我们的行为习惯，提高了我们生活的便利性。人脸表情识别对于帮助计算机理解人类行为并与之互动也很重要，更是增强我们和科技的互动，例如人机交互、医疗保健心理健康分析、安全驾驶，娱乐等人工智能应用中人脸表情识别发挥着重要作用。
[0003]在过去的研究中，研究人员通过算法和大规模数据集在人脸表情识别方面取得了重大进展。但是这些成果，往往在没有遮挡的情况下表现比较理想，在有遮挡的环境下算法并不能较好适应。因此，有遮挡的人脸表情识别是一项具有挑战的任务。影响人脸表情识别的遮挡因素包括：光照环境因素；人脸角度等人为因素；遮挡物等的影响。不同于其它两种因素的影响，遮挡物是直接影响人脸特征的获取，会直接导致信息的损失。
[0004]对于秋冬季呼吸道疾病的防护，配带口罩可以减少呼吸道疾病感染，但是随着口罩的佩戴让人脸信息损失了一半以上，人脸最重要的口鼻区域，被口罩大面积遮挡，可提取的关键特征点减少。特征信息的缺失以及随之出现的噪声混叠等问题使得原本的人脸表情识别模型性能急速下降，无法准确检测出佩戴口罩的人脸表情。并且现阶段对于口罩遮挡人脸表情研究较少，缺乏相应的口罩遮挡人脸表情数据集。

技术实现思路

[0005]本专利技术所要解决的技术问题是：传统的人脸表情识别模型结构在面对口罩遮挡情况下人脸口鼻区域表情信息损失，会引起表情识别准确率大幅度下降，而且缺乏口罩遮挡人脸表情数据集造成较少人对其研究，提供一种基于深度学习的口罩遮挡人脸表情识别方法和系统。
[0006]本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，包括：获取人脸图像，并对所述人脸图像建立口罩遮挡；构建口罩遮挡人脸表情数据集；对所述口罩遮挡人脸表情数据集进行修复；构建口罩遮挡人脸表情识别模型；采集待识别人脸图像，通过所述口罩遮挡人脸表情识别模型对所述待识别人脸图像进行识别，并获取识别结果。
[0007]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，所述建立口
罩遮挡包括：通过面部关键点提取器识别人脸关键点；在所述人脸关键点内选取用于建立口罩遮挡的关键点；将口罩模型叠加至所述人脸图像上；根据用于建立口罩遮挡的关键点对所述口罩模型位置进行变换，以使所述口罩模型贴合所述人脸图像。
[0008]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，所述对所述口罩遮挡人脸表情数据集进行修复步骤包括：构建口罩遮挡人脸表情修复模型；将所述口罩遮挡人脸表情数据集输入所述口罩遮挡人脸表情修复模型，所述口罩遮挡人脸表情修复模型对所述口罩遮挡人脸表情数据集进行修复；输出修复后的口罩遮挡人脸表情数据集。
[0009]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，在构建所述口罩遮挡人脸表情修复模型时，引入通道注意力机制。
[0010]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，引入的通道注意力机制工作流程包括：获取口罩遮挡人脸表情图像，并将获取到的所述口罩遮挡人脸表情图像转换为口罩遮挡人脸表情特征图；对所述口罩遮挡人脸表情特征图在空间维度上分别进行平均池化处理和最大池化处理，获得平均池化口罩遮挡人脸表情特征图和最大池化口罩遮挡人脸表情特征图；将所述平均池化口罩遮挡人脸表情特征图和所述最大池化处理口罩遮挡人脸表情特征图均送入全连接神经网络学习，并输出平均池化学习特征和最大池化学习特征；
[0011]通过计算获得所述口罩遮挡人脸表情图像的权重系数，表示为：其中，为口罩遮挡人脸表情特征图的权重系数，为sigmoid函数，为第一平行分支中共享的全连接神经网络，为第二平行分支中共享的全连接神经网络，平均池化口罩遮挡人脸表情特征图，最大池化口罩遮挡人脸表情特征图；
[0012]通过计算获得修复后的口罩遮挡人脸表情特征图，表示为：其中，为修复后的口罩遮挡人脸表情特征图，为口罩遮挡人脸表情特征图，表示逐通道维度相乘运算；将所述修复后的口罩遮挡人脸表情特征图转换为修复后的口罩遮挡人脸表情图像。
[0013]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，在构建所述口罩遮挡人脸表情识别模型时，引入空间注意力机制。
[0014]根据本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法，引入的空间注意力机制工作流程包括：
获取待处理图像，并将获取到的所述待处理图像转换为待处理特征图；对所述待处理特征图在通道维度上分别进行平均池化处理和最大池化处理，获得平均池化待处理特征图和最大池化待处理特征图；将所述平均池化待处理特征图和所述最大池化待处理特征图按照通道拼接为拼接图像；将所述拼接图像送入卷积神经网络学习；
[0015]通过计算获得所述待处理特征图的权重系数，表示为：其中，为待处理特征图的权重系数，为N
×
N层卷积学习函数，为平均池化待处理特征图，最大池化待处理特征图；
[0016]通过计算获得待识别特征图，表示为：其中，为待识别特征图，为待处理特征图；将所述待识别特征图转换为待识别人脸图像。
[0017]本专利技术还提供一种基于深度学习的口罩遮挡人脸表情识别系统，用以执行如以上任一项所述的基于深度学习的口罩遮挡人脸表情识别方法，包括：获取模块，用于获取人脸图像；处理模块，用于对获取到的所述人脸图像建立口罩遮挡；构建模块，用于构建口罩遮挡人脸表情数据集和口罩遮挡人脸表情识别模型；修复模块，用于对所述口罩遮挡人脸表情数据集进行修复；识别模块，用于通过所述口罩遮挡人脸表情识别模型对所述待识别人脸图像进行识别。
[0018]本专利技术提供的一种基于深度学习的口罩遮挡人脸表情识别方法和系统，通过获取人脸关键点信息，并选取口罩佩戴区域关键点，构建口罩遮挡，而形成人脸表情数据集，之后建立修复模型对构建的口罩遮挡人脸表情数据集进行修复，旨在去边缘化，最后构建口罩遮挡人脸表情识别的深度学习模型，用以对秋冬季群众为了预防疾病佩戴口罩时的人脸表情识别，能够增加关键特征点，同时去除噪声混叠，提升人脸表情识别模型的性能和识别率，提升通用性和便利性。
附图说明
[0019]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的一种基于深度学习的口罩遮挡人脸表情识别方法流程图；图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的口罩遮挡人脸表情识别方法，其特征在于，包括：获取人脸图像，并对所述人脸图像建立口罩遮挡；构建口罩遮挡人脸表情数据集；对所述口罩遮挡人脸表情数据集进行修复；构建口罩遮挡人脸表情识别模型；采集待识别人脸图像，通过所述口罩遮挡人脸表情识别模型对所述待识别人脸图像进行识别，并获取识别结果。2.根据权利要求1所述的一种基于深度学习的口罩遮挡人脸表情识别方法，其特征在于，建立口罩遮挡包括：通过面部关键点提取器识别人脸关键点；在所述人脸关键点内选取用于建立口罩遮挡的关键点；将口罩模型叠加至所述人脸图像上；根据用于建立口罩遮挡的关键点对所述口罩模型位置进行变换，以使所述口罩模型贴合所述人脸图像。3.根据权利要求1所述的一种基于深度学习的口罩遮挡人脸表情识别方法，其特征在于，所述对所述口罩遮挡人脸表情数据集进行修复步骤包括：构建口罩遮挡人脸表情修复模型；将所述口罩遮挡人脸表情数据集输入所述口罩遮挡人脸表情修复模型，所述口罩遮挡人脸表情修复模型对所述口罩遮挡人脸表情数据集进行修复；输出修复后的口罩遮挡人脸表情数据集。4.根据权利要求3所述的一种基于深度学习的口罩遮挡人脸表情识别方法，其特征在于，在构建所述口罩遮挡人脸表情修复模型时，引入通道注意力机制。5.根据权利要求4所述的一种基于深度学习的口罩遮挡人脸表情识别方法，其特征在于，引入的通道注意力机制工作流程包括：获取口罩遮挡人脸表情图像，并将获取到的所述口罩遮挡人脸表情图像转换为口罩遮挡人脸表情特征图；对所述口罩遮挡人脸表情特征图在空间维度上分别进行平均池化处理和最大池化处理，获得平均池化口罩遮挡人脸表情特征图和最大池化口罩遮挡人脸表情特征图；将所述平均池化口罩遮挡人脸表情特征图和所述最大池化处理口罩遮挡人脸表情特征图均送入全连接神经网络学习，并输出平均池化学习特征和最大池化学习特征；通过计算获得所述口罩遮挡人脸表情图像的权重系数，表示为：其中，为口罩遮挡人脸表情特征图的权重...

【专利技术属性】
技术研发人员：齐晨成，赵明康，刘珺，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：