一种人脸表情识别方法及装置制造方法及图纸

本发明专利技术公开人脸表情识别方法及装置，包括：S1对样本数据集进行人脸检测与对齐处理，确定各图像中人脸位置，剪出人脸图像；S2按四联子方式对处理后的样本数据集在线重组生成四联子训练样本；S3利用深度学习网络对四联子样本进行特征提取，将每一图像均提取成N维特征向量；S4将N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间并利用预设的损失函数计算深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回S3对调整后的网络再训练，直至深度学习网络趋于稳定，得到训练好的人脸表情识别模型；S5将待测人脸图像输入人脸表情识别模型得到识别结果。本发明专利技术能对人脸表情快速准确的识别。

【技术实现步骤摘要】
一种人脸表情识别方法及装置
本专利技术实施例涉及人机交互和计算机视觉
，具体涉及一种人脸表情识别方法及装置。
技术介绍
人脸表情识别是人机交互和计算机视觉领域的重要研究方向。随着人脸识别技术的不断发展，人脸表情识别技术也逐渐受到人们的重视。面部表情的变化可以更客观的反应出人的生理状况和心里活动。如病人面部表情的变化可以反映出病人的身体状况，被审讯犯人的面部表情变化可以反映出犯人心理活动，精神病人面部表情可以反映出其精神状态。在连续监视的人脸的环境下，系统需要快速准确的区分出该张脸的面部表情变化。通过机器学习方法自动从图像中学习得到对表情识别有用的特征大大推进了人脸识别领域的发展，目前主要是采用深度学习算法来提取不同表情特征来识别人脸表情。同时也有把深度学习网络与传统机器学习方法相结合来实现人脸表情识别，如深度学习与SVM、K均值等方法相结合实现表情分类。但是，在连续监视人脸表情变化的环境下，现有的人脸表情识别方法对人脸表情识别的准确性和实时性有待提高。鉴于此，如何对人脸表情进行快速准确的识别成为目前需要解决的技术问题。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种人脸表情识别方法及装置，能够对人脸表情进行快速准确的识别。第一方面，本专利技术实施例提出一种人脸表情识别方法，包括：S1、对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；S2、按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；S3、利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回步骤S3对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；S5、将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。可选地，所述步骤S1包括：采用MTCNN算法，对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像。可选地，所述步骤S2按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本，包括：P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体；P2为本次选择的个体选择一种表情；P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像P4、选择一张与相同表情的人脸图像作为anchor的正样本；P5、选择第一张与不同表情的人脸图像作为第一个负样本；P6、选择第二张与不同表情的人脸图像作为第二个负样本，和为不同表情；P7、循环步骤P4-P6，每循环一次生成一个四联子，直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过，则返回步骤P3；P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过，则返回步骤P2；P9、若本次选择的个体的所有表情均被选择过，则返回步骤P1，直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过，循环结束。可选地，所述步骤S3包括：利用Inception-restnet-v1深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量。可选地，所述利用基于所述四联子样本而预先设置的损失函数loss为：其中，在同一个个体中，为一个anchor,为与相同表情的人脸图像,是与不同表情的人脸图像，是与都不同表情的人脸图像，α为判定边界，M为生成的四联子训练样本的容量。第二方面，本专利技术实施例还提出一种人脸表情识别装置，包括：处理模块，用于对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；样本重组模块，用于按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；特征提取模块，用于利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；调整模块，用于将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回所述特征提取模块对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；获取模块，用于将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。可选地，所述处理模块，具体用于采用MTCNN算法，对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像。可选地，所述特征提取模块，具体用于利用Inception-restnet-v1深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量。第三方面，本专利技术实施例还提出一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器，存储器通过所述总线完成相互间的通信；所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。由上述技术方案可知，本专利技术实施例的人脸表情识别方法及装置，通过选择新颖的样本重组方法和基于四联子样本而预先设置的损失函数来优化深度学习网络的特征提取过程，使训练好的基于深度学习网络的人脸表情识别模型可以学习同一个人不同表情的变化，能够实现对人脸表情进行快速准确的识别，准确性较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种人脸表情识别方法的流程示意图；图2为本专利技术一实施例提供的一种人脸表情识别装置的结构示意图；图3为本专利技术一实施例提供的电子设备的逻辑框图。具体实施方式下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。图1示出了本专利技术一实施例提供的一种人脸表情识别方法的流程示意图，如图1所示，本实施例的人脸表情识别方法，包括：S1、对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像。在具体应用中，举例来说，可以采用MTCNN(多任务卷积神经网络)算法，对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，本文档来自技高网...

【技术保护点】
1.一种人脸表情识别方法，其特征在于，包括：S1、对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；S2、按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；S3、利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回步骤S3对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；S5、将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。

【技术特征摘要】
1.一种人脸表情识别方法，其特征在于，包括：S1、对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像，所述样本数据集包括：带标签的不同个体的不同表情的图像；S2、按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本；S3、利用深度学习网络，对所述四联子样本进行特征提取，将所述四联子样本中的每一图像均提取成一个N维特征向量；S4、将提取的N维特征向量进行L2正则化处理后嵌入到N维欧几里得空间，并利用基于所述四联子样本而预先设置的损失函数，计算所述深度学习网络的损失，根据损失函数利用随机梯度下降算法对深度学习网络参数进行调整，返回步骤S3对调整后的网络再训练，直至所述深度学习网络趋于稳定，获得训练好的基于深度学习网络的人脸表情识别模型；S5、将待测人脸图像输入所述人脸表情识别模型，获得人脸表情识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：采用MTCNN算法，对样本数据集进行人脸检测与对齐处理，确定所述样本数据集中每一图像中的人脸位置，剪切出人脸图像。3.根据权利要求1所述的方法，其特征在于，所述步骤S2按照四联子的方式，对人脸检测与对齐处理后的样本数据集进行在线重组，生成四联子训练样本，包括：P1、在人脸检测与对齐处理后的样本数据集中随机选择一个个体；P2为本次选择的个体选择一种表情；P3、在本次选择的表情中选择一张作为锚点anchor的人脸图像P4、选择一张与相同表情的人脸图像作为anchor的正样本；P5、选择第一张与不同表情的人脸图像作为第一个负样本；P6、选择第二张与不同表情的人脸图像作为第二个负样本，和为不同表情；P7、循环步骤P4-P6，每循环一次生成一个四联子，直至对人脸检测与对齐处理后的样本数据集中本次所选择的个体、表情和锚点所对应的所有人脸图像均被选择过，则返回步骤P3；P8、若本次选择的表情中的所有人脸图像均作为anchor被选择过，则返回步骤P2；P9、若本次选择的个体的所有表情均被选择过，则返回步骤P1，直至人脸检测与对齐处理后的样本数据集中的所有个体均被选择过，循环结束。4.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：利用Inception-restnet-v1深度学习网络，对所述四联子...

【专利技术属性】
技术研发人员：李书霞，陶雄强，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京,11