一种基于排序卷积神经网络的人脸表情分析方法及系统技术方案

本发明专利技术公开了一种基于排序卷积神经网络的人脸表情分析方法及系统，属于图像处理与模式识别领域。本发明专利技术将感兴趣的表情与其它类别的表情进行拼接，从拼接的人脸表情序列中选取任意两帧图像作为输入，采用排序卷积神经网络训练表情强度排序模型，单一的表情强度排序模型能够实现对感兴趣表情的强度估计，联合多个表情强度排序模型能够实现对表情类别的估计。本发明专利技术能够同时对表情的类别和强度进行估计，在最大化保留人脸表情信息的同时消除个体差异以及环境噪声，从而提高表情分析的正确性和鲁棒性，具有极强的现实应用前景。

A Facial Expression Analysis Method and System Based on Sort Convolution Neural Network

The invention discloses a facial expression analysis method and system based on sequential convolution neural network, which belongs to the field of image processing and pattern recognition. The method splices the expressions of interest with other kinds of expressions, selects any two frames of images from the spliced facial expression sequence as input, trains the expression intensity ranking model by sequencing convolution neural network, realizes the intensity estimation of the expressions of interest by a single expression intensity ranking model, and realizes the expression category by combining multiple expression intensity ranking models. Estimates. The method can simultaneously estimate the type and intensity of expression, while maximizing the preservation of facial expression information, eliminate individual differences and environmental noise, thereby improving the correctness and robustness of expression analysis, and has a very strong practical application prospect.

【技术实现步骤摘要】
一种基于排序卷积神经网络的人脸表情分析方法及系统
本专利技术属于图像处理和模式识别
，具体涉及一种基于排序卷积神经网络的人脸表情分析方法及系统。
技术介绍
人脸表情分析是一个涉及模式识别、图像处理、人工智能等多学科的综合性课题。所谓人脸表情分析，是指让计算机对给定的表情图像进行特征提取，并结合人类已有的先验知识，展开学习、推理、判断，进而理解人类情绪的过程。人脸表情分析广泛应用于情感计算、人机交互、情感机器人、医疗保健等领域，是当前的研究热点。人脸表情分析主要由表情识别和表情强度估计两个部分组成。表情识别的工作主要是分类六类基本表情，包括：生气、厌恶、恐惧、高兴、悲伤、惊讶；而表情强度估计则主要判断情绪的表达强弱程度。心理学研究指出，仅仅分类基本表情并不能完全理解人的情绪。为了全面的理解人的情绪，有必要同时估计表情的类别和强度。表情强度估计面临的主要困难在于无法获得足够的有强度标记的表情样本，无法通过有监督的方法来估计表情的强度。为了解决这一问题，可以将表情强度估计问题转化为排序问题，利用表情序列的顺序信息作为约束条件来训练排序模型，从而估计序列中任意两张表情的强弱关系。目前在本文档来自技高网...

【技术保护点】
1.一种基于排序卷积神经网络的人脸表情分析方法，其特征在于，包括离线训练部分和在线分析部分；所述述离线训练部分包括以下步骤：(S1)提取N个人的训练人脸图像序列，记录每张训练图像的表情类型；(S2)以第j种表情类型作为感兴趣表情，对第i个人的训练人脸图像序列进行抽取拼接，由此建立第j种表情类型与训练人脸图像子序列的映射关系，i＝1，…，N，j＝1，…，M，M为表情类型数量；所述抽取拼接是指从第i个人的训练人脸图像序列中分别抽取第z种和第j种表情图像序列，并将抽取的两种表情图像序列拼接，z∈{1，...，M}，z≠j，第z种表情图像序列按照表情强度值由峰值逐渐减小到中性值的顺序排列，第j种表情图...

【技术特征摘要】
1.一种基于排序卷积神经网络的人脸表情分析方法，其特征在于，包括离线训练部分和在线分析部分；所述述离线训练部分包括以下步骤：(S1)提取N个人的训练人脸图像序列，记录每张训练图像的表情类型；(S2)以第j种表情类型作为感兴趣表情，对第i个人的训练人脸图像序列进行抽取拼接，由此建立第j种表情类型与训练人脸图像子序列的映射关系，i＝1，…，N，j＝1，…，M，M为表情类型数量；所述抽取拼接是指从第i个人的训练人脸图像序列中分别抽取第z种和第j种表情图像序列，并将抽取的两种表情图像序列拼接，z∈{1，...，M}，z≠j，第z种表情图像序列按照表情强度值由峰值逐渐减小到中性值的顺序排列，第j种表情图像序列按照表情强度值由中性值逐渐增大到峰值的顺序排列；(S3)分别在第j种表情的N*M个训练人脸子图像子序列中，将两两不同帧组合为训练样本对；(S4)将组合得到的多个训练样本对作为排序卷积神经网络的输入，训练得到第j种表情的强度排序模型；所述在线分析部分包括以下步骤：(T1)采集待测人员的测试人脸图像序列；(T2)从测试人脸图像序列中提取任意一帧与参考中性表情图像组成表情测试样本对；(T3)将表情测试样本对送入第j种表情的强度排序模型，j＝1，…，M，强度排序模型的输出值中最大者对应的表情类型即为待测人员的表情类型；(T4)在测试人脸图像序列中，两两不同帧图像组合为表情强度测试样本对；(T5)将表情强度测试样本对送...

【专利技术属性】
技术研发人员：张坤，陈靓影，韩加旭，徐如意，刘乐元，彭世新，刘小迪，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北,42