一种人脸表情识别方法及装置制造方法及图纸

本申请公开了一种人脸表情识别方法及装置，所述方法包括：提取检测图像中人脸的局部特征以及整体特征；将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；根据所述分类结果，确定所述检测图像的人脸表情。本申请实施例提高了人脸表情识别的精确度。

Facial expression recognition method and device

The invention discloses a method and a device for facial expression recognition, the method includes: extracting local features of image of human face detection and the whole character; the local characteristics, the overall characteristics of the input image detection and deep learning model, obtain the classification results of the detection images belong to different facial expression among them; and the deep learning model in advance according to the different facial expression training image and each training image local features and the whole features of the training of the depth of the neural network is obtained; according to the classification results, determine the detection of facial expression image. The embodiment of the present invention improves the accuracy of facial expression recognition.

【技术实现步骤摘要】

本申请属于人脸属性识别
，具体地说，涉及一种人脸表情识别方法及装置。
技术介绍
人脸表情是一种能够表达人类认知、情感和状态的手段，包含了众多的个人行为信息。因此，通过对人脸表情进行识别，可以在人机交互等不同领域提高用户体验，从而推动科技的进步。人脸表情通常包括高兴、悲伤、愤怒、恐惧、惊讶以及厌恶等，不同人脸表情可以通过人脸图像的特征进行表示，因此可以通过提取人脸图像的特征，利用机器学习算法，让机器学习特征中蕴含的人脸表情信息，以实现人脸表情识别。传统的人脸表情识别主要是通过提取人脸图像的局部特征或整体特征来实现，但是局部特征无法描述人脸轮廓信息，而整体特征无法描述人脸细节信息，因此人脸表情识别的精确度并不高。
技术实现思路
有鉴于此，本申请所要解决的技术问题是提供了一种人脸表情识别方法及装置，解决了现有技术中人脸表情识别的精确度不高的技术问题。为了解决上述技术问题，本申请公开了一种人脸表情识别方法，包括：提取检测图像中人脸的局部特征以及整体特征；将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；根据所述分类结果，确定所述检测图像的人脸表情。优选地，所述将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果包括：将所述述局部特征、所述整体特征以及所述检测图像输入深度学习模型；利用所述深度学习模型提取所述检测图像中人脸的深度学习特征，并将所述深度学习特征、所述局部特征以及所述整体特征进行融合，获得融合特征；利用所述融合特征，获得所述检测图像属于不同人脸表情的概率；其中，所述深度学习模型具体是预先根据不同人脸表情的训练图像的融合特征以及不同人脸表情标签对深度神经网络进行训练获得；所述训练图像的融合特征通过将所述深度神经网络提取的深度学习特征，以及所述训练图像的局部特征和整体特征进行融合获得；所述人脸表情标签包括人脸表情概率；所述根据所述分类结果，确定所述检测图像的人脸表情包括：将概率最高的人脸表情作为所述检测图像的人脸表情。优选地，所述提取所述人脸图像的局部特征以及整体特征包括：将所述检测图像进行尺度变换，获得不同尺度的多个尺度图像；提取每一个尺度图像中人脸的每一个关键点的局部特征，并将所述每一个关键点的局部特征进行拼接，获得所述检测图像的局部特征；提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征，所述表观特征用于表示人脸轮廓以及五官分布。优选地，所述深度学习模型具体按照如下方式预先训练获得：获取每一个人脸表情对应的多个训练图像以及对应的人脸表情标签；提取每一个训练图像的局部特征以及整体特征；将每一个训练图像及每一个训练图像的局部特征和整体特征输入深度卷积神经网络；训练所述深度卷积神经网络提取每一个训练图像的深度学习特征，以及，将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征；利用各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型。优选地，所述将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征包括：将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征，通过深度神经网络的全连接层进行融合学习，获得融合特征；所述利用各个人脸表情标签以及各个人脸表情的训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型包括：将各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，利用softmax函数对所述深度神经网络的类别输出层进行训练，获得所述类别输出层的权重系数，得到所述深度学习模型。一种人脸表情识别装置，包括：特征提取模块，用于提取检测图像中人脸的局部特征以及整体特征；表情识别模块，用于将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；表情确定模块，用于根据所述分类结果，确定所述检测图像的人脸表情。优选地，所述表情识别模块包括：输入单元，用于将所述述局部特征、所述整体特征以及所述检测图像输入深度学习模型；识别单元，用于利用所述深度学习模型提取所述检测图像中人脸的深度学习特征，并将所述深度学习特征、所述局部特征以及所述整体特征进行融合，获得融合特征；利用所述融合特征，获得所述检测图像属于不同人脸表情的概率；其中，所述深度学习模型预先根据不同人脸表情的训练图像的融合特征以及各个人脸表情标签对深度神经网络进行训练获得；所述训练图像的融合特征通过将所述深度神经网络提取的深度学习特征，以及所述训练图像的局部特征和整体特征进行融合获得；所述人脸表情标签包括人脸表情概率；所述表情确定模块具体用于将概率最高的人脸表情作为所述检测图像的人脸表情。优选地，所述特征提取模块包括：尺度变换单元，用于将所述检测图像进行尺度变换，获得不同尺度的多个尺度图像；第一特征提取单元，用于提取每一个尺度图像中人脸的每一个关键点的局部特征，并将所述每一个关键点的局部特征进行拼接，获得所述检测图像的局部特征；第二特征提取单元，用于提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征，所述表观特征用于表示人脸轮廓以及五官分布。优选地，还包括：预获取模块，用于获取每一个人脸表情对应的多个训练图像以及对应的人脸表情标签；预提取模块，用于提取每一个训练图像的局部特征以及整体特征；预训练模块，用于将每一个训练图像及每一个训练图像的局部特征和整体特征输入深度卷积神经网络；训练所述深度卷积神经网络提取每一个训练图像的深度学习特征，以及，将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征；利用各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型。优选地，所述预训练模块将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征具体是：将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征，通过深度神经网络的全连接层进行融合学习，获得融合特征；所述预训练模块利用各个人脸表情标签以及各个人脸表情的训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型包括：将各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，利用softmax函数对所述深度神经网络的类别输出层进行训练，获得所述类别输出层的权重系数，得到所述深度学习模型。与现有技术相比，本申请可以获得包括以下技术效果：在本申请实施例中，通过提取检测图像中人脸的局部特征以及整体特征；然后将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不本文档来自技高网...

【技术保护点】
一种人脸表情识别方法，其特征在于，包括：提取检测图像中人脸的局部特征以及整体特征；将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；根据所述分类结果，确定所述检测图像的人脸表情。

【技术特征摘要】
1.一种人脸表情识别方法，其特征在于，包括：提取检测图像中人脸的局部特征以及整体特征；将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果；其中，所述深度学习模型预先根据不同人脸表情的训练图像以及各个训练图像的局部特征和整体特征对深度神经网络进行训练获得；根据所述分类结果，确定所述检测图像的人脸表情。2.根据权利要求1所述的方法，其特征在于，所述将所述局部特征、所述整体特征以及所述检测图像输入深度学习模型，获得所述检测图像属于不同人脸表情的分类结果包括：将所述述局部特征、所述整体特征以及所述检测图像输入深度学习模型；利用所述深度学习模型提取所述检测图像中人脸的深度学习特征，并将所述深度学习特征、所述局部特征以及所述整体特征进行融合，获得融合特征；利用所述融合特征，获得所述检测图像属于不同人脸表情的概率；其中，所述深度学习模型具体是预先根据不同人脸表情的训练图像的融合特征以及不同人脸表情标签对深度神经网络进行训练获得；所述训练图像的融合特征通过将所述深度神经网络提取的深度学习特征，以及所述训练图像的局部特征和整体特征进行融合获得；所述人脸表情标签包括人脸表情概率；所述根据所述分类结果，确定所述检测图像的人脸表情包括：将概率最高的人脸表情作为所述检测图像的人脸表情。3.根据权利要求1所述的方法，其特征在于，所述提取所述人脸图像的局部特征以及整体特征包括：将所述检测图像进行尺度变换，获得不同尺度的多个尺度图像；提取每一个尺度图像中人脸的每一个关键点的局部特征，并将所述每一个关键点的局部特征进行拼接，获得所述检测图像的局部特征；提取所述检测图像中人脸的表观特征作为所述人脸图像的整体特征，所述表观特征用于表示人脸轮廓以及五官分布。4.根据权利要求1或2所述的方法，其特征在于，所述深度学习模型具体按照如下方式预先训练获得：获取每一个人脸表情对应的多个训练图像以及对应的人脸表情标签；提取每一个训练图像的局部特征以及整体特征；将每一个训练图像及每一个训练图像的局部特征和整体特征输入深度卷积神经网络；训练所述深度卷积神经网络提取每一个训练图像的深度学习特征，以及，将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征；利用各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型。5.根据权利要求4所述的方法，其特征在于，所述将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征进行融合学习，获得融合特征包括：将每一个训练图像的深度学习特征与每一个训练图像的局部特征和整体特征，通过深度神经网络的全连接层进行融合学习，获得融合特征；所述利用各个人脸表情标签以及各个人脸表情的训练图像的融合特征，训练获得所述深度神经网络的权重系数，得到深度学习模型包括：将各个人脸表情标签以及不同人脸表情对应的各个训练图像的融合特征，利用softmax函数对所述深度神经网络的类别输出层进行训练，获得所述类别输出层的权重系数，得到所述深度学习模型。6.一种人脸表情识...

【专利技术属性】
技术研发人员：张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京;11