一种基于深度学习的人脸序列表情识别方法技术

本发明专利技术提供了一种基于深度学习的人脸序列的表情分析方法,主要涉及利用多尺度人脸表情识别网络对人脸序列表情进行分类。该方法包括：构建多尺度人脸表情识别网络(其中包括处理128×128，224×224，336×336等不同分辨率的三个通道)，并利用该网络并行提取不同分辨率的人脸序列中的特征，最后融合这三种特征，得到人脸序列表情的分类。本发明专利技术充分发挥深度学习的自我学习能力，避免了人工提取特征的局限性，使得本发明专利技术方法的适应能力更强。利用多流深度学习网络的结构特征，并行训练及预测，最后融合多个子网络的分类结果，提高了准确率及工作效率。

A Facial Expression Recognition Method Based on Deep Learning

The invention provides a facial expression analysis method based on deep learning, which mainly relates to the classification of facial expression sequence by using multi-scale facial expression recognition network. The method includes: building a multi-scale facial expression recognition network (including three channels dealing with 128 *128, 224 *224, 336 *336 and other different resolutions), and using the network to extract the features of different resolution facial sequences in parallel. Finally, the three features are fused to get the classification of facial expression sequences. The invention fully exerts the self-learning ability of deep learning, avoids the limitation of manual feature extraction, and makes the method of the invention more adaptable. By utilizing the structure characteristics of multi-stream deep learning network, parallel training and prediction, and finally fusing the classification results of multiple sub-networks, the accuracy and efficiency are improved.

【技术实现步骤摘要】
一种基于深度学习的人脸序列表情识别方法
本专利技术涉及视频分析领域中的人脸序列表情识别问题，尤其是涉及一种基于深度学习的多流神经网络对人脸序列表情分类的视频分析方法。
技术介绍
人脸表情是人类情感识别的重要特征之一。达尔文在《人与动物的情感表达》一书中介绍了这一领域作为研究领域。人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。目前，人脸表情自动识别有着广泛的应用，如数据驱动动画、神经营销、交互式游戏、社交机器人以及许多其他人机交互系统。而人脸表情识别又可分为基于静态图片的表情识别和基于视频序列的表情识别。视频大量存在于现实生活之中，如无人机视频监控，网络共享视频，3D视频等。相比于静态图片中的人脸表情分析，通过对视频中人脸表情进行分析将有助于动态的了解视频中的人的情感及情绪的变化，有着广阔的应用前景。比如疲劳驾驶，通过分析人表情的变化，人脸表情识别程序可分析出驾驶员是否处于疲劳状态，以防止交通事故的发生。传统人脸表情识别方法中人工提取的特征维数过大，特征单一，计算复杂，且识别的效果直接与选取的特征有关。为避免人为因素对模型的影响，本本文档来自技高网...

【技术保护点】
1.一种基于深度学习的人脸序列表情识别方法，其特征在于：1).将人脸序列处理成不同的分辨率分别处理；2).采用不同的神经网络处理不同分辨率的人脸序列；3).采用加权的方法对上述2中的多个网络通道进行融合，得到多尺度人脸序列表情识别网络模型；该方法主要包括以下步骤：A.多尺度人脸序列表情识别网络的训练，其具体包括：A1.对视频序列进行预处理，其中通过人脸检测跟踪等视频分析技术获取人脸序列，将每个人脸序列处理为三个不同的分辨率，其中包括128×128，224×224，336×336；最后将上述人脸序列数据集分为训练集、测试集和验证集，并贴上定义好的几个情绪类别标签；A2.采用LRCN结构的3通道多...

【技术特征摘要】
1.一种基于深度学习的人脸序列表情识别方法，其特征在于：1).将人脸序列处理成不同的分辨率分别处理；2).采用不同的神经网络处理不同分辨率的人脸序列；3).采用加权的方法对上述2中的多个网络通道进行融合，得到多尺度人脸序列表情识别网络模型；该方法主要包括以下步骤：A.多尺度人脸序列表情识别网络的训练，其具体包括：A1.对视频序列进行预处理，其中通过人脸检测跟踪等视频分析技术获取人脸序列，将每个人脸序列处理为三个不同的分辨率，其中包括128×128，224×224，336×336；最后将上述人脸序列数据集分为训练集、测试集和验证集，并贴上定义好的几个情绪类别标签；A2.采用LRCN结构的3通道多尺度人脸序列表情识别网络(CoarseResolution通道，NormalResolution通道，FineResolution通道等)分别对上述三种分辨率的人脸序列进行分析，其中CoarseResolution通道(CS-stream)处理分辨率为128×128的人脸序列，NormalResolution通道(NS-stream)处理分辨率为224×224的人脸序列，FineResolution通道(FS-stream)处理分辨率为336×336的人脸序列；A3.训练时先将训练集和验证集中三种不同分辨率的人脸序列分别输入多尺度人脸序列表情识别网络的三个通...

【专利技术属性】
技术研发人员：卿粼波，周文俊，吴晓红，何小海，熊文诗，滕奇志，熊淑华，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51