一种基于深度学习的人群情绪识别方法技术

本发明专利技术提供了一种基于深度学习的视频人群情绪分析方法,主要涉及利用多流神经网络对视频中人群情绪进行分类。该方法包括：构建多流神经网络(像素，光流，显著性)，并利用该网络并行提取视频序列的像素信息，叠加光流信息，显著性信息中的特征，最后融合这三种特征，得到人群情绪的分类。本发明专利技术充分发挥深度学习的自我学习能力，避免了人工提取特征的局限性，使得本发明专利技术方法的适应能力更强。利用多流深度学习网络的结构特征，并行训练及预测，最后融合多流子网络的分类结果，提高了准确率及工作效率。

A crowd emotion recognition method based on deep learning

The present invention provides a video crowd emotion analysis method based on deep learning, which mainly relates to the classification of the crowd emotion in the video by using the multi stream neural network. The method includes constructing a multi stream neural network (pixel, optical flow, saliency), and using the network to extract the pixel information of the video sequence, superimposing the optical flow information, and distinguishing the features of the saliency information. Finally, the three features are fused to get the classification of the crowd emotion. The invention fully utilizes the self-learning ability of the deep learning, avoids the limitation of the manual extraction of features, and makes the adaptability of the method of the invention stronger. Using multi stream deep learning network structure characteristics, parallel training and prediction, and finally the fusion of multi stream subnet classification results, improve the accuracy and efficiency.

【技术实现步骤摘要】
一种基于深度学习的人群情绪识别方法
本专利技术涉及视频分析领域中的人群情绪识别问题，尤其是涉及一种基于深度学习的多流神经网络对人群情绪分类的视频分析方法。
技术介绍
人群的情绪分析是通过分析人群的行为，着装来判断人群的情感状态，如激动、兴奋、正常、枯燥等。视频大量存在于现实生活之中，如无人机视频监控，网络共享视频，3D视频等。通过对视频中人群的情绪进行分析将有助于动态的了解视频中的人群的情感及情绪的变化，有着广阔的应用前景。以上海外滩踩踏事件为例，通过分析人群的情绪变化，管理员可以在发生突发事件之前通过干预手段防止此类事件再次发生。传统人群情绪识别的算法主要是利用一些浅层的算法提取视频帧间的运动特征。对于一些浅层的算法(支持向量机，单层神经网络等)，它们需要人工提取特征，且在给定有限数量的样本和计算单元时，浅层结构难以有效的表达复杂模型的特征，尤其当研究的对象具有丰富的含义时，其泛化能力明显不足，所以浅层结构有一定的局限性。深度学习(DeepLearning)是一个近几年备受关注的研究领域，在机器学习中起着重要的作用。深度学习通过建立、模拟人脑的分层结构来实现对外部输入的数据进行从低本文档来自技高网...

【技术保护点】
一种基于深度学习的人群情绪识别方法，其特征在于：1.采用像素通道来处理视频的每一帧的像素信息；2.采用光流通道来处理视频的叠加的光流信息；3.采用显著图通道来处理视频的显著性信息；4.采用平均加权的方法对多流神经网络的三个通道进行融合，得到多流神经网络；该方法主要包括以下步骤：A.多流神经网络的训练，其具体包括：A1.将视频数据集分为训练集、测试集和验证集，并贴上预先定义好的几个情绪类别标签，通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息；A2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练，然后使用步骤A1中的训练集和验证集对多流神经网络模型微调；...

【技术特征摘要】
1.一种基于深度学习的人群情绪识别方法，其特征在于：1.采用像素通道来处理视频的每一帧的像素信息；2.采用光流通道来处理视频的叠加的光流信息；3.采用显著图通道来处理视频的显著性信息；4.采用平均加权的方法对多流神经网络的三个通道进行融合，得到多流神经网络；该方法主要包括以下步骤：A.多流神经网络的训练，其具体包括：A1.将视频数据集分为训练集、测试集和验证集，并贴上预先定义好的几个情绪类别标签，通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息；A2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练，然后使用步骤A1中的训练集和验证集对多流神经网络模型微调；A3.训练时先将训练集和验证集视频的像素信息、叠加的光流信息和显著性信息分别输入三个通道训练CNN部分，然后将CNN部分提取的特征输入LSTM部分，完成整个网络的训练，保存生成的网络参数模型，以用于预测；B.利用多流神经网络与训练好的网络参数模型进行人群情绪分类：B1.提取步骤A1中生成的测试集视频的像素信息、叠加的光流信息和显著性信息，为分类做准...

【专利技术属性】
技术研发人员：卿粼波，周文俊，吴晓红，何小海，滕奇志，熊文诗，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51