一种基于BN-inception双流网络的情绪识别方法技术

本发明专利技术提供了一种基于姿态信息的个体情绪识别方法，主要涉及利用深度学习方法研究个体姿态以判断个体的情绪。该方法包括：首先引入基于BN‑inception双流网络模型，通过对原始图像和光流图像的学习，提取输入序列的静态和动态特征；然后在双流网络的基础上加入空间金字塔池化(Space Pyramid Pooling,SPP)，使图像以原始尺寸输入网络，从而减少因变形对模型性能造成的影响。本发明专利技术首先利用双流网络对输入序列进行时空特征的学习，并引入金字塔池化，以保留视频帧的原始信息，使得网络能有效地学习个体姿态情绪的特征，得到较高的识别率。

An Emotion Recognition Method Based on BN-inception Two-stream Network

The invention provides an individual emotion recognition method based on attitude information, which mainly relates to the use of in-depth learning method to study individual posture to judge individual emotion. The method includes: firstly, introducing the BN_inception two-stream network model, extracting the static and dynamic features of the input sequence by learning the original image and the optical flow image; secondly, adding the space Pyramid Pooling (SPP) to the two-stream network to make the image input into the network in the original size, and then extracting the static and dynamic features of the input sequence from the original image. The effect of deformation on model performance is reduced. Firstly, the dual-stream network is used to learn the spatio-temporal characteristics of the input sequence, and the pyramid pooling is introduced to preserve the original information of the video frame, so that the network can effectively learn the characteristics of individual posture and emotion, and obtain a higher recognition rate.

【技术实现步骤摘要】
一种基于BN-inception双流网络的情绪识别方法
本专利技术涉及深度学习领域中的情绪识别问题，尤其是涉及一种基于BN-inception+SPP双流网络的个体情绪分析方法。
技术介绍
情绪是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。通常根据一个人面部表情即能判断其情绪状态，但是在某些特定的环境中，如监控视角、面部存在遮挡等情况下，我们不一定能够获取清晰的人脸面部表情。实际上，一个人的真实情绪不仅仅依靠人脸表情进行表达，个体的肢体动作也能表达一定的情绪信息。因此，本专利技术的研究主要集中在基于视频的个体姿态的情绪识别。情绪识别是计算机视觉领域中的重要研究内容和方向，目前很多权威的国际期刊和顶级会议设有相关的主题和内容，且许多国外名校还开设了相关的课程。传统的基于视频的情绪识别方法主要依靠人工选取的特征，这一方法耗时耗力且取得的模型参数的泛化性能差，服务于情绪识别的程度有限。深度学习是人工智能领域发展的一个重要组成部分，近年来已成为人工智能领域非常热门的研究方向。它在许多领域(如图像识别、语音识别等)都取得了很大的突破，特别是在视频分析中已取得了较高的识本文档来自技高网...

【技术保护点】
1.一种基于BN‑inception+SPP双流网络的个体情绪识别方法，其特征在于：a.将个体姿态数据集划分为四个情绪类别：无聊(bored),激动(excited),生气(frantic),放松(relaxed)；b.在BN‑inception双流网络的全连接层之前加入空间金字塔池化(Space Pyramid Pooling,SPP)，对数据集分别进行时空网络的训练；该方法主要包括以下步骤：(1)采用文献[1]的光流算法处理数据集生成对应的光流图像序列，表示个体姿态的运动特征；(2)将数据集划分为训练集、验证集和测试集三部分，并给定每个序列的情绪类别；(3)引入基于BN‑inception...

【技术特征摘要】
1.一种基于BN-inception+SPP双流网络的个体情绪识别方法，其特征在于：a.将个体姿态数据集划分为四个情绪类别：无聊(bored),激动(excited),生气(frantic),放松(relaxed)；b.在BN-inception双流网络的全连接层之前加入空间金字塔池化(SpacePyramidPooling,SPP)，对数据集分别进行时空网络的训练；该方法主要包括以下步骤：(1)采用文献[1]的光流算法处理数据集生成对应的光流图像序列，表示个体姿态的运动特征；(2)将数据集划分为训练集、验证集和测试集三部分，并给定每个序列的情绪类别；(3)引入基于BN-inception的双流卷积神经网络模型，并在其全连接层之前加入SPP层优化BN-inception网...

【专利技术属性】
技术研发人员：卿粼波，王露，滕奇志，何小海，熊文诗，吴晓红，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51