一种基于运动特征的群体情绪识别方法技术

本发明专利技术提供了一种基于运动特征的群体情绪识别方法，主要涉及利用多通道群体情绪识别网络对场景视频序列中的情绪进行分析。该方法包括：构建多通道群体情绪识别网络，利用该网络并行提取不同时序的低级运动特征，将各个通道提取的低级特征在时间维度上重新排列融合，并经过3D残差模块得到全局高级特征，实现群体情绪的识别。本发明专利技术有效避免手动提取特征的偏差和耗时长等问题，使得其适应能力更强。此外，利用多通道网络对长视频序列分时序进行特征提取，充分考虑了帧与帧之间的时间相关性，并将低级时序特征在时间维度上重新排列融合，降低特征之间的耦合性，提高群体情绪识别的准确率及效率。

【技术实现步骤摘要】
一种基于运动特征的群体情绪识别方法
本专利技术涉及深度学习领域中的情绪识别问题，尤其是涉及一种基于运动特征的群体情绪识别方法。
技术介绍
人群的情绪分析是通过分析人群的行为、着装等来判断人群的情感状态。视频大量存在于现实生活之中，如无人机视频监控，网络共享视频，3D视频等。通过对视频中人群的情绪进行分析将有助于动态的了解视频中的人群的情感及情绪的变化，有着广阔的应用前景。群组情绪识别主要分析的是当目标距离相机较近时的场景中的人群情绪。然而在高速发展的新时代，仅仅分析清晰可见的人脸以及群组的情绪已经不能完全满足对人们情绪状态的感知。因此我们不仅的需要将研究对象从个体人脸上升到群组，更要从对群组的研究提升至对距离镜头较远的大规模人群情绪的研究中。随着近年来世界人口的逐年递增，大型集会场合越来越多，群体事件越来越多，因此对于人群群体的情绪分析就显得尤为重要。传统人群情绪识别的算法主要是利用一些浅层的算法提取视频帧间的运动特征。对于一些浅层的算法(支持向量机，单层神经网络等)，它们需要人工提取特征，且在给定有限数量的样本和计算单元时，浅本文档来自技高网...

【技术保护点】
1.一种基于运动特征的群体情绪识别方法，其特征在于：/na.将长视频序列在时序上进行分割，分通道分别提取各片段的低级运动特征；/nb.利用3D残差卷积神经网络对群体视频中的低级运动特征进行分析；/nc.对上述a中多通道网络的运动特征在时间维度上重新排列融合，分析全局高级特征；/n该方法主要包括以下步骤：/n(1)对群体场景视频序列进行预处理，将视频序列统一处理为112×112大小的分辨率；/n(2)将需要分析的视频序列分割为4个短视频，分别取出各短视频中起始的4帧，作为网络的输入，得到不同时序上的低级运动特征；/n(3)引入基于3D残差卷积神经网络的多通道群体情绪识别网络(Channel1通道...

【技术特征摘要】
1.一种基于运动特征的群体情绪识别方法，其特征在于：
a.将长视频序列在时序上进行分割，分通道分别提取各片段的低级运动特征；
b.利用3D残差卷积神经网络对群体视频中的低级运动特征进行分析；
c.对上述a中多通道网络的运动特征在时间维度上重新排列融合，分析全局高级特征；
该方法主要包括以下步骤：
(1)对群体场景视频序列进行预处理，将视频序列统一处理为112×112大小的分辨率；
(2)将需要分析的视频序列分割为4个短视频，分别取出各短视频中起始的4帧，作为网络的输入，得到不同时序上的低级运动特征；
(3)引入基于3D残差卷积神经网络的多通道群体情绪识别网络(Channel1通道，Channel2通道，Channel3通道，Channel4通道)，对各个短视频进行相应时序的低级运动特征提取；
(4)将获取的低级运动特征通过融合模块在时间维度上进行重组融合，并将组合后的全局低级特征送入3D...

【专利技术属性】
技术研发人员：卿粼波，许盛宇，吴晓红，何小海，滕奇志，周文俊，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51