基于维度情感模型的群体情感识别与异常情感检测方法技术

本发明专利技术公开了基于维度情感模型的群体情感识别与异常情感检测方法，涉及智能情感识别技术领域，基于认知心理学PAD三维情感模型，通过数据搜集和人工标注，创建群体情感的视频数据集，揭示了六种典型情感在PAD空间中的位置关系；创建基于群体行为的情感预测模型，将群体运动特征映射为PAD空间中的三维坐标；构建异常情感分类器，当检测到愤怒和恐惧这两种异常情感，则判定场景产生了异常状态。针对群体运动视频，本申请既能够准确表达群体情感的连续变化状态，还可以实现对全局异常状态的有效识别。识别。识别。

【技术实现步骤摘要】
基于维度情感模型的群体情感识别与异常情感检测方法


[0001]本专利技术涉及智能情感识别
，特别涉及基于维度情感模型的群体情感识别与异常情感检测方法。

技术介绍

[0002]近年来，随着人工智能与深度学习、心理科学及认知科学的不断发展，通过计算机来识别、理解、表达和交流人的情感，使计算机具备更全面、更高层次的智能化程度，越来越受到学术界的广泛关注和深入探索。对于智能视频监控技术而言，通过采集场景中人群的语言交流、面部表情、肢体运动，理解和体会他们的喜怒哀乐，分析其情感状态和内心意图，并推断其下一步的行为企图，使计算机随之做出相应的反馈，从而真正具备情感层面的交流能力。作为未来智能监控技术的重要发展方向之一，基于视觉的情感分析和情感识别方法，具有十分重要的学术研究价值。
[0003]当然，人类表达情感的信息媒介有多种渠道，包括文字、语言、面部表情、肢体行为等。虽然语言和面部表情都可以丰富地表达人类情感，但是语音信号在嘈杂的公共场所中很难清晰采集到。同时，考虑到密集场景的高度拥挤和动态变化，现有的视频分析技术很难从拥挤的人群中准确定位每个人的脸部，并精确提取面部表情。因此，基于人脸跟踪和面部特征提取的情感分析，在密集场景中很难达到理想效果。所以，比较可行的途径，是通过分析监控视频中人群的肢体行为来识别和评价群体情感状态。
[0004]值得注意的是，目前学术界对于肢体运动的情感分析，往往将单独的个人作为研究对象，侧重于挖掘和识别个体姿态特征及其情感表达。然而，区别于个体运动，群体行为在主观因素、环境因素、社会因素和心理因素的共同作用下，具有其独特的内在结构和丰富的外在形态。一方面，个体之间通过信息交流和相互协作，使群体呈现出一定的趋同性和整体性；但另一方面，个体运动具有一定的自主性和随意性，群体又表现出一定的无序性和非结构化特点。从社会心理学的角度分析，在密集人群场景中，个体心理受周围环境影响，会丧失一定的独立性，对同伴形成某种程度的依赖，导致其情绪状态逐渐与群体趋于一致，形成集体的、从众的心理状态。因此，考虑到密集场景的特殊性以及群体心理的独特性，有必要探索专门的方法和策略来分析群体情感状态。
[0005]基于群体行为的情感识别方法，目前主要分为两种类型：基于离散模型模型的识别方法和基A
‑
V二维情感模型的识别方法。然而这两类方法都存在一些不足之处。第一，不同于简单的一段语音或者一幅图像，监控视频所呈现的内容是非常丰富的。这其中既有活跃的群体运动，又有复杂的群体情感，还有一定的情节变化。所以，离散情感模型只能够识别一些形态单一、辨识度高的典型场景，其所涵盖的几种特定情感类型对密集人群来说，是比较有限和欠缺的。此外，群体情感具有许多微妙的特征，表现为多种情绪的综合。而且情感会随时间发生连续的变化。群体情感这些特点，都是离散模型无法有效表达的。第二，A
‑
V二维情感模型主要从Arousal和Valence两个维度加以衡量。其中，Arousal反映了情感状态的强度，Valence体现了情感状态的类型。但是相比于三维情感模型，两个维度的描述形式
还是稍显简单，例如文献采用A
‑
V二维情感模型，仅仅区分了四种情感类别。对于复杂的群体情感来说，这显然是不够的。第三，A
‑
V情感模型无法区分某些情感(如愤怒和恐惧都属于Arousal较高的情感)，但是PAD三维情感模型可以有效区分(愤怒属于优势度较高的情感，而恐惧属于优势度较低的情感。
[0006]针对上述问题，本申请提供了一种基于维度情感模型的群体情感识别与异常情感检测方法，以PAD维度模型为基础，将群体情感表示为情感空间中的三维坐标点，以实现对复杂情感的准确表达。

技术实现思路

[0007]本专利技术的目的在于提供基于维度情感模型的群体情感识别与异常情感检测方法，以PAD维度模型为基础，将群体情感表示为情感空间中的三维坐标点，以实现对复杂情感的准确表达。
[0008]本专利技术提供了基于维度情感模型的群体情感识别与异常情感检测方法，包括以下步骤：
[0009]S1：建立基于群体情感的PAD三维情感模型：包括愉悦度P、激活度A和优势度D三个维度，每个维度的取值均处于
‑
1到+1之间，设置PAD情绪量表进行情绪维度的参考；
[0010]S2：建立群体行为和群体情感数据集：针对不同场景的视频数据，基于认知心理学原理，通过人工标注的策略，获取标准视频数据集；
[0011]S3：统计群体情感数据集：根据标准视频数据集，定义视频的情感类型，被标记为同一类情感的视频，将其PAD值归一化到[
‑
1，1]之间，通过计算各个坐标的中心点，确定该类情感在PAD空间中的取值；
[0012]S4：评价群体情感数据集：检验标注数据是否具有一致性，采用Matlab工具中的Normplot函数验证分析标注数据是否服从高斯分布，若不服从则输出图像出现弯曲；
[0013]S5：群体情感识别与异常情感检测：从视频中提取群体运动特征，群体运动中层语义的表达；
[0014]S6：群体情感特征的提取、回归：采用用支持向量回归机SVR，在训练数据集的支持下，通过寻找最优超平面，在约束其结构化风险最小化的基础上，获得回归函数；
[0015]S7：异常情感状态的检测：将每个标记样本的PAD值作为输入，通过支持向量机SVM进行训练。
[0016]进一步地，所述步骤S2中根据人工标注的策略设计情感标注系统，该系统通过人物模型的面部表情表示P维取值，以心脏的震动程度表示A维取值，以小人的大小来表示D维取值。
[0017]进一步地，所述步骤S4判断一致性的方法如下：计算变异系数，统计和评价PAD数据的样本均值μ、样本标准差σ以及变异系数CV三个指标，其中，变异系数的定义为：
[0018][0019]若变异系数小，则说明验证标注数据一致性低；反之，则说明验证标注数据一致性高。
[0020]进一步地，所述步骤S5提取群体运动特征包括前景区域的提取、光流特征的提取、
轨迹特征的提取和运动特征的图形化表达；所述前景区域的提取采用改进的ViBE+算法，经检测，第t帧的前景区域表示为R
t
；所述光流特征的提取采用GunnerFarneback的稠密光流场进行视觉表达，对于第t帧图像，像素点(x，y)在横向和纵向的光流偏移量分别为u和v；所述轨迹特征的提取采用了iDT算法，对视频像素点进行密集采集，并通过光流判断跟踪点在下一帧的位置，从而形成跟踪轨迹，表示为T(p1，p2…
p
L
)，其中L≤15；所述运动特征的图形化表达采用全局运动强度图、全局运动方向图和全局运动轨迹图三种图形化的特征表达形式。
[0021]进一步地，全局运动轨迹图中的每条轨迹均以实线表示，每条轨迹包括三个属性特征<T(p1,p2…
p
L
),L,g
i...

【技术保护点】

【技术特征摘要】
1.基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，包括以下步骤：S1：建立基于群体情感的PAD三维情感模型：包括愉悦度P、激活度A和优势度D三个维度，每个维度的取值均处于
‑
1到+1之间，设置PAD情绪量表进行情绪维度的参考；S2：建立群体行为和群体情感数据集：针对不同场景的视频数据，基于认知心理学原理，通过人工标注的策略，获取标准视频数据集；S3：统计群体情感数据集：根据标准视频数据集，定义视频的情感类型，被标记为同一类情感的视频，将其PAD值归一化到[
‑
1，1]之间，通过计算各个坐标的中心点，确定该类情感在PAD空间中的取值；S4：评价群体情感数据集：检验标注数据是否具有一致性，采用Normplot函数验证分析标注数据是否服从高斯分布，若不服从则输出图像出现弯曲；S5：群体情感识别与异常情感检测：从视频中提取群体运动特征，群体运动中层语义的表达；S6：群体情感特征的提取、回归：采用用支持向量回归机SVR，在训练数据集的支持下，通过寻找最优超平面，在约束其结构化风险最小化的基础上，获得回归函数；S7：异常情感状态的检测：将每个标记样本的PAD值作为输入，通过支持向量机SVM进行训练。2.如权利要求1所述的基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，所述步骤S2中根据人工标注的策略设计情感标注系统，该系统通过人物模型的面部表情表示P维取值，以心脏的震动程度表示A维取值，以小人的大小来表示D维取值。3.如权利要求1所述的基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，所述步骤S4判断一致性的方法如下：计算变异系数，统计和评价PAD数据的样本均值μ、样本标准差σ以及变异系数CV三个指标，其中，变异系数的定义为：若变异系数小，则说明验证标注数据一致性低；反之，则说明验证标注数据一致性高。4.如权利要求1所述的基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，所述步骤S5提取群体运动特征包括前景区域的提取、光流特征的提取、轨迹特征的提取和运动特征的图形化表达；所述前景区域的提取采用改进的ViBE+算法，经检测，第t帧的前景区域表示为R
t
；所述光流特征的提取采用GunnerFarneback的稠密光流场进行视觉表达，对于第t帧图像，像素点(x，y)在横向和纵向的光流偏移量分别为u和v；所述轨迹特征的提取采用了iDT算法，对视频像素点进行密集采集，并通过光流判断跟踪点在下一帧的位置，从而形成跟踪轨迹，表示为T(p1，p2…
p
L
)，其中L≤15；所述运动特征的图形化表达采用全局运动强度图、全局运动方向图和全局运动轨迹图三种图形化的特征表达形式。5.如权利要求4所述的基于维度情感模型的群体情感识别与异常情感检测方法，其特征在于，全局运动轨迹图中的每条轨迹均以实线表示，每条轨迹包括三个属性特征<T(p1,p2…
p
L
),L,g
i
>；其中，T(p1,p2…
p
L
)表示构成轨迹的若干跟踪点p
i
的坐标位置，L表示轨迹的长度，g∈[0,255]表示轨迹中第i段的灰度值，g
i
表示如下：<...

【专利技术属性】
技术研发人员：潘磊，王艾，赵欣，刘国春，高大鹏，袁小珂，严宏，马婷，朱建刚，严崇耀，卢志伟，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：