基于时空一致性的群体表情情绪识别方法及系统技术方案

本公开提出了基于时空一致性的群体表情情绪识别方法及系统，包括如下步骤：对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情；根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪；基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪，基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪；根据所有个体中为恐慌情绪个体的比例，得到群体恐慌度。本公开基于提出时间一致性的个体情绪计算方法和空间一致性的个体情绪计算方法，解决了人群中的遮挡导致面部表情信息采集不完整的情绪识别问题，再通过群体恐慌度，解决了人群运动场景中群体情绪识别的问题。解决了人群运动场景中群体情绪识别的问题。解决了人群运动场景中群体情绪识别的问题。

【技术实现步骤摘要】
基于时空一致性的群体表情情绪识别方法及系统


[0001]本公开涉及深度学习、计算机视觉技术相关
，具体的说，是涉及基于时空一致性的群体表情情绪识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，并不必然构成在先技术。
[0003]近年来，人群运动仿真研究得到了重视。随着社会城市化的飞速发展和人们生活水平的提高，人们出入公共场所的次数越来越多，致使公共场所中人群密度和流动性非常大，例如车站、学校和大型娱乐购物广场等。一旦发生危险情况，如火灾、地震等，可能导致人群中产生恐慌情绪，从而发生拥堵延误、踩踏死亡和其他安全事故。识别人群的真实群体情绪，然后采用相应的情绪感染和调控措施，减少群众恐慌，是确保疏散安全的有效途径。
[0004]在人群运动的场景中通过人脸表情识别得到每个个体的情绪，再根据统计学的办法定义群体的恐慌程度，进一步得到人群的群体情绪是要解决的重要问题。在人群运动的场景中，由于人群的流动性大会出现遮挡现象，导致人脸表情信息采集不完整。因此，导致识别信息不完整的被遮挡的个体的情绪成为难点。专利技术人发现，传统的群体情绪识别方法不能识别在人群运动场景中的人员情绪，也没有解决人脸遮挡导致信息不完整的情况下的人脸表情识别的问题。

技术实现思路

[0005]本公开为了解决上述问题，提出了基于时空一致性的群体表情情绪识别方法及系统，基于提出时间一致性的个体情绪计算方法和空间一致性的个体情绪计算方法，解决了人群中的遮挡导致面部表情信息采集不完整的情绪识别问题，再通过群体恐慌度，解决了人群运动场景中群体情绪识别的问题；通过该方法可以识别群体的恐慌程度，从而为人群运动的研究提供真实的数据。
[0006]为了实现上述目的，本公开采用如下技术方案：
[0007]一个或多个实施例提供了基于时空一致性的群体表情情绪识别方法，包括如下步骤：
[0008]对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情；
[0009]根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪；基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪，基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪；
[0010]根据所有个体中为恐慌情绪个体的比例，得到群体恐慌度。
[0011]一个或多个实施例提供了基于时空一致性的群体表情情绪识别系统，包括：
[0012]人脸识别模块：被配置为用于对获取的待识别的人群运动场景中的视频图像，进
行人脸检测识别得到每帧图像中的每个个体的人脸表情；
[0013]个体恐慌判断模块：被配置为用于根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪；基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪，基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪；
[0014]群体恐慌度判断模块：被配置为用于根据所有个体中为恐慌情绪个体的比例，得到群体恐慌度。
[0015]一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
[0016]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
[0017]与现有技术相比，本公开的有益效果为：
[0018]基于时间一致性的个体情绪计算和空间一致性的个体情绪计算来解决人群中的遮挡导致面部表情信息不完整的问题的方法，能够识别出待测视频中所有个体是否处于恐慌情绪，同时恐慌度定量了整个群体处于何种恐慌程度。该方法能够在人群遮挡导致面部表情信息采集不完整的情况下较为准确的得到群体的情绪，识别群体的恐慌程度，从而为人群运动的研究如人群疏散提供了准确的数据支撑，具有简化程度高，模块化程度高，模型精度高，准确契合场景等特点。
[0019]本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
[0020]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
[0021]图1是本公开实施例1的方法流程图；
[0022]图2是本公开实施例1的残差模块结构示意图。
具体实施方式
[0023]下面结合附图与实施例对本公开作进一步说明。
[0024]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。
[0025]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
[0026]实施例1
[0027]在一个或多个实施方式公开的技术方案中，如图1所示，基于时空一致性的群体表情情绪识别方法，包括如下步骤：
[0028]步骤1、对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情；
[0029]步骤2、根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪；基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪，基于空间一致性计算所有帧图像中被遮挡个体是否为恐慌情绪；
[0030]根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪，可选的，把每帧图像中的每个个体的人脸表情分别输入到训练好的Resnet34网络中，输出得到没有被遮挡的个体的情绪是否为恐慌情绪；
[0031]步骤3、根据所有个体中为恐慌情绪个体的比例，得到群体恐慌度。根据群体恐慌度可以生成最优的人群疏散方案。
[0032]人群疏散方案包括疏散路径规划、人群疏散出口选择等。
[0033]本实施例中，基于时间一致性的个体情绪计算和空间一致性的个体情绪计算来解决人群中的遮挡导致面部表情信息不完整的问题的方法，能够识别出待测视频中所有个体是否处于恐慌情绪，同时恐慌度定量了整个群体处于何种恐慌程度。该方法能够在人群遮挡导致面部表情信息采集不完整的情况下较为准确的得到群体的情绪，识别群体的恐慌程度，从而为人群运动的研究如人群疏散提供了准确的数据支撑，具有简化程度高，模块化程度高，模型精度高，准确契合场景等特点。
[0034]步骤1中，对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情的方法，包括如下步骤：
[0035]步骤(1)输入待识别的人群运动场景中的RGB视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空一致性的群体表情情绪识别方法，其特征在于，包括如下步骤：对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情；根据每个个体的人脸表情识别个体的情绪是否为恐慌情绪；基于时间一致性计算有部分帧图像中被遮挡个体是否为恐慌情绪，基于空间一致性计算所有帧图像中都被遮挡个体是否为恐慌情绪；根据所有个体中为恐慌情绪个体的比例，得到群体恐慌度。2.如权利要求1所述的基于时空一致性的群体表情情绪识别方法，其特征在于：对获取的待识别的人群运动场景中的视频图像，进行人脸检测识别得到每帧图像中的每个个体的人脸表情的方法，包括如下步骤：输入待识别的人群运动场景中的视频；把视频进行分帧处理成一帧一帧的图片；针对分帧处理的每帧图像进行人脸检测；对每张图片检测到的人脸进行裁剪，得到只包含人脸的图片；将裁剪后的人脸图片输入到深度残差网络中得到人脸表情识别结果。3.如权利要求2所述的基于时空一致性的群体表情情绪识别方法，其特征在于：针对分帧处理的每帧图像进行人脸检测采用基于haar特征提取算法实现；或者，对检测到的人脸进行裁剪，得到只包含人脸的图片的步骤如下：对进行人脸检测后每张图片，设置与人脸大小相近的矩形框对检测到的人脸进行框选；把每张图片里框选出来的人脸裁剪出来并标号，按照标号的顺序输出一张图片中每一个人脸。4.如权利要求2所述的基于时空一致性的群体表情情绪识别方法，其特征在于：对于深度残差网络中得到人脸表情识别结果，采用矩阵的形式，得到情绪识别结果矩阵；或者，深度残差网络为Resnet34网络；Resnet34网络结构包括卷积层、残差模块、池化层、全连接层以及Softmax分类器，所述卷积层、残差模块、池化层、全连接层以及Softmax分类器依次连接。5.如权利要求1所述的基于时空一致性的群体表情情绪识别方法，其特征在于：基于时间一致...

【专利技术属性】
技术研发人员：张桂娟，赵传淼，陈伟达，宋婷，陆佃杰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：