一种基于深度神经网络的人群情绪异常检测和定位方法技术

本发明专利技术涉及一种基于深度神经网络的人群情绪异常检测和定位方法，通过监控设备获取视频数据，并对其进行视频关键帧数据提取，并从视频关键帧数据获取每一帧的人脸图像数据，并进行对齐、分组、排序预处理，然后输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并通过训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员，本发明专利技术设计合理，通过模型能够得到人群情绪异常与人群异常之间的关系，避免了人群异常与具体异常事件相关联而导致的检测局限性问题，另外，模型采用了混合的深度神经网络结构模型，从而进一步提高了视频人群情绪异常检测和定位的效率。

Method for detecting and locating crowd mood abnormality based on depth neural network

The invention relates to a deep neural network crowd sentiment anomaly detection and location method based on, access to video data through the monitoring equipment, and carries on the video key frame extraction data, and obtain the face image data of each frame from the video key frame data, and preprocess the alignment, grouping, sorting, and then input to the training good facial emotion recognition model based on convolutional neural network, and through the detection and localization of the trained people emotion model, obtain the crowd monitoring video data emotional anomaly detection and positioning results and feedback to staff monitoring equipment, the invention has reasonable design, can get the crowd abnormal emotional relationships with those between the anomalies through the model. To avoid the crowd abnormal and abnormal events related to specific problems, due to the limitations of joint detection in addition, using a mixed model A depth neural network structure model is proposed, which further improves the efficiency of video crowd abnormal detection and localization.

【技术实现步骤摘要】
一种基于深度神经网络的人群情绪异常检测和定位方法
本专利技术涉及一种计算机视觉
，尤其是一种基于深度神经网络的人群情绪异常检测和定位方法。
技术介绍
随着社会的持续稳定发展和人民群众物质文化生活水平的不断提高，城市人群聚集区域的娱乐活动、商业活动等越来越被公众关注，这些活动往往场地空间有限且参与人数众多，一旦发生异常情况，极易对广大人民群众的生命和财产安全产生严重危害，为了尽早的发现异常情况，及时采取措施，主要借助城市中广泛存在的监控设备，通过监控设备进行异常情况的检测和定位；异常检测主要分为两类：整体异常检测和局部异常检测，整体异常指的是由场景中的所有个体引发的异常，整体异常检测的任务是检测异常事件，并确定异常事件的起始和终止位置，以及它们之间的过渡；局部异常是指由某个个体引发的异常，这个个体可能有别于其他正常的个体，局部异常检测的任务是检测异常事件，并定位异常发生的位置。异常检测根据对异常的不同定义而有所区别，通常对于异常的定义会与具体发生的事件关联起来，而人群情绪异常的定义是指人群中整体或个体出现的不正常情绪变化，即对于异常的检测并不与具体的异常事件直接关联。例如，当人群本文档来自技高网...

【技术保护点】
一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，然后将情绪标记后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调...

【技术特征摘要】
1.一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于，包括以下步骤：S1)、数据获取：通过监控设备获取视频数据作为训练视频数据；S2、利用视频关键帧提取技术从训练视频数据中提取视频关键帧数据；S3)、数据处理：利用人脸检测技术从视频关键帧数据中获取每一帧的人脸图像数据，并检测人脸图像中的人脸特征点，根据人脸特征点对齐人脸图像后，按照不同个体对人脸图像进行分组，对分组后的人脸图像数据按视频关键帧顺序排序；S4)、人脸情绪识别模型的构建：对对齐、分组、排序处理后的人脸图像数据进行情绪标记，然后将情绪标记后的人脸图像数据输入到训练好的基于卷积神经网络的人脸情绪识别模型中，并根据人脸图像数据调整模型全连接层权重，从而得到训练好的基于监控视频数据的人脸情绪识别模型；S5)、构建人群情绪检测和定位模型：将人脸情绪识别模型的全连接层输出的特征按时间维度组合成时序特征，并将时序特征输入长短期记忆循环神经网络模型中，构建并训练得到整体的人群情绪检测和定位模型；S6)、异常情绪检测和定位：重新从监控设备中获取视频数据作为监测视频数据，按照步骤S2、S3)对监测视频数据进行预处理，利用训练好的人群情绪检测和定位模型，获取监测视频数据中人群情绪异常检测和定位结果并反馈给监控设备工作人员。2.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的情绪标记包括高兴、愤怒、厌恶、恐惧、悲伤、惊奇、焦虑、中性。3.根据权利要求1所述的一种基于深度神经网络的人群情绪异常检测和定位方法，其特征在于：步骤S4)中，所述的基于卷积神经网络的人脸情绪识别模型的构建包括以下步骤:S401)、获取公开的人脸图像数据集作为训练样本集，并对人脸表情数据集进行人脸对齐，以及人脸图像情绪标记；S402)、将步骤S401)中处理后的训练样本集中的每一张人脸图像转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；S403)、对所有灰度图像的像素矩阵进行去均值处理，其计算式为：S404)、将去均值处理后的像素矩阵X输入到卷积神经网络模型中；S405)、...

【专利技术属性】
技术研发人员：郝志峰，郑小宾，蔡瑞初，温雯，王丽娟，陈炳丰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44