一种基于情绪感知的可疑人员识别方法及其系统技术方案

本发明专利技术公开了一种基于情绪感知的可疑人员识别方法与系统，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。其中，图像预处理模块负责对原始视频进行图像重采样处理；人脸检测与过滤模块负责从重采用后的图片集合中检测和过滤人脸图像信息，并生成新的人脸图像集合；人脸比对与核验模块负责基于上述新的人脸图片集合，进行人脸比对与核验；情绪分类与判定模块则基于特定的情绪分类模型进行情绪状态的判定；可疑人员告警模块将基于人脸比对与核验模块和情绪分类与判定模块的比对和判定结果，自动触发相应告警信息的推送。

【技术实现步骤摘要】
一种基于情绪感知的可疑人员识别方法及其系统
本专利技术涉及安防领域，特别是涉及一种基于情绪感知的可疑人员识别方法及其系统。
技术介绍
可疑人员识别是安防领域，特别是视频监控安防领域的一项重要内容。近年来，随着大数据分析、模式识别技术的深入发展，基于视频结构化分析手段的可疑人员识别成为当前视频监控安防领域的应用热点。通过视频结构化分析，可以对视频数据中的人脸、衣着、步态等信息进行定位和结构化描述，并通过人脸比对、身份自动核验、异常行为分析等特定手段实现对可疑人员的快速定位和识别，从而极大的降低了人工查验成本，并有效提高了查验效率，因此，在安检、巡逻等安防领域应用广泛。然而，上述技术手段依然存在很多不足，导致不法分子仍屡屡得手。比如，通过人脸比对和身份自动核验可以很好的识别在逃通缉犯，但在作案人员还不是通缉犯的情况下，仅仅通过身份查验是无法识别出潜在的作案人员的。我们注意到，作案人员在预谋作案时，往往会存在紧张、激动等异常情绪。因此，有必要引入情绪状态分析手段，作为上述技术的有效补充，来进一步识别潜在的可疑人员。
技术实现思路
为了克服上述现有技术的不足，本专利技术旨在设计一种基于情绪感知的可疑人员识别方法及其系统，以进一步提升视频安防能力。与当前主流的可疑人员识别方法相比，本专利技术能够通过对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现。本专利技术所提供的一种基于情绪感知的可疑人员识别方法及其系统，其基本功能模块如附图1所示。首先，图像预处理模块接收原始视频，并采用四帧速率对原始视频进行图像重采样处理。原始视频经重采样后，将被转换为相应的图片集合。人脸检测与过滤模块则负责对上述图片集合进行逐张读取分析，从中检测和过滤人脸图像信息。该过程利用OpenCV基于Adaboost算法，采用深度为2的弱分类器进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的人脸图片集合，进行人脸比对与核验过程。该模块通过调用OpenCV的FaceRecognizer类库中的基于LBP直方图的人脸识别函数(LBPHFaceRecognizer)进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本专利技术引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6类，并分别通过AFEW(ActedFacialExpressionsInTheWild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于LSTM分类器训练完成，并可直接进行情绪状态的判定。通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。与现有技术相比，本专利技术的有益效果是：本专利技术提供的是一种基于情绪感知的可疑人员识别技术，因此相对于现有的可疑人员识别技术，能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别发现，因此能够进一步提升视频安防能力。附图说明图1为该方法的功能组成图。图2为该方法的功能流程图。图3为该方法中人脸检测与过滤模块所使用的弱分类器示意图。具体实施方式下面结合附图2对本专利技术进一步说明。首先，图像预处理模块负责原始视频的接收，并对其进行重采样处理，以降低系统需要处理的图像帧规模，提高系统的运行效率。注意到，采样间隔太大会造成中间图像信息以及图像时序信息的缺失，采样间隔太小会导致提取后的图像特征重复率过高而消耗过多不必要的计算资源。因此，本专利技术采用四帧速率对原始视频进行图像重采样处理，并通过FFmpeg软件实现上述采样过程。原始视频经重采样后，将被转换为相应的图片集合。人脸检测与过滤模块则负责对上述图片进行逐张读取分析，从中检测和过滤人脸图像信息。在本专利技术中，该过程利用OpenCV基于Adaboost算法进行实现。其中，所使用的检测窗口尺寸为25*25像素，利用该检测窗口在每张图片上进行遍历移动，并计算每次移动所对应的haar值，检测到目标后，通过逐步放大或缩小窗口，重新计算新的haar值，以此检测出图像中的人脸。另外，本专利技术采用的是深度为2的弱分类器，以附图3为例：首先计算特征值haar1，并与第一个弱分类器阈值进行比较，若小于则计算特征值haar2，并与第二个弱分类器阈值进行比较，直至流程结束或条件不满足，最后输出右值并结束整个过程。最后，该模块将人脸图像部分单独截取出来，并另存为新的图片。人脸比对与核验模块负责基于上述人脸检测与过滤模块生成的新的图片集合，进行人脸比对与核验过程。本专利技术中，该模块通过调用OpenCV的FaceRecognizer类库中的基于LBP直方图的人脸识别函数(LBPHFaceRecognizer)进行实现。若某张图片中的人脸与系统已有可疑人员库中的某个人脸比对成功，则将直接触发系统中的可疑人员告警推送模块，进行相关报警，否则自动进入情绪分类与判定模块。情绪分类与判定模块则将基于训练好的情绪分类模型进行情绪状态的判定。其中，本专利技术引入的训练图像包括平静、焦虑、紧张、愤怒、高兴、难过共计6类，并分别通过AFEW(ActedFacialExpressionsInTheWild)公开数据集中的训练集进行人脸检测得来。该模块所使用的情绪分类模型基于LSTM分类器训练完成，并可直接进行情绪状态的判定。另外，由于LSTM分类器的输入格式为48*48像素，因此需要将之前检测到的人脸图像重新进行尺寸调整，该模块在进入LSTM层时将利用reshape层进行输入维度的调整。通过情绪分类与判定模块输出的判定结果最终会推送给系统的可疑人员告警推送模块。该模块将对人脸比对与核验模块以及情绪分类与判定模块的分析结果进行判定，若人脸比对成功或者情绪判定结果为焦虑、紧张、愤怒等特定异常情绪状态时，系统将通过该模块进行相关告警信息的推送。本文档来自技高网...

【技术保护点】
1.一种基于情绪感知的可疑人员识别方法与系统，其特征在于：能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。/n

【技术特征摘要】
1.一种基于情绪感知的可疑人员识别方法与系统，其特征在于：能够基于对异常情绪状态的非接触式感知，实现对潜在可疑人员的快速识别预警，因此能够进一步提升视频安防能力，具体包括图像预处理、人脸检测与过滤、人脸比对与核验、情绪分类与判定、可疑人员告警推送共计五个模块。


2.根据权利要求1所述的方法，其特征在于：所述图像预处理模块负责原始视频的接收，并对其进行重采样处理；其中所述重采样处理过程通过FFmpeg软件实现，并采用四帧速率对原始视频进行重采样处理，处理后的原始视频将被转换为相应的图片集合。


3.根据权利要求1所述的方法，其特征在于：所述人脸检测与过滤模块负责对权利要求1所述的图片集合进行逐张读取分析，从中检测和过滤人脸图像信息；该过程利用OpenCV基于Adaboost算法进行实现，检测窗口尺寸为25*25像素，并采用深度为2的弱分类器，以此检测图像中的人脸，并将人脸图像部分单独截取出来，另存为新的人脸图片集合。


4.根据权利要求1所述的方法，其特征在于：所述人脸比对与核验模块负责基于权利要求1所...

【专利技术属性】
技术研发人员：王春雷，尉迟学彪，毛鹏轩，
申请(专利权)人：北京入思技术有限公司，
类型：发明
国别省市：北京;11