一种异常行为检测方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种异常行为检测方法、装置、电子设备及存储介质，用于改善进行异常行为检测的准确率较低的问题。该方法包括：获得视频流数据，并检测出视频流数据中一视频帧中的目标对象；提取出目标对象在视频流数据中的全局时域特征；提取出目标对象在视频帧中的关键点热力图和空间域特征，并使用关键点热力图对空间域特征进行空间注意力计算，获得全局空域特征；将全局时域特征与全局空域特征进行融合，获得融合后的全局特征向量；使用异常检测网络模型对融合后的全局特征向量进行异常行为分类，获得目标对象的行为是否存在异常的检测结果。

【技术实现步骤摘要】
一种异常行为检测方法、装置、电子设备及存储介质
本申请涉及视频处理和视频识别的
，具体而言，涉及一种异常行为检测方法、装置、电子设备及存储介质。
技术介绍
异常行为检测，是指针对目标对象的行为是否存在异常进行检测，具体例如：老人在房间里是躺着或者跌倒；若是跌倒，那么老人的行为就被认为存在异常，此时可以发出预警信息以便及时救治；若是躺着睡觉或者休息，那么老人的行为就被认为不存在异常，则无需预警。目前的异常行为检测方法的思路大都是，采集目标对象行为的视频，然后将该异常行为检测任务当作视频分类任务来处理，具体例如：使用深度神经网络模型对该视频进行分类，并将视频的分类结果作为异常行为检测结果。在实践的过程中，这种方法通常适用于单个目标对象的异常行为检测，并不适用于视频中出现多个目标对象的情况。由于多个目标对象在视频中会相互重叠遮挡、不同行为相互交互或者互相干扰等等情况，这些情况会对深度神经网络模型的分类产生干扰，从而导致异常行为检测的准确率较低。因此，在视频中出现多个目标对象时，使用目前的方法进行异常行为检测的准确率较低。本文档来自技高网...

【技术保护点】
1.一种异常行为检测方法，其特征在于，包括：/n获得视频流数据，并检测出所述视频流数据中一视频帧中的目标对象；/n提取出所述目标对象在所述视频流数据中的全局时域特征；/n提取出所述目标对象在所述视频帧中的关键点热力图和空间域特征，并使用所述关键点热力图对所述空间域特征进行空间注意力计算，获得全局空域特征；/n将所述全局时域特征与所述全局空域特征进行融合，获得融合后的全局特征向量；/n使用异常检测网络模型对所述融合后的全局特征向量进行异常行为分类，获得所述目标对象的行为是否存在异常的检测结果。/n

【技术特征摘要】
1.一种异常行为检测方法，其特征在于，包括：
获得视频流数据，并检测出所述视频流数据中一视频帧中的目标对象；
提取出所述目标对象在所述视频流数据中的全局时域特征；
提取出所述目标对象在所述视频帧中的关键点热力图和空间域特征，并使用所述关键点热力图对所述空间域特征进行空间注意力计算，获得全局空域特征；
将所述全局时域特征与所述全局空域特征进行融合，获得融合后的全局特征向量；
使用异常检测网络模型对所述融合后的全局特征向量进行异常行为分类，获得所述目标对象的行为是否存在异常的检测结果。


2.根据权利要求1所述的方法，其特征在于，所述异常检测网络模型包括时域特征提取网络；所述提取出所述目标对象在所述视频流数据中的全局时域特征，包括：
从所述视频流数据中匹配出包括所述目标对象的多个连续视频帧；
从所述多个连续视频帧中裁剪出所述目标对象的目标检测框，并对该目标检测框进行光流位移计算，获得光流位移矢量图，所述光流位移矢量图表征目标对象在时序上发生的动作变化；
使用所述时域特征提取网络提取出所述光流位移矢量图的全局时域特征。


3.根据权利要求1所述的方法，其特征在于，所述异常检测网络模型包括：关键点检测网络和空域特征提取网络；所述提取出所述目标对象在所述视频帧中的关键点热力图和空间域特征，包括：
从所述视频帧中裁剪出所述目标对象的目标检测框；
使用所述关键点检测网络提取出所述目标对象在所述目标检测框中的关键点热力图，并使用所述空域特征提取网络提取出所述目标对象在所述视频帧中的空间域特征。


4.根据权利要求1所述的方法，其特征在于，所述异常检测网络模型包括目标检测网络；所述检测出所述视频流数据中一视频帧中的目标对象，包括：
从所述视频流数据中抽取出一视频帧；
使用所述目标检测网络检测出所述视频帧中的目标对象。


5.根据权利要求1-4任一所述的方法，其特征在于，在所述使用异常检测网络模型对所述融合后的全局特征向量进行异常行为分类之前，还包括：
获得样本特征向量和样本类别标签，所述样本类别标签是对所述样本特征向量进行分类获得的；
使用异常检测神经网络预测所述样本特征向量的类别标签，获得预测类别标签；
分别计算所述...

【专利技术属性】
技术研发人员：黄泽，张泽覃，
申请(专利权)人：创新奇智北京科技有限公司，
类型：发明
国别省市：北京;11