一种基于人群行为先验知识的双分支异常检测方法技术

本发明专利技术提供了一种基于人群行为先验知识的双分支行人异常检测方法，包括：利用社会力模型提取视频中人群的交互信息；利用多实例学习方法对视频中不同时间片段学习出异常得分；利用注意力模型捕获视频特征的全局依赖；利用双分支模型将原始视频和其对应的人群交互信息视频结合。本发明专利技术充分考虑人类对异常行为判断的先验信息，利用数量充足的正常和异常样本来学习人群行为的正常和异常模式，使得异常检测能在一定地语义层面上对视频中得人群行为进行识别，能很好地解决与适应由于样本数量不足和视频中人群得背景干扰带来的性能损失，更具有鲁棒性；该方法也不需要精确到片段级别的数据标签，即使训练对象是视频的片段，也只需要视频级别的标签。

A two branch anomaly detection method based on prior knowledge of crowd behavior

【技术实现步骤摘要】
一种基于人群行为先验知识的双分支异常检测方法
本专利技术属于计算机视觉
，具体为一种基于人群行为先验知识的双分支异常检测方法，尤其涉及在监控摄像头下的专注于人群异常行为的异常检测。
技术介绍
监控摄像机越来越多地被使用在公共场所之中，比如街道、路口、银行和购物中心等等人流量密集的地方。然而，相关行政执法机构的对监控视频中的异常情况的检测能力却没有跟上，导致不能充分利用监控摄像机的资源，在其使用上存在着明显缺陷。让人来实时观测监控视频也非常不现实，因为如今我国的监控摄像机数量已经十分庞大，光靠人力资源来监测监控视频不仅成本代价极高，而且由于各种不确定的人为因素的存在，使得效率也非常的低。因此，当下面临的挑战是在监控视频中实现自动检测异常事件，比如交通事故，犯罪活动或者违法行为。一般来说，相比于普通正常情况而言，异常情况往往发生数量少，且持续时间相对短。因此，为了减少对人力资源和时间的浪费，研究视频自动异常检测的计算机视觉算法是非常有必要的。实际异常检测系统的目标是及时检测出不符合正常模式的行为，并且识别出异常发生的开始到结束时间点。因此，异常检测可以被认为是计算机对视频的浅层次理本文档来自技高网...

【技术保护点】
1.一种基于人群行为先验知识的双分支异常检测方法，其特征在于：包括：S1：将每个视频划分为多个视频片段s

【技术特征摘要】
1.一种基于人群行为先验知识的双分支异常检测方法，其特征在于：包括：S1：将每个视频划分为多个视频片段si；S2：将每一个视频片段si输入到预训练的C3D网络，并对所有的视频片段si提取特征；其中，以每16帧为单位提取特征，每一个视频片段si的特征为其中所有16帧特征的均值，得到每个视频的多个特征；S3：利用注意力模型捕获单个特征内的全局依赖，每一个输入的特征A经过注意力模型处理后得到新的特征E，特征E中每一个位置的值为所有位置值的加权和；S4：利用全连接层输出每一个视频片段si的异常得分值f(si)，将异常得分值f(si)输入到多实例损失函数L(Va,Vn)进行梯度下降和反向传播；所述多实例损失函数L(Va,Vn)表达式如下：其中，Va和Vn分别为一个异常视频和一个正常视频，M()表示多实例排序损失函数，N()表示连续视频片段得分值的连续性限制，S()为一范数的稀疏性限制，‖W‖F为权重约束；和分别为异常视频的片段的异常得分值和正常视频的片段的异常得分值；S5：通过S1～S4，训练出第一个网络分支，即时空动态分支Bo；S6：利用社会力模型，对时空动态分支Bo中的数据集视频生成其对应的社会力图，提取出时空动态分支Bo中的人群和周围环境的交互社会力Fint，得到原始视频对应的社会力图，即提取出人群的行为信息，其数据维度与原始视频维度一致；S7：将所有的社会力图作为输入，重复S1到S4，训练出第二个网络分支，即交互动态分支Bs；S8：在异常检测阶段，将用于测试的视频和其对应的社会力图分别输入到时空动态分支和交互动态分支，最终测试视频所有的视频片段得到两个异常得分值，采取平均法将这两个异常得分值融合作为视频片段的最终异常分值。2.根据权利要求1所述的基于人群行为先验知识的双分支异常检测方法，其特征是：S1中，采用多实例学习方法，将每个视频作为一个包，将具有固定数量以及固定...

【专利技术属性】
技术研发人员：杨华，林书恒，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31