一种基于实例级注意机制的交通异常事件检测方法技术

本发明专利技术提供了一种基于实例级注意机制的交通异常事件检测方法，采用可自主学习的多目标检测器作为前端检测模块，完成对场景中的车辆检测，然后通过VGG19网络对视频帧和目标物进行特征提取，并将特征输入到注意模块中为场景中的检测车辆分配相应的注意权重，最后通过LSTM和Softmax完成异常事件的检测。本发明专利技术的有益效果是：使用可自主学习的多目标检测器作为前端检测模块，能够自主学习，逐步提高检测性能；加入了注意机制，提高事件检测的精确度；可以对异常事件进行分类，使监控方能精准的根据事件类型做出相应的决策。

A traffic anomaly detection method based on case level attention mechanism

The invention provides a traffic abnormal event detection method based on the case level attention mechanism, which uses the self-learning multi-target detector as the front-end detection module to complete the vehicle detection in the scene, and then extracts the features of the video frame and the target through the vgg19 network, and inputs the features into the attention module to assign the corresponding attention rights to the detected vehicles in the scene. Finally, the abnormal events are detected by LSTM and softmax. The invention has the following beneficial effects: using the multi-target detector which can learn autonomously as the front-end detection module can learn autonomously and gradually improve the detection performance; adding the attention mechanism to improve the accuracy of event detection; classifying the abnormal events so that the monitoring can make the corresponding decision accurately according to the event type.

【技术实现步骤摘要】
一种基于实例级注意机制的交通异常事件检测方法
本专利技术涉及模式识别领域，尤其涉及一种基于实例级注意机制的交通异常事件检测方法。
技术介绍
近年来，随着社会经济的飞速发展和城市化建设的加快，人们的汽车的保有量大幅増长，汽车给人们的日常出行带来了极大便利的同时，也给交通管理带来了交通拥挤、交通事故频发等严峻的挑战，城市交通车辆增多所引发的交通异常事件正在逐年上升。交通异常事件是指交通场景中如非法停车、道路撞车、堵车等区别于正常行驶的事件。现在智能交通视频监控是城市交通管理的重要组成部分，各大主干道都部署了监控摄像头，交通监控视频数据也成为了一类典型的大数据。而传统的监控视频存储、计算和检索方式已经不能满足对海量交通监控视频智能分析的需求。当前对交通监控视频的主要用途是在发生事故后进行事件回顾，并且很大程度上要依赖人工检索来定位，这样只能做到交通事故的事后查看，不能实时检测，更不能提前预防。为了保障人们的日常生活、社会的安定与和谐，交通监控视频中的异常事件检测成为了目前智能交通领域研究的重点与难点，及时且精准的检测交通异常事件能帮助管理部门更快速的做出决断，为发生事故的地段更迅速的派出救援，对减少人员伤亡和减少财产损失有重大意义，交通异常事件检测已成为交通管理部口迫切需要解决的问题之一。本专利技术基于上述背景中存在的问题，提出一种基于实例级注意机制的交通异常事件检测方法，本方法采用深度学习中的算法，解决了传统方法需要大量人工处理海量数据的问题，并提出一种注意机制，使模型能够重点关注异常区域，提高事件的检测精度。
技术实现思路
为了解决上述问题，本专利技术提供了一种基于实例级注意机制的交通异常事件检测方法；一种基于实例级注意机制的交通异常事件检测方法，应用于异常事件检测网络中；所述异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM；所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；所述一种注意机制的交通异常事件检测方法，具体包括如下步骤：S101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；S102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征ft-1、ft和ft+1；S103：将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入，得到三个目标物的检测结果；S104：根据所述目标物的检测结果，采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i；其中，i为各视频帧中目标物的编号；S105：将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入，得到对应的三个记忆输出和S106：依次将三个记忆输出和输入长短时记忆模块，得到对应的输出和S107：将三个输出和分别输入至Softmax分类模块，得到三个对应的分类输出，进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别；同时将下一组帧数据作为下一次检测的当前帧数据，以进行下一组帧数据的检测，返回步骤S102。进一步地，步骤S102中，所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512，便于作为后续模块的输入。进一步地，步骤S103中，所述目标物为车辆或者人；所述多目标检测器为现有的可自主学习的多目标检测器，且所述多目标检测器为训练好的可用的多目标检测器；在检测开始之前，使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据，所述多目标探测器将利用所述训练数据自行训练成为可用的多目标检测器。进一步地，步骤S104中，所述目标物特征大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物特征大小调整为196*512，便于作为后续模块的输入。进一步地，步骤S105中，将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时，t时刻的输入ft的BLSTM输出中包含了t-1时刻输出和t+1时刻输出故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。进一步地，步骤S106中，依次将三个记忆输出和输入长短时记忆模块，得到对应的输出和包括如下步骤：S201：在t-1时刻，将p(t-1)i和作为Attention模块的输入，计算出当前时刻对每一个目标物的注意系数at-1；其中，为上一帧视频的视频特征输入长短时记忆模块后，最后一层LSTM的输出；S202：将at-1和作为所述长短时记忆模块的最后一层LSTM的输入，得到视频特征ft-1对应的视频帧的事件状态S203：返回步骤S201进行迭代，依次得到和对应的事件状态和进一步地，所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络；采用铰链损失函数进行训练，表达式如下：上式中，k是预设的异常事件的类别代码，K为异常事件的总类别数；wk是对应异常事件类别k的权重向量；训练时，当预测异常事件类别和真实事件类别相同时yk＝1，反之yk＝-1；t为样本编号，T为样本总数量。本专利技术提供的技术方案带来的有益效果是：本专利技术所提出的技术方案具有以下优点：(1)使用一种可自主学习的多目标检测器作为前端检测模块，只需在视频的第一帧中，用鼠标框选需要检测的目标，该检测器就能够自主学习，逐步提高检测性能。(2)结构中加入了注意机制，能够在异常事件样本较少的情况下完成对其特征的学习，使模型能够准确的关注到与异常事件相关的车辆，更好的摒弃与事件无关的信息，从而提高事件检测的精确度。(3)本方法除了能够准确判断是否发生异常事件之外，还可以对异常事件进行分类，准确的指出当前发生的异常是堵车、道路撞车或者非法停车中的某一类，使监控方能精准的根据事件类型做出相应的决策。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术实施例中一种基于实例级注意机制的交通异常事件检测方法的流程框图；图2是本专利技术实施例中一种基于实例级注意机制的交通异常事件检测方法的详细算法流程图；图3是本专利技术实施例中BLSTM的结构图；图4是本专利技术实施例中Attention模块的结构示意图。具本文档来自技高网...

【技术保护点】
1.一种基于实例级注意机制的交通异常事件检测方法，应用于异常事件检测网络中；其特征在于：所述异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM，所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；/n所述一种注意机制的交通异常事件检测方法，具体包括如下步骤：/nS101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；/nS102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征f

【技术特征摘要】
1.一种基于实例级注意机制的交通异常事件检测方法，应用于异常事件检测网络中；其特征在于：所述异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM，所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；
所述一种注意机制的交通异常事件检测方法，具体包括如下步骤：
S101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；
S102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征ft-1、ft和ft+1；
S103：将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入，得到三个目标物的检测结果；
S104：根据所述目标物的检测结果，采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i；其中，i为各视频帧中目标物的编号；
S105：将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入，得到对应的三个记忆输出和
S106：依次将三个记忆输出和输入长短时记忆模块，得到对应的输出和
S107：将三个输出和分别输入至Softmax分类模块，得到三个对应的分类输出，进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别；同时将下一组帧数据作为下一次检测的当前帧数据，以进行下一组帧数据的检测，返回步骤S102。


2.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S102中，所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512，便于作为后续模块的输入。


3.如权利要求1所述的一种...

【专利技术属性】
技术研发人员：罗大鹏，何松泽，魏龙生，牟泉政，杜国庆，林运楷，王聪皓，毛敖，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42