一种基于改进的长短期记忆网络的车辆异常行为识别方法技术

本发明专利技术涉及一种基于改进的长短期记忆网络的车辆异常行为识别方法，属于智能监控技术领域。该方法包括：S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；S2：利用车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，实时获取目标车辆的运动轨迹；S3：对获取的目标车辆运动轨迹进行预处理，并进行人工标注；S4：构建基于改进的LSTM网络的异常行为识别模型，对得到的目标车辆运动轨迹进行分类，识别出多种异常行为。本发明专利技术解决交通管理者需人工处理大量视频源的问题，针对交通道路监控环境中的多种车辆异常行为，能够准确高效地自动识别和报警，减少人力成本。

A vehicle abnormal behavior recognition method based on improved long and short term memory network

【技术实现步骤摘要】
一种基于改进的长短期记忆网络的车辆异常行为识别方法
本专利技术属于智能监控
，涉及一种基于改进的长短期记忆网络的车辆异常行为识别方法。
技术介绍
随着社会经济的高速发展，当今汽车的保有量呈现直线式增长，私家车数量的不断增加在方便市民出行的同时，也带来诸如交通事故、交通拥堵等问题。道路资源的有限，使得许多车辆为了争取自己时间出现诸多违法违章行为，带来潜在的交通事故危险，与此同时，还存在不法分子与驾驶员争夺驾驶权等危险行为时导致车辆的行驶状态一反常态，为了应对这一问题，在近年来智能交通系统的高速发展前提下，通过交通监控视频对车辆行为进行自动识别成为热点。因为交通视频中包含了诸如交通流量、车辆行为轨迹、车辆牌照等参数，可以用来对车辆行为和交通事件进行预测和识别。目前的智能监控系统，在构建车辆异常行为识别模型时，目前主流方法是通过提取目标轨迹的几何参数特征作为模型的输入来训练传统的分类器，特征选取的好坏直接影响到分类器的性能，这些方法未利用轨迹数据的时序信息，且对坐标的精度要求较高，对实际环境下不可控的噪声较为敏感，泛化性能较差。以此同时，当前的异常数据非常少，绝大部分的数据都是车辆正常行驶，数据类别极不平衡，常规的LSTM更是存在训练时间长，收敛慢的问题。因此，亟需一种使智能监控视频你能够更加准确有效识别车辆异常行为的方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于改进的长短期记忆网络的车辆异常行为识别方法，针对交通道路监控环境中的多种车辆异常行为，能够准确高效地自动识别和报警，从而减少人力成本，解决交通管理者需人工处理大量视频源的问题；还能有效提升道路安全水平和运行效率。为达到上述目的，本专利技术提供如下技术方案：一种基于改进的长短期记忆网络的车辆异常行为识别方法，具体包括以下步骤：S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；S2：利用步骤S1得到的车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，以此对目标车辆进行在线跟踪，实时获取目标车辆的运动轨迹；S3：对步骤S2获取的目标车辆运动轨迹进行预处理，保证数据完整，无重复值，并进行人工标注；S4：构建基于改进的长短期记忆网络(LongShort-TermMemory，LSTM)的异常行为识别模型，对步骤S2得到的目标车辆运动轨迹进行分类，识别出多种异常行为。进一步，步骤S1中，交通场景视频数据来自道路交通卡口监控系统记录的视频数据；车辆获取车辆检测模型具体包括：利用去雾算法对交通场景图像进行去雾处理，去除雾对于监控视频中车辆检测精度的影响，在采集数据时，收集来自各种光照环境下的视频片段，训练基于深度学习的目标检测网络，使得网络能够提取对光照不敏感的特征，实现道路交通监控视频中的精确车辆检测。进一步，步骤S2中，在线跟踪即为基于检测的多目标跟踪方法，首先使用Kalman滤波器对上一帧检测到的目标进行预测；然后通过Kalman滤波器利用实际的运动参数不断修正未来运动状态的估计值，能有效改善其他算法在目标运动速度过快、目标被部分遮挡时的跟踪效果；最后结合匈牙利算法，将现有跟踪算法的二阶段匹配算法为一阶段方法，实现在线跟踪。进一步，步骤S3中，对目标车辆运动轨迹进行数据预处理，具体包括：去掉中断时间过长，车辆ID(每一个目标车辆分配的唯一标识该车辆的编号)频繁转换和重复ID等的不良轨迹数据，并人为的根据原视频将其中正常行驶，停滞，逆行，非常规速度行驶，短时间内连续多次变道的轨迹数据打上标签。进一步，步骤S4中，构建基于改进的LSTM网络的异常行为识别模型，具体包括：S41：采用无监督的oneclassSVM算法对轨迹数据的DET表示进行异常点检测，基于离散傅里叶变换的轨迹表示法，将不同维度的轨迹数据都映射到同一高维特征空间中，又不损失轨迹数据所包含的时序信息，利用oneclassSVM算法对轨迹数据的DET表示进行异常点检测，将正常轨迹数据和异常轨迹数据进行粗分类，剔除掉绝大部分的正常轨迹数据，将异常与正常数据的类别极不均衡变为较为均衡；S42：将异常轨迹数据输入到改进的LSTM网络即T-LSTM中进行细分类，识别出异常行为的具体种类。更进一步，步骤S42中，T-LSTM网络具体为：针对常规LSTM进行改进，去除其中的遗忘门，加入一个时间控制权重；则T-LSTM网络的状态更新表达式为：ct＝it*tanh(wc·[Ht-1,Fx(t),Fy(t)]+bc)+tt*ct-1Ht＝ot*tanh(ct)tt＝p，0<p<1其中，tt表示时控门，it表示输入门，ot表示输出门，Ht-1表示的是上一个cell的输出，Ct表示细胞状态，Fx(t)、Fy(t)表示轨迹的DET系数。本专利技术的有益效果在于：1)本专利技术针对道路交通监控环境实现低人工力、高效检测识别车辆异常行为，有效提升了道路安全水平和运行效率。2)本专利技术提出的基于改进的长短期记忆网络(T-LSTM)的异常行为识别模型，将无监督的oneclassSVM算法加入到神经网络前对轨迹数据进行粗分类，解决了类别极不平衡的问题，再利用T-LSTM模型取代LSTM，解决其训练时间长，收敛慢的问题，对异常轨迹数据进行细分类，准确识别车辆异常行为的种类。3)本专利技术能够识别车辆停滞，逆行，非常规速度行驶，短时间内连续多次变道，掉头等多种异常行为，并对发生异常行为的时间和车辆位置进行精确定位。异常行为与普通的交通违章行为虽有交集，但不尽相同，例如短时间内连续多次变道，虽不是违章行为，但是在异常行为的识别范围内。本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本专利技术的实践中得到教导。本专利技术的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作优选的详细描述，其中：图1为本专利技术所述的车辆异常行为识别方法的流程框架图；图2为本专利技术改进的LSTM网络结构框图；具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。请参阅图1～图2，图1为一种基于改进的LSTM网络的车辆异常行为识别方法流程框图，本专利技术优选一种实施例，针对画面尺寸为宽高1920x1080、时长20秒、帧率为25fps左右的视频进行检测，具体包括以下步骤：步骤一本文档来自技高网...

【技术保护点】
1.一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，该方法具体包括以下步骤：/nS1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；/nS2：利用步骤S1得到的车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，以此对目标车辆进行在线跟踪，实时获取目标车辆的运动轨迹；/nS3：对步骤S2获取的目标车辆运动轨迹进行预处理，并进行人工标注；/nS4：构建基于改进的长短期记忆网络(Long Short-Term Memory，LSTM)的异常行为识别模型，对步骤S2得到的目标车辆运动轨迹进行分类，识别出多种异常行为。/n

【技术特征摘要】
1.一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，该方法具体包括以下步骤：
S1：对采集的交通场景视频数据进行预处理，并以此进行模型训练，获取车辆检测模型；
S2：利用步骤S1得到的车辆检测模型对视频数据进行车辆检测，确定每个目标车辆的信息，以此对目标车辆进行在线跟踪，实时获取目标车辆的运动轨迹；
S3：对步骤S2获取的目标车辆运动轨迹进行预处理，并进行人工标注；
S4：构建基于改进的长短期记忆网络(LongShort-TermMemory，LSTM)的异常行为识别模型，对步骤S2得到的目标车辆运动轨迹进行分类，识别出多种异常行为。


2.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S1中，车辆获取车辆检测模型具体包括：利用去雾算法对交通场景图像进行去雾处理，去除雾对于监控视频中车辆检测精度的影响，在采集数据时，收集来自各种光照环境下的视频片段，训练基于深度学习的目标检测网络，使得网络能够提取对光照不敏感的特征，实现道路交通监控视频中的精确车辆检测。


3.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于，步骤S2中，在线跟踪即为基于检测的多目标跟踪方法，首先使用Kalman滤波器对上一帧检测到的目标进行预测；然后通过Kalman滤波器利用实际的运动参数不断修正未来运动状态的估计值；最后结合匈牙利算法，将现有跟踪算法的二阶段匹配算法为一阶段方法，实现在线跟踪。


4.根据权利要求1所述的一种基于改进的长短期记忆网络的车辆异常行为识别方法，其特征在于...

【专利技术属性】
技术研发人员：杨瑶，石宇，周祥东，邓平聆，罗建江，罗代建，程俊，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，中国科学院大学，
类型：发明
国别省市：重庆;50