本发明专利技术公开了一种基于双条件扩散模型的交通视频异常检测方法及系统，涉及交通视频异常检测技术领域。通过提取历史交通监控视频中未发生异常的连续图像帧的光流特征和时空运动特征，构成双条件特征；采用视觉Transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件并进行训练；将实时交通监控视频输入训练好的双条件扩散模型中，输出待比较当前时刻图像帧；当待比较当前时刻图像帧与真实图像帧的信息差异值高于预设阈值时，确定实时交通监控视频中当前时刻图像帧为异常视频帧。本发明专利技术能够提高视频异常检测的精度、效率和全面性。
1、交通视频异常检测技术对于提高道路交通安全具有重要意义，目前主流的基于变分自编码器和生成对抗网络的交通视频异常检测技术难以保留图像中的精细细节信息，训练起来也比较复杂。扩散模型是一类非自回归生成模型，近年来在图像处理中表现出优于生成对抗网络的优异性能，并且能够有效缩短推理时间。因此，亟需一种基于扩散模型的交通视频异常检测方法，能够快速、全面且精确地实现交通视频的异常检测。
6、基于双条件特征，采用视觉transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件；所述第一条件为光流特征的特征隐空间；所述第二条件为时空运动特征的特征隐空间；
>8、将实时交通监控视频输入训练好的双条件扩散模型中，输出待比较当前时刻图像帧；9、当待比较当前时刻图像帧与真实图像帧的信息差异值高于预设阈值时，确定待比较当前时刻图像帧为异常视频帧。
10、可选地，所述提取历史交通监控视频中未发生异常的连续图像帧的光流特征和时空运动特征，构成双条件特征，具体包括：
11、基于pwc-net模型提取历史交通监控视频中未发生异常的连续图像帧中的初始光流特征；
12、将初始光流特征引入图卷积神经网络中进行提炼并从时空领域聚合初始光流特征，得到光流特征；
13、基于i3d模型提取历史交通监控视频中未发生异常的连续图像帧中的初始时空运动特征；所述初始时空运动特征的对象包括车辆、行人以及动物；
14、将初始时空运动特征输入门控循环单元中进行萃取，得到时空运动特征。
15、可选地，所述基于双条件特征，采用视觉transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件，具体包括：
16、将两个视觉transformer模型分别作为编码器和解码器，从而构成编码器-解码器框架；所述编码器-解码器框架包括：第一编码器-解码器框架和第二编码器-解码器框架；
17、将光流特征输入第一编码器-解码器框架进行光流特征隐空间自学习，得到双条件扩散模型的第一条件；
18、将当前时刻图像帧输入yolov8模型中，提取当前时刻图像帧中的当前静态物体特征；所述当前静态物体特征包括交通标志标牌、建筑物、车辆、人和动物；
19、将当前静态物体特征和时空运动特征输入第二编码器-解码器框架进行时空运动特征的隐空间自学习，得到双条件扩散模型的第二条件；所述第一编码器-解码器框架的隐空间自学习过程与所述第二编码器-解码器框架的隐空间自学习过程并行进行。
20、可选地，所述待比较当前时刻图像帧与真实图像帧的信息差异值采用l1范数计算。
21、可选地，所述确定待比较当前时刻图像帧为异常视频帧之后，还包括：
22、抓取异常视频帧传输到交通安全监控中心，并发出声光报警信息。
23、一种基于双条件扩散模型的交通视频异常检测系统，包括：
24、连续图像帧获取模块，用于获取交通监控视频的连续图像帧；所述交通监控视频的连续图像帧包括历史交通监控视频和当前时刻图像帧；
25、特征提取模块，用于提取历史交通监控视频中未发生异常的连续图像帧的光流特征和时空运动特征，构成双条件特征；
26、自学习模块，用于基于双条件特征，采用视觉transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件；所述第一条件为光流特征的特征隐空间；所述第二条件为时空运动特征的特征隐空间；
27、双条件扩散模型训练模块，用于基于交通监控视频训练集对双条件扩散模型进行训练，得到训练好的双条件扩散模型；
28、待比较当前时刻图像帧输出模块，用于将实时交通监控视频输入训练好的双条件扩散模型中，输出待比较当前时刻图像帧；
29、异常视频帧确定模块，用于当待比较当前时刻图像帧与真实图像帧的信息差异值高于预设阈值时，确定待比较当前时刻图像帧为异常视频帧。
30、可选地，所述特征提取模块具体包括：
31、初始光流特征提取单元，用于基于pwc-net模型提取历史交通监控视频中未发生异常的连续图像帧中的初始光流特征；
32、光流特征获取单元，用于将初始光流特征引入图卷积神经网络中进行提炼并从时空领域聚合初始光流特征，得到光流特征；
33、初始时空运动特征提取单元，用于基于i3d模型提取历史交通监控视频中未发生异常的连续图像帧中的初始时空运动特征；所述初始时空运动特征的对象包括车辆、行人以及动物；
34、时空运动特征获取单元，用于将初始时空运动特征输入门控循环单元中进行萃取，得到时空运动特征。
35、可选地，所述自学习模块具体包括：
36、编码器-解码器框架构建单元，用于将两个视觉transformer模型分别作为编码器和解码器，从而构成编码器-解码器框架；所述编码器-解码器框架包括：第一编码器-解码器框架和第二编码器-解码器框架；
37、第一条件确定单元，用于将光流特征输入第一编码器-解码器框架进行光流特征隐空间自学习，得到双条件扩散模型的第一条件；
38、当前静态物体特征提取单元，用于将当前时刻图像帧输入yolov8模型中，提取当前时刻图像帧中的当前静态物体特征；所述当前静态物体特征包括交通标志标牌、建筑物、车辆、人和动物；
39、第二条件确定单元，用于将当前静态物体特征和时空运动特征输入第二编码器-解码器框架进行时空运动特征的隐空间自学习，得到双条件扩散模型的第二条件；所述第一编码器-解码器框架的隐空间自学习过程与所述第二编码器-解码器框架的隐空间自学习过程并行进行。
40、可选地，所述异常视频帧确定模块具体包括：
41、l1范数计算单元，用于采用l1范数计算待比较当前时刻图像帧与真实图像帧的信息差异值。
42、可选地，所述基于双条件扩散模型的交通视频异常检测系统还包括：
43、报警模块，用于抓取异常视本文档来自技高网...
【技术保护点】
1.一种基于双条件扩散模型的交通视频异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述提取历史交通监控视频中未发生异常的连续图像帧的光流特征和时空运动特征，构成双条件特征，具体包括：
3.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述基于双条件特征，采用视觉Transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件，具体包括：
4.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述待比较当前时刻图像帧与真实图像帧的信息差异值采用L1范数计算。
5.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述确定待比较当前时刻图像帧为异常视频帧之后，还包括：
6.一种基于双条件扩散模型的交通视频异常检测系统，其特征在于，包括：
7.根据权利要求6所述的基于双条件扩散模型的交通视频异常检测系统，其特征在于，所述特征提取模块具体包括：
8.根据权利要求6所述的基于双条件扩散模型的交通视频异常检测系统，其特征在于，所述自学习模块具体包括：
9.根据权利要求6所述的基于双条件扩散模型的交通视频异常检测系统，其特征在于，所述异常视频帧确定模块具体包括：
10.根据权利要求6所述的基于双条件扩散模型的交通视频异常检测系统，其特征在于，还包括：
...
【技术特征摘要】
1.一种基于双条件扩散模型的交通视频异常检测方法，其特征在于，包括：
2.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述提取历史交通监控视频中未发生异常的连续图像帧的光流特征和时空运动特征，构成双条件特征，具体包括：
3.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述基于双条件特征，采用视觉transformer构建的编解码模型对双条件特征的特征隐空间进行自学习，得到双条件扩散模型的第一条件和第二条件，具体包括：
4.根据权利要求1所述的基于双条件扩散模型的交通视频异常检测方法，其特征在于，所述待比较当前时刻图像帧与真实图像帧的信息差异值采用l1范数计算。
...
【专利技术属性】
技术研发人员：谷金晶，覃文文，阮鸿柱，李昂，戈艺澄，
申请(专利权)人：云南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。