【技术实现步骤摘要】
本专利技术属于智能视频处理，具体涉及一种跨时序融合记忆网络的交通事件检测方法。
技术介绍
1、在交通场景中，前置摄像头记录司机的“第一人称”或“自我中心”视角，这种自我为中心的视频已广泛应用于道路安全预警、导航、端到端自动驾驶、交通流管理和行人保护等应用。为了确保交通安全，不仅需要准确识别和定位附近的物体，还需要迅速识别和定位发生的异常事件，尤其是交通事故，以便采取及时措施来规避危险。交通事件检测与交通视频异常检测任务有着密切的关系。不同的是交通事件涉及碰撞、撞车和事故情况，而视频异常比事故情况包含的范围更广。交通事件呈现长尾分布，大多数驾驶场景属于少数常见情况，但几乎无限的罕见情况也可能发生。因此，安全驾驶系统需要在常见和罕见情境下准确识别和响应。传统人工报告事故数据的方法虽然提供了有价值信息，但存在及时性和可靠性问题。
2、为解决这些挑战，计算机视觉技术在交通事件检测中发挥关键作用。为了解决交通事件/异常检测中的长尾分布问题，基于多实例学习(mil)的弱监督框架，提出了一些分段级方法。他们使用高级类别标签直接学习每个视频...
【技术保护点】
1.一种跨时序融合记忆网络的交通事件检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种跨时序融合记忆网络的交通事件检测方法，其特征在于，所述行为关联记忆网络中，在VST中，模型通过将视频序列的帧作为时间维度的一部分，引入了对时间相关性的建模；每个时间步的输入是一个视频帧，其中每个帧都被划分为空间上的窗口；通过对视频序列中的每个窗口执行自注意力机制，VST能够捕捉时间维度上的动态变化，从而建模视频中的时间相关性；通过对四个阶段VST模块的输出进行多尺度的特征融合，并采用非卷积下采样算法与其结合进行更加深入的算法，同时保留详细的时空特征。>
3.根据权利...
【技术特征摘要】
1.一种跨时序融合记忆网络的交通事件检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种跨时序融合记忆网络的交通事件检测方法，其特征在于，所述行为关联记忆网络中，在vst中，模型通过将视频序列的帧作为时间维度的一部分，引入了对时间相关性的建模；每个时间步的输入是一个视频帧，其中每个帧都被划分为空间上的窗口；通过对视频序列中的每个窗口执行自注意力机制，vst能够捕捉时间维度上的动态变化，从而建模视频中的时间相关性；通过对四个阶段vst模块的输出进行多尺度的特征融合，并采用非卷积下采样算法与其结合进行更加深入的算法，同时保留详细的时空特征。
3.根据权利要求2所述的一种跨时序融合记忆网络的交通事件检测方法，其特征在于，利用vst模块中的时间编码部分，通过将时间序列的每个时间步的空间特征作为输入，并通过自注意力机制来捕获帧与帧之间的的短期依赖关系，这允许模型关注先前和当前帧中的相关信息，以便更好地理解视频中的上下文信息；其中，两个连续的vstblocks的计算方法如式(1)所示：
4.根据权利要求3所述的一种跨时序融合记忆网络的交通事件检测方法，其特征在于，vst的多尺度融合结构，其中在特征提取部分获取多个不同大小的特征，并在每个阶段对特征进行特殊的局部处理，经过第一次patchmerging和卷积操作后，将特征大小更改为输入图像的四分之一，之后总共通过四个transformer模块，每个模块再次通过特征大小更改为二分之一，保留每个模块的输出，最后将多个特征模块进行融合，以获得最佳效果，计算方式如式(2)所示：
5.根据权利要求4所述的一种跨时序融合记忆网络的交通事件检测方法，其特征在于，异常事件检测等计算机视觉问题需要处理输入之间的时间依赖性，并对短期或长期序列进行建模；经过行为关联记忆网络处理的输出在经过自适应平均池化三维层后，最终进入到分级头的内部；该过程由一系列归一化层、线性层和dropout层交替组成来进行；在最后...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。