一种面向高速大雾场景的时序多模态大模型事件理解方法技术

本发明专利技术涉及智慧交通技术领域，公开了一种面向高速大雾场景的时序多模态大模型事件理解方法，第一步，将高速场景的视频流按照时间顺序拆分为独立的帧序列，并进行数据预处理，第二步，将视频时序数据输入去雾网络进行处理，第三步，将去雾后的视频数据与相关文本数据结合，形成时序+文本的多模态数据输入，第四步，利用双尺度节点描述时序‑语言的层次结构，实现结构对齐，第五步，使用有向边引导时序数据和语言提示之间的逻辑关系，实现逻辑对齐，第六步，将处理后的多模态数据输入事件理解模块，识别并分类场景中的各类事件，实现语义理解。

【技术实现步骤摘要】

本专利技术涉及智慧交通，尤其涉及一种面向高速大雾场景的时序多模态大模型事件理解方法。

技术介绍

1、在高速公路等高速行驶场景中，浓雾天气对交通安全构成重大威胁。由于大雾导致能见度急剧下降，驾驶员难以及时发现前方车辆、障碍物或道路标识，显著增加了追尾碰撞、同向刮擦及车辆冲出路外等事故的风险。现有应对策略主要依赖限速、封闭道路等被动防护手段，虽能在一定程度上保障安全，但严重降低了道路通行效率，难以满足现代交通系统对安全与效率双重需求的技术平衡。

2、在技术层面，传统的事件理解方法多依赖于单一模态的数据，如视频或传感器信息。然而，在复杂环境(如大雾天气)中，单一模态的数据可能受到严重干扰，难以提供可靠的信息，导致环境感知与事件判断的准确性大幅下降。例如，视频数据可能因雾霾遮挡丢失目标细节，雷达信号可能因多径效应产生误检，单一模态系统的可靠性难以保障。

3、为突破上述局限，多模态数据融合技术逐渐成为研究热点。通过整合视频、音频、文本等多源异构数据，系统可捕捉单一模态难以辨识的微弱特征(如雾天中车辆鸣笛声与尾灯闪烁的关联)，从而提升对复杂场景本文档来自技高网...

【技术保护点】

1.一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤S1具体包括：

3.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤S2具体包括：

4.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤S3具体包括：

5.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤S4具体包括：

6...

【技术特征摘要】

1.一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤s1具体包括：

3.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤s2具体包括：

4.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤s3具体包括：

5.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，其特征在于：所述步骤s4具体包括：

6.根据权利要求1所述的一种面向高速大雾场景的时序多模态大模型事件理解方法，...

【专利技术属性】
技术研发人员：张子钰，彭梓熙，王骋程，崔志勇，孔德兰，李睿楷，毕玉峰，范一哲，王梓赫，于海洋，
申请(专利权)人：山东高速集团有限公司，
类型：发明
国别省市：