基于无监督预训练和多模态大模型的交通事故识别方法技术

本发明专利技术公开了基于无监督预训练和多模态大模型的交通事故识别方法，包括如下步骤：S1、搜集整理交通监控场景中的视频数据，选取无交通事故发生的视频片段为数据样本，提取视频关键帧，进行掩码自编码器的无监督预训练，重建被随机遮挡的视频片段；S2、计算原始视频与重建视频之间的重建误差评估重建质量，筛选出重建质量较差的关键帧视频片段；本发明专利技术通过掩码自编码器的无监督训练，即使在标注数据有限的情况下，也能够过滤较多的无交通事故片段，快速筛选出可能存在交通异常事件的视频片段，通过构建多模态交通数据对多模态大模型的微调训练，能够提升交通事故在复杂场景下的识别准确率和效率，提供实时警报和详细分析，及时采取应对措施。

【技术实现步骤摘要】

本专利技术涉及交通事故智能识别，具体为基于无监督预训练和多模态大模型的交通事故识别方法。

技术介绍

1、伴随社会经济的迅猛发展与城市化的加速推进，城市居民数量与机动车保有量呈现爆炸式增长，致使道路交通流量急剧攀升，这一现象直接增加了交通事故的发生频率，使之成为影响公共安全的重大隐患，为了能够及时发现交通事故，及时采取措施，目前人们尝试构建大规模且全面覆盖的事故数据集来构建模型，需要模型在训练阶段获取较多的样本数据；

2、但是目前交通事故的低频发生率以及交通事故的多样性，导致数据样本有限，难以从有限的实例中泛化出交通事故的普遍规律，模型的表现会显著下降，因此需要基于无监督预训练和多模态大模型的交通事故识别方法。

技术实现思路

1、本专利技术提供基于无监督预训练和多模态大模型的交通事故识别方法，可以有效解决上述
技术介绍
中提出目前交通事故的低频发生率以及交通事故的多样性，导致数据样本有限，难以从有限的实例中泛化出交通事故的普遍规律，模型的表现会显著下降的问题。

2、为实现上述目的，本专利技术本文档来自技高网...

【技术保护点】

1.基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：所述S1中，进行掩码自编码器的无监督预训练，训练目标是最小化原始视频与重建视频片段之间的重构损失，包括模仿损失和掩码重建损失，其表达式如下：

3.根据权利要求1所述的基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：所述S1中，掩码自编码器的网络结构为：

4.根据权利要求1所述的基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：所述S3中，通过半自动标注的方式，对...

【技术特征摘要】

1.基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于无监督预训练和多模态大模型的交通事故识别方法，其特征在于：所述s1中，进行掩码自编码器的无监督预训练，训练目标是最小化原始视频与重建视频片段之间的重构损失，包括模仿损失和掩码重建损失，其表达式如下：

3.根据权利要求1所述的基于无监督预训练和多模态大模型的交通事故识别方...

【专利技术属性】
技术研发人员：王家奎，熊益，
申请(专利权)人：武汉唯理科技有限公司，
类型：发明
国别省市：