一种基于开放词汇检测的高速公路抛洒物检测与分类方法技术

本发明专利技术涉及一种基于开放词汇检测的高速公路抛洒物检测与分类方法，包括以下步骤：根据常见抛洒物类型，构建针对高速公路抛洒物的开放词汇列表；对图像进行分割处理，根据计算的掩码大小，判断并获取抛洒物的潜在目标区域，提取过程中，基于SAM模型，对包含抛洒物的图像进行处理，提取所有可能包含抛洒物的目标区域；通过对比性语言‑图像预训练模型，匹配潜在目标区域的视觉嵌入与开放词汇列表的文本嵌入，通过计算置信度指标，从潜在目标区域中精准提取出抛洒物目标，并通过计算相似度指标，对提取后的每个抛洒物进行分类。与现有技术相比，本发明专利技术能显著降低对数据量的需求，具有更好的泛化能力及鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和智能交通，尤其是涉及一种基于开放词汇检测的高速公路抛洒物检测与分类方法。

技术介绍

1、近年来，高速公路抛洒物已成为引发重大高速公路交通事故的主要诱因之一。准确检测到抛洒物的掉落并对其进行分类，有助于及时预警并清理路面，对于保障高速公路的交通安全具有重要意义。然而，由于抛洒物的种类、体积、位置等具有多样性，且受限于高速公路摄像头的角度与位置，小型抛洒物的检测和分类尤为困难。尤其是在夜间场景下，光照条件差且炫光严重，抛洒物形状、颜色等特征的更加难以辨认。

2、当前大多数抛洒物检测方法如，语义分割、帧差法、背景建模等传统的抛洒物检测方法，主要聚焦于抛洒物的检出而忽略了其类型与性质，对于及时预警帮助不大且准确率较低，检测效果并不好。而少量能够进行分类的深度学习方法能够区分的抛洒物类别受限于初始的人为定义，并且需要大量人工标记的数据进行训练才能得到相对较高的准确率。这些方法针对小型抛洒物和极端环境缺乏适应性，且极大的依赖于人工标记的数据进行训练，难以准确的对抛洒物进行分类，且泛化能力和迁移学习能力较差。p>

本文档来自技高网...

【技术保护点】

1.一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，S1中，具体过程包括：

3.根据权利要求2所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，a1中，所述关键词包括抛洒物的名称、颜色、形状、材料、状态。

4.根据权利要求2所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，a3中，所述关系网络包含上下位关系、相关性、反义关系，并利用抛洒物的颜色、形状、材质、尺度特征建立词汇之间的语义关系网络；<...

【技术特征摘要】

1.一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，s1中，具体过程包括：

3.根据权利要求2所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，a1中，所述关键词包括抛洒物的名称、颜色、形状、材料、状态。

4.根据权利要求2所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，a3中，所述关系网络包含上下位关系、相关性、反义关系，并利用抛洒物的颜色、形状、材质、尺度特征建立词汇之间的语义关系网络；

5.根据权利要求1所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，s2中，具体过程包括：

6.根据权利要求5所述的一种基于开放词汇检测的高速公路抛洒物检测与分类方法，其特征在于，...

【专利技术属性】
技术研发人员：蒲自源，柳思文，庄一帆，王翔，王健，曾冰，
申请(专利权)人：东南大学，
类型：发明
国别省市：