一种融合场景语义信息的高速公路抛洒物检测方法技术

本发明专利技术公开了一种融合场景语义信息的高速公路抛洒物检测方法，构建高速公路抛洒物检测网络模型，所述高速公路抛洒物检测网络模型包括潜在候选框提取模块

【技术实现步骤摘要】
一种融合场景语义信息的高速公路抛洒物检测方法


[0001]本申请属于计算机视觉
，尤其涉及一种融合场景语义信息的高速公路抛洒物检测方法
。

技术介绍

[0002]近年来，高速公路在交通物流中发挥着越来越大的作用，在很多路段上的通行车辆中货车占比很高
。
然而高速公路上的抛洒物却严重影响了行车安全，成为当前高速公路上引发交通事故的主要原因之一
。
同时，在当前高速公路抛洒物处置过程中，一直存在抛洒物及时发现难的问题
。
有以下几方面原因：
①
抛洒物的出现具有随机性
。
很多情况下，在抛洒物事件发生后，司机本人都不知情，更加做不到及时报警
。
②
由于当前视频监控技术的条件限制，特别是在夜间
、
雨天等特殊条件下，很难通过监控发现
。
③
常规的路面巡察效率低下，特别是对巡察间隙出现的抛洒物无法及时发现
。
幸运的是，随着计算机视觉技术的不断进步，使用摄像头采集的实时图像信息来检测抛洒物事件逐渐变为现实，这对抛洒物的及时发现和后续处置有着重要意义
。
[0003]高速公路抛洒物是指车辆正常行驶过程中遗落在路面上的货物或者自然脱落的车辆零部件等
。
道路上的抛洒物是行车安全的主要隐患之一，其会引起道路拥堵甚至引发新的交通事故，如何快速检测
、
定位
、
处置路面抛洒物，一直以来都是困扰高速公路相关职能部门的一个重大问题，但由于抛洒物没有统一的视觉图像特征，给目标检测算法带来巨大挑战
。
[0004]高速公路抛洒物有以下几个特点：
(1)
现存在高速公路抛洒物检测手段普遍采用安装在道路两侧的高清摄像头，其分辨率为
1024*968
大小，隧道外摄像头安装高度为
12
米到
15
米，隧道内摄像头安装高度为8米，对于多数抛洒物，目标大小区域小于
96x96
个像素点，有些甚至小于
32x32
个像素点，属于典型的小目标甚至是微小目标
。(2)
高速道路抛洒物种类数繁多，材质
、
形状
、
大小等特点不尽相同，同时由于路面场景复杂，易受光线
、
阴影
、
灯光影响，不具有图像意义上的通用特征，给抛洒物检测模型带来巨大挑战
。(3)
由汽车零部件组成的抛洒物如轮胎
、
车辆反光镜等，其结构
、
形状和纹理跟场景中路面标志线
、
交通设施及正常行驶的车辆目标的部件容易融为一体，此类抛洒物检测目标与背景边缘梯度往往不能明显区分，尤其在恶劣环境下，更容易产生二义性问题
。

技术实现思路

[0005]本申请的目的是提出一种融合场景语义信息的高速公路抛洒物检测方法，以克服上述
技术介绍
中所提出的技术问题
。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种融合场景语义信息的高速公路抛洒物检测方法，包括：
[0008]构建高速公路抛洒物检测网络模型，所述高速公路抛洒物检测网络模型包括潜在候选框提取模块
、
融合场景语义信息的非抛洒物抑制模块和自适应候选框筛选模块；
[0009]采用训练样本训练所述高速公路抛洒物检测网络模型，采用训练好的高速公路抛洒物检测网络模型对待检测图像进行检测，输出检测结果；
[0010]其中，在训练所述高速公路抛洒物检测网络模型，或采用训练好的高速公路抛洒物检测网络模型对待检测图像进行检测时，所述高速公路抛洒物检测网络模型对输入的训练样本图像或待检测图像，执行如下操作：
[0011]将训练样本图像或待检测图像输入到潜在候选框提取模块，提取出潜在候选框集合；
[0012]将潜在候选框集合输入至融合场景语义信息的非抛洒物抑制模块，根据高速公路场景下的物体图像文本描述进行匹配，对不属于抛洒物的候选框进行抑制，得到初步抛洒物候选框集合；
[0013]将初步抛洒物候选框集合输入至自适应候选框筛选模块，根据抛洒物图像特点剔除远端候选框，得到最终抛洒物候选框集合即检测结果
。
[0014]进一步的，所述将训练样本图像或待检测图像输入到潜在候选框提取模块，提取出潜在候选框集合，包括：
[0015]采用目标检测模型对输入图像进行检测，得到候选框；
[0016]筛选出置信度大于检测阈值
α
的候选框，组合成数量为
n1的潜在候选框集合
[0017]进一步的，所述融合场景语义信息的非抛洒物抑制模块，执行如下操作：
[0018]对潜在候选框集合中每一个潜在候选框进行大小调整，得到新的潜在候选框集合；
[0019]将新的潜在候选框集合与预先创建的高速公路场景下的物体图像文本描述通过
CLIP
模型进行文本图像匹配，得到每一潜在候选框与各文本描述匹配程度；
[0020]选取匹配矩阵中与文本描述中抛洒物匹配程度超过阈值的候选框，组成初步抛洒物候选框集合
。
[0021]进一步的，所述对潜在候选框集合中每一个潜在候选框进行大小调整，采用公式表示如下：
[0022][0023][0024][0025][0026]其中，
(x1,y1)
为潜在候选框的左上角坐标，
(x2,y2)
为潜在候选框的右下角坐标，
σ
为候选框调整倍数，
img_width
为训练样本图像或待检测图像的宽度，
img_height
为训练样本图像或待检测图像的高度，为调整后候选框左上角坐标，为调整后候选框右下角坐标
。
[0027]进一步的，所述根据抛洒物图像特点剔除远端候选框，得到最终抛洒物候选框集合，包括：
[0028]根据抛洒物图像特点，确定远端候选框；
[0029]将初步抛洒物候选框集合中位于图像远端的远端候选框剔除，得到最终抛洒物候
选框集合
。
[0030]进一步的，在训练所述高速公路抛洒物检测网络模型时，采用解耦式交并比训练方法，包括：
[0031]在训练的任意轮次，将目标检测模型中输出的候选框集合表示为
ρ
＝
{
ρ1,
ρ2,...,
ρ
m
}
，其中纯度集合表示为其中完成度集合表示为对于任意一个潜在候选框
p∈
ρ
，定义纯度
pu(p)
和完整度
In(p)
如下：
[0032][0033][0034]其中，
area(p)
为候选框
p
...

【技术保护点】

【技术特征摘要】
1.
一种融合场景语义信息的高速公路抛洒物检测方法，其特征在于，所述融合场景语义信息的高速公路抛洒物检测方法，包括：构建高速公路抛洒物检测网络模型，所述高速公路抛洒物检测网络模型包括潜在候选框提取模块
、
融合场景语义信息的非抛洒物抑制模块和自适应候选框筛选模块；采用训练样本训练所述高速公路抛洒物检测网络模型，采用训练好的高速公路抛洒物检测网络模型对待检测图像进行检测，输出检测结果；其中，在训练所述高速公路抛洒物检测网络模型，或采用训练好的高速公路抛洒物检测网络模型对待检测图像进行检测时，所述高速公路抛洒物检测网络模型对输入的训练样本图像或待检测图像，执行如下操作：将训练样本图像或待检测图像输入到潜在候选框提取模块，提取出潜在候选框集合；将潜在候选框集合输入至融合场景语义信息的非抛洒物抑制模块，根据高速公路场景下的物体图像文本描述进行匹配，对不属于抛洒物的候选框进行抑制，得到初步抛洒物候选框集合；将初步抛洒物候选框集合输入至自适应候选框筛选模块，根据抛洒物图像特点剔除远端候选框，得到最终抛洒物候选框集合即检测结果
。2.
根据权利要求1所述的融合场景语义信息的高速公路抛洒物检测方法，其特征在于，所述将训练样本图像或待检测图像输入到潜在候选框提取模块，提取出潜在候选框集合，包括：采用目标检测模型对输入图像进行检测，得到候选框；筛选出置信度大于检测阈值的候选框，组合成潜在候选框集合
。3.
根据权利要求1所述的融合场景语义信息的高速公路抛洒物检测方法，其特征在于，所述融合场景语义信息的非抛洒物抑制模块，执行如下操作：对潜在候选框集合中每一个潜在候选框进行大小调整，得到新的潜在候选框集合；将新的潜在候选框集合与预先创建的高速公路场景下的物体图像文本描述通过
CLIP
模型进行文本图像匹配，得到每一潜在候选框与各文本描述匹配程度；选取匹配矩阵中与文本描述中抛洒物匹配程度超过阈值的候选框，组成初步抛洒物候选框集合
。4.
根据权利要求3所述的融合场景语义信息的高速公路抛洒物检测方法，其特征在于，所述对潜在候选框集合中每一个潜在候选框进行大小调整，采用公式表示如下：所述对潜在候选框集合中每一个潜在候选框进行大小调整，采用公式表示如下：所述对潜在候选框集合中每一个潜在候选框进行大小调整，采用公式表示如下：所述对潜在候选框集合中每一个潜在候选框进行大小调整，采用公式表示如下：其中，
(x1,y1)
为潜在候选框的左上角坐标，
(x2,y2)
为潜在候选框的右下角坐标，

【专利技术属性】
技术研发人员：李保，林朝晖，沈航，朱熙豪，邵奇可，颜世航，叶文武，郑泖琛，
申请(专利权)人：浙江省机电设计研究院有限公司，
类型：发明
国别省市：