基于级联差异感知模型的高速公路抛洒物检测方法技术

本发明专利技术公开了一种基于级联差异感知模型的高速公路抛洒物检测方法，步骤如下：对高速公路视频进行背景建模提取前景再进行数学形态学处理，获得前景候选框；去除面积过小过大、不在路面上、被YOLO网络模型识别为人车的前景候选框；使用IOU目标跟踪算法求出静止超过2s的前景候选框；将当前帧的中值图像与背景图像输入到差异感知模型中，得到差异区域并生成差异框；通过最优化算法保留与差异框匹配的前景候选框；将前景候选框图像输入路面与非路面二分类网络，将分类为非路面的前景候选框判定为抛洒物目标框，在画面中标示。本发明专利技术通过背景建模提取前景，再通过一系列条件判断筛选出抛洒物，在实际场景中验证了本发明专利技术的有效性。在实际场景中验证了本发明专利技术的有效性。在实际场景中验证了本发明专利技术的有效性。

【技术实现步骤摘要】
基于级联差异感知模型的高速公路抛洒物检测方法


[0001]本专利技术涉及目标检测
，具体涉及基于级联差异感知模型的高速公路抛洒物检测方法。

技术介绍

[0002]抛洒物检测是目标检测领域的一个重要分支。利用数字图像来进行抛洒物检测在生产生活中具有重要意义，尤其是在高速公路的场景下。高速公路上的抛洒物检测，利用公路摄像头的监控视频，及时、自动地发现抛洒物，尽可能地减少道路安全隐患，提升高速公路行驶的安全性。
[0003]目前国内外对高速公路抛洒物检测的研究较少，且大多数是使用深度学习的方法。基于深度学习的方法需要有大量的数据集进行训练，但当面对训练集中未出现过的抛洒物种类时，这些方法难以检测到抛洒物。现实环境中，抛洒物的种类繁多，理论上无法通过建立包含所有抛洒物种类的训练集对模型进行训练。同时，各类监控视频场景下，由于光照变化、摄像头抖动、雨天路面留下水痕水坑易造成误检。目前亟待提出一种不需要数据驱动训练的并具有检测鲁棒性的高速公路抛洒物检测方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中的上述缺陷，提供基于级联差异感知模型的高速公路抛洒物检测方法，以提高抛洒物检测准确度以及鲁棒性同时减少误检的发生次数。
[0005]本专利技术的目的可以通过采取如下技术方案达到：
[0006]一种基于级联差异感知模型的高速公路抛洒物检测方法，所述抛洒物检测方法包括以下步骤：
[0007]S1、对高速公路监控视频进行背景建模，将建模生成的背景图像与当前帧相减，得到前景二值图；
[0008]S2、对前景二值图进行数学形态学处理，获得前景候选框；
[0009]S3、在获得的前景候选框中去除面积过小和过大的、不在路面上的前景候选框，并使用YOLO网络模型进行人车检测并排除被识别为人车的前景候选框；
[0010]S4、使用IOU目标跟踪算法对每个前景候选框进行跟踪匹配，保留静止2s及以上的前景候选框；
[0011]S5、使用当前帧的前5帧生成中值图像，将中值图像与背景图像输入到差异感知模型中，分别得到前景候选框区域的差异二值图与全图区域的差异二值图；
[0012]S6、将前景候选框区域的差异二值图与全图区域的差异二值图进行按位求“与”的逻辑操作，从求“与”得到的二值图中提取差异框；
[0013]S7、将差异框与前景候选框求IOU值，将IOU值输入到最优化算法中输出前景候选框与差异框是否匹配，保留与差异框匹配的前景候选框；
[0014]S8、将前景候选框输入到路面与非路面二分类网络中，将分类为非路面的前景候选框判定为抛洒物目标框，并在画面中进行标示。
[0015]进一步地，所述步骤S1过程如下：
[0016]采用KNN模型进行背景建模，将高速公路监控视频输入KNN模型，得到KNN模型建模生成的背景图像L，所述由KNN模型建模生成的背景图像L只包含高速公路监控视频的背景内容；
[0017]K最近邻算法(K
‑
Nearest Neighbor,KNN)是基于统计学的一种分类算法。其原理是假定一个样本在特征空间中，它的最邻近k个样本基本归于一个类，就可以断定该样本属于此类，并且该样本具有该类的所有属性；
[0018]KNN模型(见文献：Zivkovic Z,Van Der Heijden F.Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern recognition letters,2006,27(7):773
‑
780.)建模生成背景图像的基本原理是：结合无参数概率密度估计与KNN分类的思想，实现前景目标变化较小的场景下背景模型的建立，KNN模型在接受输入的视频帧图像后，生成对应的背景图像L，背景图像L中只包含视频的背景内容；
[0019]将当前帧R与KNN模型建模生成的背景图像L使用帧差法进行相减，可获得差分图像D＝R
‑
L，选择一个阈值T将差分图像二值化，得到前景二值图，帧差法的计算过程如下：
[0020]D
m
(x,y)＝|f
A
(x,y)
‑
f
B
(x,y)|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式1)
[0021]其中D
m
(x,y)为差分图像中位于横坐标为x、纵坐标为y的位置处像素点的值，f
A
(x,y)与f
B
(x,y)为两张不同图像中位于横坐标为x、纵坐标为y的位置处像素点的值，图像二值化的数学描述为：
[0022][0023]通过将当前帧R与KNN模型建模生成的背景图像L进行差分，获得的差分图像D包含运动的前景，如行走的人、车辆、从车辆中掉落于路面的抛洒物。同时，由于视频抖动、光照变化、雨天路面的水痕反光等干扰，部分背景区域噪声也因此出现在前景中。
[0024]进一步地，所述步骤S2过程如下：
[0025]得到差分图像D后，对差分图像D进行数学形态学操作，共计3次，按照顺序依次为1次闭运算、2次腐蚀运算，常用的数学形态学操作包括膨胀运算、腐蚀运算、开运算和闭运算，膨胀运算是将物体的轮廓加以膨胀；腐蚀运算是为了腐蚀物体边缘，开运算是对图像先腐蚀，再膨胀，可以消除小物体，平滑较大物体的边界，闭运算是对图像先膨胀，再腐蚀，主要是为了排除小型空洞，将区域连通起来，形成连通域，按照图像的特点，设计相应的数学形态学操作和顺序，可以去除图像中的噪声，如某些光照变化的噪声，达到去干扰的目的，经过数学形态学操作后，根据前景区域提取矩形框，得到当前帧R中的前景候选框集合O：
[0026]O＝{o1,o2,...,o
n'
,...,o
n
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式3)
[0027]其中o1,o2,...,o
n'
,...,o
n
分别代表第1、第2、
…
、第n'、
…
、第n个前景候选框。
[0028]进一步地，所述步骤S3过程如下：
[0029]得到前景候选框集合O后，虽然已经通过数学形态学操作去除了大部分干扰项，但还是有部分光照变化、相机抖动、雨天路面水痕反光的干扰需要采用其他方法来去除。根据
高速公路抛洒物的实际情况，过小的抛洒物不会对汽车安全行驶产生干扰(如树叶、小纸片等)，而过大的抛洒物理论上不会存在(如汽车、施工车等)，通过计算前景候选框集合O中每个前景的面积，根据事先设定的过小面积判断阈值和过大面积判断阈值，去除面积过小和面积过大的前景候选框，由于道路两旁的花草树木会因刮风而摆动，以及天空中移动的云朵，从而被误判为前景，但抛洒物检测的目标范围为路面区域，不需考虑道路之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联差异感知模型的高速公路抛洒物检测方法，其特征在于，所述抛洒物检测方法包括以下步骤：S1、对高速公路监控视频进行背景建模，将建模生成的背景图像与高速公路监控视频当前帧相减，得到前景二值图；S2、对前景二值图进行数学形态学处理，获得前景候选框；S3、在获得的前景候选框中去除面积过小和过大的、不在路面上的前景候选框，并使用YOLO网络模型进行人车检测并排除被识别为人车的前景候选框；S4、使用IOU目标跟踪算法对每个前景候选框进行跟踪匹配，保留静止2s及以上的前景候选框；S5、使用高速公路监控视频当前帧的前5帧生成中值图像，将中值图像与背景图像输入到差异感知模型中，分别得到前景候选框区域的差异二值图与全图区域的差异二值图；S6、将前景候选框区域的差异二值图与全图区域的差异二值图进行按位求“与”的逻辑操作，从求“与”得到的二值图中提取差异框；S7、将差异框与前景候选框求IOU值，将IOU值输入到最优化算法中输出前景候选框与差异框是否匹配，保留与差异框匹配的前景候选框；S8、将前景候选框输入到路面与非路面二分类网络中，将分类为非路面的前景候选框判定为抛洒物目标框，并在画面中进行标示。2.根据权利要求1所述的基于级联差异感知模型的高速公路抛洒物检测方法，其特征在于，所述步骤S1过程如下：采用KNN模型进行背景建模，将高速公路监控视频输入KNN模型，得到KNN模型建模生成的背景图像L，所述由KNN模型建模生成的背景图像L只包含高速公路监控视频的背景内容，将当前帧R与KNN模型建模生成的背景图像L使用帧差法进行相减，获得差分图像D＝R
‑
L，选择一个阈值T将差分图像二值化，得到前景二值图，帧差法的计算过程如下：Dm(x,y)＝|fA(x,y)
‑
fB(x,y)|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式1)其中D
m
(x,y)为差分图像中位于横坐标为x、纵坐标为y的位置处像素点的值，f
A
(x,y)与f
B
(x,y)为两张不同图像中位于横坐标为x、纵坐标为y的位置处像素点的值，图像二值化的数学描述为：3.根据权利要求2所述的基于级联差异感知模型的高速公路抛洒物检测方法，其特征在于，所述步骤S2过程如下：对差分图像D进行共计3次的数学形态学操作，按照顺序依次为1次闭运算、2次腐蚀运算，经数学形态学操作后，根据前景区域提取矩形框，得到当前帧R中的前景候选框集合O：O＝{o1,o2,...,o
n'
,...,o
n
}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式3)其中o1,o2,...,o
n'
,...，o
n
分别代表第1、第2、
…
、第n'、
…
、第n个前景候选框。4.根据权利要求3所述的基于级联差异感知模型的高速公路抛洒物检测方法，其特征在于，所述步骤S3过程如下：计算前景候选框集合O中每个前景候选框的面积，根据事先设定的过小面积判断阈值
和过大面积判断阈值、去除面积过小和面积过大的前景候选框、不在路面上的前景候选框，并通过YOLO网络模型检测人车，去除包含人车的前景候选框，最终得到前景候选框集合Q：5.根据权利要求4所述的基于级联差异感知模型的高速公路抛洒物检测方法，其特征在于，所述步骤S4过程如下：对每个前景候选框使用IOU目标跟踪算法进行跟踪，定义目标跟踪阈值σ
IOU
，如果被跟踪的前景目标q的前一帧和当前帧的空间重叠程度IOU大于σ
IOU
，则认为是同一个目标，则继续跟踪；定义目标静止阈值σ
static
，目标运动阈值σ
moving
，目标累计静止帧数static
min
，为一个被跟踪的前景目标q分配一个变量static
q
用于记录该前景目标的运动静止状态，如果前一帧存在前景目标q
′
与当前帧中被跟踪的前景目标q之间的空间重叠程度IOU(q,q
′
)≥σIOU，说明为同一个前景目标，同时，如果IOU(q,q
′
)≥σ
static
,则static
q
＝static
q
+1，说明前景目标q静止一帧，如果σ
static
≥IOU(q,q
′
)≥σ
moving
,说明前景目标q处于运动状态，并将static
q
重置为static
q
＝0，如...

【专利技术属性】
技术研发人员：张星明，黄晓丹，林育蓓，王昊翔，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：