一种基于道路监控视频的城镇道路抛洒物识别方法技术

本发明专利技术公开了一种基于道路监控视频的城镇道路抛洒物识别方法，包括：S1、对城镇道路监控视频进行稳定处理；S2、得到图像感兴趣区域ROI；S3、得到仅包含城镇道路的背景图像；S4、用当前城镇道路的背景图像减去t时刻之前的历史背景图像，得到当前背景与历史背景的差分图；S5、对所述差分图进行数学形态学操作，得到背景图像中的运动物体；S6、将上述运动物体从背景图像中分割出来，排除体积小的运动物体，并将剩余运动物体输入由ImageNet数据集训练过的ResNet模型中，对运动物体的类别进行检测。本方法检测速度快，误检、漏检率低，且对光照变化、相机振动等环境变化具有较强的鲁棒性。化、相机振动等环境变化具有较强的鲁棒性。化、相机振动等环境变化具有较强的鲁棒性。

【技术实现步骤摘要】
一种基于道路监控视频的城镇道路抛洒物识别方法


[0001]本专利技术涉及交通智慧运维
，具体涉及一种基于道路监控视频的城镇道路抛洒物识别方法。

技术介绍

[0002]随着城镇交通网络的不断扩大和车辆数量的急剧增加，交通事故频繁发生，给正常的交通秩序带来了严重损害。车辆抛洒物是发生交通事故的重要原因之一。在车辆行驶过程中，司机突然发现前方出现不明物体时，通常会下意识地紧急制动或者转动方向盘，导致车辆发生追尾、失控、翻车等严重后果，甚至可能引发二次事故，降低城镇道路通行效率，危害人们的人身财产安全。
[0003]目前国内外对抛洒物检测研究较少，主要方法是通过对图像背景进行建模及更新来检测出不属于背景的物体，从而进行车辆及抛洒物的检测。但这种方法对外部环境变化十分敏感，易受雨雪、大风、相机振动等外界影响，造成检测错误。且城镇道路多位于生活区，场景较为复杂，极易产生错误检测。
[0004]随着深度学习的不断发展，越来越多的深度学习模型被用于检测道路抛洒物。深度学习模型通过使用大量标注好的数据集进行训练，可以在对应的测试集中取得较好的检测效果。但道路抛洒物的种类繁多，无法建立包含所有抛洒物种类的数据集，对深度学习模型进行训练。当出现训练集中并未出现过的抛洒物类型时，深度学习模型往往无法进行准确识别。

技术实现思路

[0005]本专利技术的目的在于，提出一种基于道路监控视频的城镇道路抛洒物识别方法，其能够检测到各种类型的抛洒物，更加适合用于实际的城镇交通道路场景。
[0006]为实现上述目的，本申请提出的一种基于道路监控视频的城镇道路抛洒物识别方法，包括：
[0007]S1、对城镇道路监控视频进行稳定处理；
[0008]S2、通过YOLO目标检测算法和帧差法，得到图像感兴趣区域ROI；
[0009]S3、对城镇道路监控视频进行背景建模，得到背景图像，并将所述背景图像与感兴趣区域ROI结合，得到仅包含城镇道路的背景图像；
[0010]S4、用当前城镇道路的背景图像减去t时刻之前的历史背景图像，得到当前背景与历史背景的差分图；
[0011]S5、对所述差分图进行数学形态学操作，得到背景图像中的运动物体；
[0012]S6、将上述运动物体从背景图像中分割出来，排除体积小的运动物体，并将剩余运动物体输入由ImageNet数据集训练过的ResNet模型中，对运动物体的类别进行检测。
[0013]进一步的，所述步骤S1具体实现过程如下：
[0014]通过跟踪图像中的关键点、特征点或纹理，检测图像中的运动，并将这些运动应用
于图像像素，实现视频图像稳定处理。
[0015]进一步的，所述步骤S2具体实现过程如下：
[0016]采用YOLO目标检测算法对车辆进行检测，并获取车辆的行驶轨迹，构建基于车辆行驶轨迹的感兴趣区域掩码ROI；同时，采用帧差法，通过分析监控视频两帧之间的差异，构建基于图像帧差的ROI区域掩码；将上述两个掩码相交，得到最终的图像感兴趣区域ROI。
[0017]进一步的，所述YOLO目标检测算法使用卷积神经网络CNN来实现对输入图像中目标的分类和定位；它将输入图像划分为SxS大小的网格，并为每个网格分配负责检测中心点在网格内的对象；每个网格检测B个边界框及其置信度，其中置信度使用边界框和真实框的IOU来表示边界框包含一个对象的概率和边界框的准确性；每个边界框都有其大小和位置信息，包括中心坐标(x，y)、宽度和高度(w，h)；通过对这些信息进行综合处理，能够准确地输出图像中每个目标的分类和位置。
[0018]进一步的，所述步骤S3具体实现过程如下：
[0019]采用高斯混合模型对城镇道路监控视频进行背景建模，生成背景图像，所述背景图像中只包含城镇道路监控视频的背景内容；同时，将背景图像与S2步骤中所述的感兴趣区域ROI结合，获得仅包含城镇道路的背景图像。
[0020]进一步的，所述步骤S4具体实现过程如下：
[0021]设t时刻之前的历史背景图像帧数为第k帧，其帧图像为f
k
(x,y)；当前城镇道路的背景图像帧数为第(k+1)帧，其帧图像为f
k+1
(x,y)，差分图2值化阈值为T，差分图用D(x,y)表示为：
[0022][0023]进一步的，所述步骤S5具体实现过程如下：
[0024]对所述差分图进行连续的开运算、闭运算，得到背景中运动物体集合O：
[0025]O＝{o1,o2,
…
,o
n
}
[0026]其中，{o1,o2,
…
,o
n
}分别代表第1、第2、
…
、第n个运动物体。
[0027]进一步的，所述步骤S6具体实现过程如下：
[0028]通过设置阈值，对运动物体进行筛选，去除体积小的运动物体，确保体积小的抛洒物不会被检测到；然后，将剩余运动物体从背景图像中分割出来，并输入到使用ImageNet数据集训练过的ResNet模型中，判断运动物体的类别；除汽车、行人可能出现在城市道路上的物体外，其余物体均判定为抛洒物，在对应的图像中将抛洒物用方框框出。
[0029]本专利技术相对于现有技术具有如下的优点及效果：
[0030]1)本专利技术针对城镇交通特点和抛洒物掉后会逐渐融入道路背景这一认识，采用背景帧相减的方式得到ROI区域内背景发生变化的部分，来检测道路抛洒物。最后，使用ImageNet数据集训练的ResNet模型，对物体的类别进行判断。该方法检测速度快，误检、漏检率低，且对光照变化、相机振动等环境变化具有较强的鲁棒性。
[0031]2)本专利技术采用YOLO目标检测算法和帧差法来提取ROI区域，无需预处理和手工提取特征，可直接应用于不同场景和视角，提取监控视频中的城镇交通道路区域。
[0032]3)本专利技术无需额外标注数据集，均使用公共数据集进行训练，且能够检测到各种
类型的抛洒物，更加适合用于实际的城镇交通道路场景。
附图说明
[0033]图1是本专利技术公开的基于道路监控视频的城镇道路抛洒物识别方法流程图。
[0034]图2是本专利技术实施例公开的基于YOLO目标检测算法和帧差法得到的ROI区域示意图。
[0035]图3是本专利技术实施例公开的基于道路监控视频的城镇道路抛洒物识别方法的示例处理步骤图。
[0036]具体实施方法
[0037]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请，即所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
实施例1
[0038]本实施例公开了一种基于道路监控视频的城镇道路抛洒物识别方法，具体包括：
[0039]S1、对城镇道路监控视频进行稳定处理；
[0040]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于道路监控视频的城镇道路抛洒物识别方法，其特征在于，包括：S1、对城镇道路监控视频进行稳定处理；S2、通过YOLO目标检测算法和帧差法，得到图像感兴趣区域ROI；S3、对城镇道路监控视频进行背景建模，得到背景图像，并将所述背景图像与感兴趣区域ROI结合，得到仅包含城镇道路的背景图像；S4、用当前城镇道路的背景图像减去t时刻之前的历史背景图像，得到当前背景与历史背景的差分图；S5、对所述差分图进行数学形态学操作，得到背景图像中的运动物体；S6、将上述运动物体从背景图像中分割出来，排除体积小的运动物体，并将剩余运动物体输入由ImageNet数据集训练过的ResNet模型中，对运动物体的类别进行检测。2.根据权利要求1所述一种基于道路监控视频的城镇道路抛洒物识别方法，其特征在于，所述步骤S1具体实现过程如下：通过跟踪图像中的关键点、特征点或纹理，检测图像中的运动，并将这些运动应用于图像像素，实现视频图像稳定处理。3.根据权利要求1所述一种基于道路监控视频的城镇道路抛洒物识别方法，其特征在于，所述步骤S2具体实现过程如下：采用YOLO目标检测算法对车辆进行检测，并获取车辆的行驶轨迹，构建基于车辆行驶轨迹的感兴趣区域掩码ROI；同时，采用帧差法，通过分析监控视频两帧之间的差异，构建基于图像帧差的ROI区域掩码；将上述两个掩码相交，得到最终的图像感兴趣区域ROI。4.根据权利要求3所述一种基于道路监控视频的城镇道路抛洒物识别方法，其特征在于，所述YOLO目标检测算法使用卷积神经网络CNN来实现对输入图像中目标的分类和定位；它将输入图像划分为SxS大小的网格，并为每个网格分配负责检测中心点在网格内的对象；每个网格检测B个边界框及其置信度，其中置信度使用边界框和真实框的IOU来表示边界框包含一个对象的概率和边界框的准确性；每个边界框都有其大小和位置信息，包括中心坐标(x，y)、宽度和高...

【专利技术属性】
技术研发人员：覃晖，潘盛山，贺一哲，王骞，王吉翀，郑皓煊，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：