基于背景模型与跟踪的高速公路抛洒物检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于背景模型与跟踪的高速公路抛洒物检测方法及装置，方法包括：获取待检测的视频流；背景建模与运动目标检测，从而检测出视频帧图像中的运动目标，根据运动目标检测的结果，GMM生成与帧图像大小一致的二值图像；使用数学形态学对前景检测二值图像进行处理；基于IOU与匈牙利匹配的跟踪算法对各运动目标进行跟踪，基于当前帧的目标检测框与历史帧的目标检测框的IOU值将视频中同一运动目标在不同帧中的检测框进行关联，从而完成对目标的跟踪；融合感知损失函数，将整幅图和候选框内图像的感知图都使用otsu阈值二值化，并进行求与操作获取抛洒物候选目标，对候选目标进行跟踪；利用二分类网络排除路面干扰，提升对抛洒物检测的准确率。升对抛洒物检测的准确率。升对抛洒物检测的准确率。

【技术实现步骤摘要】
基于背景模型与跟踪的高速公路抛洒物检测方法及装置


[0001]本专利技术属于运动目标检测的
，具体涉及一种基于背景模型与跟踪的高速公路抛洒物检测方法。

技术介绍

[0002]随着经济发展，高速公路上客货运输发展迅速，高速公路行车安全也受到更多关注，其中抛洒物是造成高速公路事故的重要原因之一。一般抛洒物的检测大多依靠人工肉眼观测，效率较低，难以为继。为了提高检测效率，现有技术中也有通过高速公路摄像机视频检测实现7*24小时的高效检测，解决这个难题。但是，由于抛洒物种类繁多，在外观上不具有统一特征，因此现有大多抛洒物的检测算法选择先检测出视频的运动目标，再根据抛洒物先运动后静止的运动特征从运动目标中检测出抛洒物。这些抛洒物检测算法虽然对抛洒物具有一定的检测效果，但是受限于算法中的运动目标检测效果以及对目标的跟踪效果，算法的检测准确度还存在上升空间。同时这些算法对高速公路场景下的人、车以及道路外的干扰项的抗干扰能力不强，容易受影响产生误报情况。

技术实现思路

[0003]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于背景模型与跟踪的高速公路抛洒物检测方法及装置，解决了在训练样本特征不明显易混淆的情况下识别准确率低的难题。
[0004]为了达到上述目的，本专利技术采用以下技术方案：
[0005]第一方面，本专利技术提供了一种基于背景模型与跟踪的高速公路抛洒物检测方法，包括下述步骤：
[0006]获取待检测的视频流，将待检测的视频流解码后得到当前视频帧图像，所述当前视频帧图像包括背景图像和运动目标；
[0007]背景建模与运动目标检测，采用预先设立的混合高斯模型GMM对背景图像中每个像素分别使用K个高斯分布进行背景建模，划分出背景图像，将当前视频帧中的图像与背景图像像素进行匹配，从而检测出视频帧图像中的运动目标，根据运动目标检测的结果，GMM生成与帧图像大小一致的二值图像；
[0008]使用数学形态学对前景检测二值图像进行处理，去除二值图像中的噪声；
[0009]基于IOU与匈牙利匹配的跟踪算法对各运动目标进行跟踪，基于当前帧的目标检测框与历史帧的目标检测框的IOU值将视频中同一运动目标在不同帧中的检测框进行关联，从而完成对目标的跟踪；
[0010]融合感知损失函数，将整幅图和候选框内图像的感知图都使用otsu阈值二值化，并进行求与操作获取抛洒物候选目标，对候选目标进行跟踪；
[0011]利用二分类网络排除路面干扰，提升对抛洒物检测的准确率。
[0012]作为优选的技术方案，所述背景建模与运动目标检测具体为：
[0013]参数初始化：对于输入的待检测视频流的第一帧帧图像，取该第一帧帧图像中各像素的值作为背景图像中对应像素点的第一个高斯分布的均值μ
1,1
，同时为该高斯分布设立一个较大的权值ω
1,1
以及方差∑
1,1
，对于各像素点剩余的K
‑
1个高斯分布，将它们的均值设为0，方差初始化为一个较大的值，权值均设为(1
‑
ω
1,1
)/(K
‑
1)；
[0014]背景划分：设在待检测视频流的第t帧时某像素点的K个高斯分布各自的优先级p
i,t
的计算公式为p
i,t
＝ω
i,t
/|σ
i,t
|，其中p
i,t
的值越大，说明该高斯分布权值越大，更适合描述背景内容；另一方面，方差越小，p
i,t
的值越大，代表着在历史帧图像中像素点的值变化不大，所以第t帧属于背景的概率较大；
[0015]运动目标检测：背景划分之后，GMM将输入帧图像的各个像素与前K0个高斯分布进行比较，从而判断该像素是否属于运动目标，若帧图像中某个像素点与背景图像中对应像素点的前K0个高斯分布之一匹配，则认为该像素属于背景像素；否则，将该像素判定为运动目标像素；根据运动目标检测的结果，GMM生成与帧图像大小一致的二值图像，属于运动目标的像素的值为255，显示为白色区域，属于背景区域的像素的值为0，显示为黑色区域，得到二值图；
[0016]GMM参数更新：为使背景模型能够跟上视频中的背景变化，对GMM进行参数更新，若帧图像的某一个像素与背景图像中对应像素的第i个高斯分布成功匹配，则对该高斯分布的参数进行更新，若该像素与对应的K个高斯分布均不匹配，则认为它属于帧图像中新出现的运动目标，为背景图像中的对应像素建立新的高斯分布。
[0017]作为优选的技术方案，在背景划分的步骤中，取排序后的前K0个高斯分布，认为它们描述视频中的背景内容，令：其中D为预先设立的阈值。
[0018]作为优选的技术方案，所述使用数学形态学对前景检测二值图像进行处理，去除二值图像中的噪声，具体为：
[0019]针对可能存在微小的光照变化、视频录制时拍摄设备产生的噪声情况，数学描述如下：
[0020][0021]式中A'为数学形态学处理后的结果，A为待处理的二值图，B1为开运算以及闭运算时使用的探针，为3
×
3的方形结构，B2是膨胀操作中使用的探针；
[0022]针对行驶中的车辆以及少数特殊情况下从车上下来的行人这类对抛洒物检测的干扰，使用YOLOx检测，每隔设定帧抽取一张帧图像输入至预先设立的YOLO网络模型中进行人车检测，得到行人与车辆在图像中的具体位置，通过该位置信息，生成人车检测二值图像；取当前帧图像的各运动目标检测框的中心点，若该中心点位于人车检测二值图中的黑色区域，则在算法程序中将该检测框标记为人车检测框，在后续检测抛洒物的步骤中，这些被标记的检测框将不会被判定为抛洒物；
[0023]针对高速公路的道路外区域可能存在的干扰项，使用语义分割得到道路区域进行排除，对语义分割网络模型的输出部分进行修改，使语义分割结果图像中分类为道路的区域像素值变为[255,255,255]，其余区域像素值变为[0,0,0]，并将该图像变为单通道的灰度图像，从而得到道路分割二值图像。道路分割二值图像中，白色区域为道路区域，黑色区
域则为非道路区域。
[0024]作为优选的技术方案，所述基于IOU与匈牙利匹配的跟踪算法对各运动目标进行跟踪，基于当前帧的目标检测框与历史帧的目标检测框的IOU值将视频中同一运动目标在不同帧中的检测框进行关联，从而完成对目标的跟踪，具体为：
[0025]设对视频当前帧图像的运动目标检测框与历史帧的运动目标检测框进行匹配，设当前帧图像中运动目标检测框的集合为Sc，其中检测框数量为m，历史帧图像运动目标检测框集合为Sh，检测框数量为n，构建代价矩阵C，矩阵中的元素c(i,j)为Sc中第i个检测框与Sh中第j个检测框的IOU值的相反数，其中1≤i≤m,1≤j≤n；若n≠m，则使用0填补代价矩阵中空缺的列或行；对Sc以及Sh的检测框进行匹配，目标为得到的匹配总代价最小，即总的IOU值的相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于背景模型与跟踪的高速公路抛洒物检测方法，其特征在于，包括下述步骤：获取待检测的视频流，将待检测的视频流解码后得到当前视频帧图像，所述当前视频帧图像包括背景图像和运动目标；背景建模与运动目标检测，采用预先设立的混合高斯模型GMM对背景图像中每个像素分别使用K个高斯分布进行背景建模，划分出背景图像，将当前视频帧中的图像与背景图像像素进行匹配，从而检测出视频帧图像中的运动目标，根据运动目标检测的结果，GMM生成与帧图像大小一致的二值图像；使用数学形态学对前景检测二值图像进行处理，去除二值图像中的噪声；基于IOU与匈牙利匹配的跟踪算法对各运动目标进行跟踪，基于当前帧的目标检测框与历史帧的目标检测框的IOU值将视频中同一运动目标在不同帧中的检测框进行关联，从而完成对目标的跟踪；融合感知损失函数，将整幅图和候选框内图像的感知图都使用otsu阈值二值化，并进行求与操作获取抛洒物候选目标，对候选目标进行跟踪；利用二分类网络排除路面干扰，提升对抛洒物检测的准确率。2.根据权利要求1所述的基于背景模型与跟踪的高速公路抛洒物检测方法，其特征在于，所述背景建模与运动目标检测具体为：参数初始化：对于输入的待检测视频流的第一帧帧图像，取该第一帧帧图像中各像素的值作为背景图像中对应像素点的第一个高斯分布的均值μ
1,1
，同时为该高斯分布设立一个较大的权值ω
1,1
以及方差∑
1,1
，对于各像素点剩余的K
‑
1个高斯分布，将它们的均值设为0，方差初始化为一个较大的值，权值均设为(1
‑
ω
1,1
)/(K
‑
1)；背景划分：设在待检测视频流的第t帧时某像素点的K个高斯分布各自的优先级p
i,t
的计算公式为p
i,t
＝ω
i,t
/|σ
i,t
|，其中p
i,t
的值越大，说明该高斯分布权值越大，更适合描述背景内容；另一方面，方差越小，p
i,t
的值越大，代表着在历史帧图像中像素点的值变化不大，所以第t帧属于背景的概率较大；运动目标检测：背景划分之后，GMM将输入帧图像的各个像素与前K0个高斯分布进行比较，从而判断该像素是否属于运动目标，若帧图像中某个像素点与背景图像中对应像素点的前K0个高斯分布之一匹配，则认为该像素属于背景像素；否则，将该像素判定为运动目标像素；根据运动目标检测的结果，GMM生成与帧图像大小一致的二值图像，属于运动目标的像素的值为255，显示为白色区域，属于背景区域的像素的值为0，显示为黑色区域，得到二值图；GMM参数更新：为使背景模型能够跟上视频中的背景变化，对GMM进行参数更新，若帧图像的某一个像素与背景图像中对应像素的第i个高斯分布成功匹配，则对该高斯分布的参数进行更新，若该像素与对应的K个高斯分布均不匹配，则认为它属于帧图像中新出现的运动目标，为背景图像中的对应像素建立新的高斯分布。3.根据权利要求2所述的基于背景模型与跟踪的高速公路抛洒物检测方法，其特征在于，在背景划分的步骤中，取排序后的前K0个高斯分布，认为它们描述视频中的背景内容，令：其中D为预先设立的阈值。4.根据权利要求1所述的基于背景模型与跟踪的高速公路抛洒物检测方法，其特征在
于，所述使用数学形态学对前景检测二值图像进行处理，去除二值图像中的噪声，具体为：针对可能存在微小的光照变化、视频录制时拍摄设备产生的噪声情况，数学描述如下：式中A'为数学形态学处理后的结果，A为待处理的二值图，B1为开运算以及闭运算时使用的探针，为3
×
3的方形结构，B2是膨胀操作中使用的探针；针对行驶中的车辆以及少数特殊情况下从车上下来的行人这类对抛洒物检测的干扰，使用YOLOx检测，每隔设定帧抽取一张帧图像输入至预先设立的YOLO网络模型中进行人车检测，得到行人与车辆在图像中的具体位置，通过该位置信息，生成人车检测二值图像；取当前帧图像的各运动目标检测框的中心点，若该中心点位于人车检测二值图中的黑色区域，则在算法程序中将该检测框标记为人车检测框，在后续检测抛洒物的步骤中，这些被标记的检测框将不会被判定为抛洒物；针对高速公路的道路外区域可能存在的干扰项，使用语义分割得到道路区域进行排除，对语义分割网络模型的输出部分进行修改，使语义分割结果图像中分类为道路的区域像素值变为[255,255,255]，其余区域像素值变为[0,0,0]，并将该图像变为单通道的灰度...

【专利技术属性】
技术研发人员：吕洪燕，薛梦婕，张秀杰，
申请(专利权)人：广州国交润万交通信息有限公司，
类型：发明
国别省市：