一种针对复杂监控场景的多车道车流量检测方法技术

本发明专利技术公开了一种针对复杂监控场景的多车道车流量检测方法，步骤为：步骤1，取得实时监控视频流，提取运动前景图像；步骤2，获取大致行车区域，进行膨胀处理，得到道路区域；步骤3，提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤4，跟踪图像中的车辆，获得各车辆目标的边界框以及轨迹信息；步骤5，利用车辆分布密度估计网络得到车辆分布密度信息；步骤6，基于分布密度信息获得实际车辆数量；步骤7，划定虚拟检测线，并进行车辆计数，得到车流量统计结果。本发明专利技术结合多目标跟踪和车辆分布密度热图对场景中的车流量进行检测，提升了复杂拥堵场景中车辆检测精度。复杂拥堵场景中车辆检测精度。复杂拥堵场景中车辆检测精度。

【技术实现步骤摘要】
一种针对复杂监控场景的多车道车流量检测方法


[0001]本专利技术涉及智能交通系统和图像处理技术的
，具体公开了一种针对复杂监控场景的多车道车流量检测方法。

技术介绍

[0002]随着现代化城市规模的不断发展壮大，城市机动车保有量逐年升高，据公安部统计，2019年全国新注册登记机动车已有3214万辆，全国机动车保有量到达3.48亿量。各类因事故，复杂交通场景或异常天气而导致的拥堵也愈发平常，同时，车辆与交通道路带来的巨大海量数据信息为城市智慧交通系统建设提供了基础信息资源，也加快了对于系统建设的迫切需求，城市道路的实时车流量统计是智慧交通系统中最为基础环节。
[0003]早期的车流量计数监控系统皆需要依靠人力进行监测与分析，或是依靠特殊的传感器进行检测，人力监测不但费时而且效率低下，而传感器检测又需要车辆对各种检测传感器的支持，普及困难。随着机器视觉技术的发展，开始逐渐衍生出各种依靠机器视觉进行的监控视频分析，例如通过帧差法检测运动物体并计数的方式统计车流量。但此类方法鲁棒性较差，且针对不同场景需要人工进行检测区域划定，故而普适性较弱。现有技术中有对运动车辆检测的车流量统计方法，如公开号为CN106952474A公开了一种基于运动车辆检测的车流量统计方法，具体方法为：首先利用多尺度的形态学算子进行图像预处理，再结合背景实时更新、背景差分和边缘梯度差分检测出车辆目标，从而获取车辆目标的二值化图像；最后根据二值化图像，通过双阈值和车道检测线圈的状态转变方法进行单车道或多车道的车流量统计，实现了对车辆流量的自动统计，但是其统计的精确度不高，无法适应复杂环境。公开号为CN111932908A公开了一种基于深度学习的转向比及车流量统计方法，具体包括1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取实时视频流；4)检查相机工作状态；5)使用卷积神经网络模型对兴趣区域进行车辆目标检测；6)车辆目标跟踪；7)车道转向比统计；8)车流量统计，主要考虑到车辆转弯时，车辆的边界框变化大的特点，提出了车辆转弯时宽松化跟踪阈值的方法，以缓解目标跟踪丢失的情况。

技术实现思路

[0004]为了解决上述问题，本专利技术提供了一种针对复杂监控场景的多车道车流量检测方法，利用深度学习在面对复杂环境时的优势，解决在各种不同场景环境下中的拥堵时段，雨雪天气，夜间等场景下的车流量统计问题。
[0005]为了达到上述目的，本专利技术是通过以下技术方案来实现的：本专利技术是一种针对复杂监控场景的多车道车流量检测方法，包括以下步骤：步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；
步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果。
[0006]本专利技术的进一步改进在于：步骤2的具体处理步骤如下：步骤2.1，获取上一步输出的实时视频帧的前景图像；步骤2.2，基于图像透视原理对前景图像做自适应膨胀处理：其中为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标， m，n为卷积核的宽与高，w，h为前景图像的宽与高，为设定系数；步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像构成前景图像集合M,通过前景图像集合M合成道路区域。
[0007]步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。
[0008]本专利技术的进一步改进在于：步骤3的具体处理步骤如下：步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道。
[0009]本专利技术的进一步改进在于：步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布，对任意车辆的边界框转换为二维高斯分布式为：
其中为第i辆车辆的中心点，，分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为的空白热图标签上，其中由于互不相关，故取0；步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：其中表示正样本，即与属于同一ID的目标，而为负样本，即与不属于同一ID的目标，表示正类的权重，表示负类的权重，为所选样本批次大小；步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息。
[0010]本专利技术的进一步改进在于：步骤5的具体步骤如下：步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：其中是图像块所有像素的平均值，是图像像素值的方差，为防止分母为0的常量；步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图。
[0011]本专利技术的进一步改进在于：步骤6的具体操作如下：步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：
其中，分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，，为该目标框左上角坐标，为相应坐标点处密度值，对于通常非密集状态时边界框的；步骤6.3，利用积分计算结果更新实例所代表的车辆数目。
[0012]本专利技术的进一步改进在于：步骤7具体步骤如下：步骤7.1，根据步骤3.3所获得的车道区域得到车道边界线与图像边界的相交位置；步骤7.2，根据相交点于图像中的纵向位置根据所设计逻辑划定虚拟检测线；步骤7.3，获取经过虚拟检测线的轨迹段相应实例所代表的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对复杂监控场景的多车道车流量检测方法，其特征在于：包括以下步骤：步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果。2.根据权利要求1所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：步骤2的具体处理步骤如下：步骤2.1，获取上一步输出的实时视频帧的前景图像；步骤2.2，基于图像透视原理对前景图像做自适应膨胀处理：其中为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标，m，n为卷积核的宽与高，w，h为前景图像的宽与高，为设定系数；步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像构成前景图像集合M，通过前景图像集合M合成道路区域；步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界。3.根据权利要求2所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：步骤3的具体处理步骤如下：步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道。4.根据权利要求3所述一种针对复杂监控场景的多车道车流量检测方法，其特征在于：
步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布，对任意车辆的边界框转换为二维高斯分布式为：其中为第i辆车辆的中心点，，分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为的空白热图标签上，其中由于互不相关，故取0；步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：其中表示正样本...

【专利技术属性】
技术研发人员：吴聪，朱凌志，李晓飞，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：