一种基于机器学习的路口滞留事件检测方法及系统技术方案

本发明专利技术涉及一种基于机器学习的路口滞留事件检测方法及系统，属于计算机视觉领域，路口滞留事件检测方法包括：采集设定时间段内待测路口的连续多帧图像；根据各帧图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息；针对第i帧图像，根据第i帧图像及相邻的前三帧图像中的各车辆目标框的位置信息和速度信息，得到第i帧图像的多维特征向量，i>3；基于滞留检测模型，根据第i帧图像的多维特征向量，确定第i帧图像对应的时间点下待测路口的滞留状态；根据各时间点下待测路口的滞留状态，确定待测路口的滞留事件。确定的多维特征向量在前后帧间具有连续性和鲁棒性，可降低预测结果的误判，提高了路口滞留事件检测的精准度。度。度。

【技术实现步骤摘要】
一种基于机器学习的路口滞留事件检测方法及系统


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种基于机器学习的路口滞留事件检测方法及系统。

技术介绍

[0002]对于交通拥堵，国内外学者针对不同的角度给出了不同的定义，总体来说，交通拥堵就是交通需求超过了交通供给的一种交通运行状况，车辆在无信号灯控制的交叉路口外车行道上受阻且排队长度超过250m，或在信号灯控制的交叉路口3次绿灯时未通过路口的车辆所在的路口定义为拥堵路口；拥堵路段则定义为车辆在车行道上受阻且排队长度超过1km的状态。
[0003]目前已有的交通状态(包括交通拥挤)检测算法大致可分为间接与直接两种方式，间接检测方式是通过上下游断面的车流量、占有率和延迟时间等参数进行交通状态判断的一种方法。直接检测方式是通过直接的交通状态检测算法或人工监控手段来检测交通状态，典型代表是基于视频图像的交通状态检测方法。
[0004]但是，在实际场景中的交通滞留状态是一个动态的变化过程，而现有的无论是直接还是间接的滞留检测技术方案大多仅对单一时间节点下的状态做分类判断，没有考虑到前后帧之间的信息关联，从而导致算法的鲁棒性较差，在一些特殊场景下容易发生误报或漏报。

技术实现思路

[0005]本专利技术的目的是提供一种基于机器学习的路口滞留事件检测方法及系统，可提高检测精准度，降低实际场景中发生的滞留误报。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种基于机器学习的路口滞留事件检测方法，所述基于机器学习的路口滞留事件检测方法包括：
[0008]采集设定时间段内待测路口的连续多帧图像；
[0009]根据各帧图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息；所述车辆目标框为预先在各帧图像中针对各车辆标定的车辆图像框；
[0010]针对第i帧图像，根据所述第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧图像的多维特征向量，i>3；
[0011]基于滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的时间点下待测路口的滞留状态；所述滞留状态为疏通或滞留；
[0012]根据各时间点下待测路口的滞留状态，确定所述时间段内待测路口的滞留事件；
[0013]所述滞留事件为一个滞留事件的开始到一个滞留事件的结束；其中，所述待测路口的滞留状态从疏通变为滞留时，为一个滞留事件的开始；所述待测路口的滞留状态从滞留变为疏通时，为一个滞留事件的结束。
[0014]可选地，所述根据各帧图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息，具体包括：
[0015]根据任一帧图像，确定图像坐标系与真实坐标系对应的空间投影关系；
[0016]针对每帧图像，根据所述空间投影关系及所述图像中每个车辆目标框的图像坐标，确定对应车辆目标框的图像坐标在真实坐标系下的位置信息；
[0017]根据相邻两帧图像中的同一车辆目标框的图像坐标在真实坐标系下移动的距离，以及两帧图像间的时间差，得到所述车辆目标框在真实坐标系下在两帧图像对应的时间点内的速度信息。
[0018]可选地，所述根据任一帧图像，确定图像坐标系与真实坐标系对应的空间投影关系，具体包括：
[0019]在任一图像中标定路面平面内任意四个不在一条直线上的图像坐标；
[0020]获取待测路口与四个图像坐标对应的真实坐标；
[0021]根据四对对应的图像坐标及真实坐标，确定空间投影关系。
[0022]可选地，所述针对第i帧图像，根据所述第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧图像的多维特征向量，i>3，具体包括：
[0023]将第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像均等比划分为四个区域；
[0024]针对每个区域，根据所述区域的各车辆目标框的位置信息和速度信息，得到所述区域的八个特征向量；所述八个特征向量包括车辆数量、车辆横向平均速度、车辆纵向平均速度、车道区域面积、车辆检测框与车道的平均宽度比、车辆检测框与车道的平均高度比、车流量变化速率以及画面稳定度；
[0025]将第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像的每个区域的特征向量进行整合，得到多维特征向量。
[0026]可选地，所述基于滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的时间点下待测路口的滞留状态，具体包括：
[0027]获取待测路口的连续多帧历史图像；
[0028]根据各帧历史图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息；
[0029]针对第i帧历史图像，根据所述第i帧历史图像、第i
‑
1帧历史图像、第i
‑
2帧历史图像以及第i
‑
3帧历史图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧历史图像的多维特征向量，i>3；
[0030]根据第i帧历史图像的多维特征向量，确定对应的滞留状态预测置信度；
[0031]根据各帧历史图像的多维特征向量及对应的滞留状态预测置信度，对随机森林分类器进行训练，得到滞留检测模型；
[0032]基于所述滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的滞留状态预测置信度；
[0033]根据所述第i帧图像对应的滞留状态预测置信度，确定所述第i帧图像对应的时间点下待测路口的滞留状态。
[0034]可选地，所述基于滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的时间点下待测路口的滞留状态，还包括：
[0035]基于所述滞留检测模型确定所述第i帧图像对应的滞留状态预测置信度之后，对所述第i帧图像对应的滞留状态预测置信度进行平滑处理，得到处理后的滞留状态预测置信度；处理后的滞留状态预测置信度用于确定第i帧图像对应的时间点下待测路口的滞留状态。
[0036]可选地，根据以下公式，得到处理后的滞留状态预测置信度：
[0037]Score'
i
＝r
×
Score
i
+(1
‑
r)
×
Score'
i
‑1,i＞4；
[0038]Score'4＝Score4；
[0039]其中，Score'
i
是第i帧图像的处理后的滞留状态预测置信度，Score
i...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的路口滞留事件检测方法，其特征在于，所述基于机器学习的路口滞留事件检测方法包括：采集设定时间段内待测路口的连续多帧图像；根据各帧图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息；所述车辆目标框为预先在各帧图像中针对各车辆标定的车辆图像框；针对第i帧图像，根据所述第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧图像的多维特征向量，i>3；基于滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的时间点下待测路口的滞留状态；所述滞留状态为疏通或滞留；根据各时间点下待测路口的滞留状态，确定所述时间段内待测路口的滞留事件；所述滞留事件为一个滞留事件的开始到一个滞留事件的结束；其中，所述待测路口的滞留状态从疏通变为滞留时，为一个滞留事件的开始；所述待测路口的滞留状态从滞留变为疏通时，为一个滞留事件的结束。2.根据权利要求1所述的基于机器学习的路口滞留事件检测方法，其特征在于，所述根据各帧图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息，具体包括：根据任一帧图像，确定图像坐标系与真实坐标系对应的空间投影关系；针对每帧图像，根据所述空间投影关系及所述图像中每个车辆目标框的图像坐标，确定对应车辆目标框的图像坐标在真实坐标系下的位置信息；根据相邻两帧图像中的同一车辆目标框的图像坐标在真实坐标系下移动的距离，以及两帧图像间的时间差，得到所述车辆目标框在真实坐标系下在两帧图像对应的时间点内的速度信息。3.根据权利要求2所述的基于机器学习的路口滞留事件检测方法，其特征在于，所述根据任一帧图像，确定图像坐标系与真实坐标系对应的空间投影关系，具体包括：在任一图像中标定路面平面内任意四个不在一条直线上的图像坐标；获取待测路口与四个图像坐标对应的真实坐标；根据四对对应的图像坐标及真实坐标，确定空间投影关系。4.根据权利要求1所述的基于机器学习的路口滞留事件检测方法，其特征在于，所述针对第i帧图像，根据所述第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧图像的多维特征向量，i>3，具体包括：将第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像均等比划分为四个区域；针对每个区域，根据所述区域的各车辆目标框的位置信息和速度信息，得到所述区域的八个特征向量；所述八个特征向量包括车辆数量、车辆横向平均速度、车辆纵向平均速度、车道区域面积、车辆检测框与车道的平均宽度比、车辆检测框与车道的平均高度比、车流量变化速率以及画面稳定度；将第i帧图像、第i
‑
1帧图像、第i
‑
2帧图像以及第i
‑
3帧图像的每个区域的特征向量进行整合，得到多维特征向量。5.根据权利要求1所述的基于机器学习的路口滞留事件检测方法，其特征在于，所述基于滞留检测模型，根据所述第i帧图像的多维特征向量，确定所述第i帧图像对应的时间点下待测路口的滞留状态，具体包括：
获取待测路口的连续多帧历史图像；根据各帧历史图像，得到每个车辆目标框在真实坐标系下的位置信息和速度信息；针对第i帧历史图像，根据所述第i帧历史图像、第i
‑
1帧历史图像、第i
‑
2帧历史图像以及第i
‑
3帧历史图像中的各车辆目标框的位置信息和速度信息，得到所述第i帧历史图像的多维特征向量，i>3；根据第i帧历史图像的多维特征向量，确定对应的滞留状态预测置信度；根据各帧历史图像的多维特征向量及对应的滞留状态预测置信度，对随机森林分类器进行训练，得到滞留检测模型；基于所述滞留检测模型，根据所述第i帧图像的多维...

【专利技术属性】
技术研发人员：汪志涛，胡健萌，许乐，倪红波，李汪，唐崇伟，
申请(专利权)人：上海智能交通有限公司，
类型：发明
国别省市：