基于信息融合的交通波实时检测与跟踪方法技术

本方法涉及一种基于信息融合的交通波实时检测与跟踪方法。首先获取交通视频图像，然后采用Kalman滤波技术，根据前一时刻交通波状态最优估计值获取当前时刻的交通波状态预测值；然后得到当前时刻交通波位置测量值，在相向摄像机之间的可视区域内，每台摄像机采用融合Adaboost分类器的复式伸缩窗算法；在相背摄像机之间的盲区内，基于特征点跟踪法及交通波估计法进行估计；最后，采用加权平均一致性信息融合算法获得当前时刻交通波状态最优估计值，为下一时刻交通波状态预测做准备，在此过程中通过引入各摄像机测量噪声权重，并动态调整各摄像机检测结果可信度来提高交通波定位精度。

【技术实现步骤摘要】
基于信息融合的交通波实时检测与跟踪方法
本专利技术属于机器视觉与智能控制领域，具体涉及一种利用计算机技术、图像处理技术、机器学习技术和模式识别技术等对交通视频监控目标进行检测的专利技术。
技术介绍
交叉口路段上车辆排队与消散过程会产生停车波与启动波这两种交通波，停车波为在信号交叉口处红灯亮时，车辆在停车线前依次停车排队，队尾位置从停车线开始逐步向后移动，形成与车流运动方向相反的波。启动波为绿灯亮后，队头车辆开始启动，队头位置从停车线开始逐步向后移动，形成与车流运动相反的波。准确而实时跟踪包括早晚高峰时段内的交通波有利于效计算车道排队长度和停车延误等交通参数，对进一步优化信号配时方案以缓解交通拥挤具有重要的意义。以往的基于单台摄像机来检测和跟踪排队车辆的队尾和队头位置来获取交通参数的方法存在一些固有缺陷，由于摄像机架设高度有限以及车辆本身的高度会使车辆图像反投影到道路平面上时出现失真。车辆偏离摄像机中心轴程度越大，其检测结果误差越大。目标离摄像机越远，获得的视频图像信息质量越差。同时由于交叉口停车线后车辆相互遮挡严重，使得检测到的队尾或队头实际位置误差会随着排队车辆的增加而增大。虽然卫星遥感图像检测车辆排队可以有效解决车辆遮挡问题，但是由于卫星图像中每辆车所占像素很少并且车辆边缘信息比较模糊，用该方法检测出来的车辆排队长度也不准确，且实时性受到卫星遥感数据采集和传输的限制。提高车辆队头和队尾跟踪精度的方法之一是采用高空垂直拍摄，但在实现上存在困难。另外，通过架设在高位置处摄像机跟踪每辆车的运行轨迹来识别交通波和估计排队长度的检测方法也存在一些缺陷，当周围环境光线比较暗时，很难跟踪每辆车的运行轨迹，并且摄像机架设高度在许多交通路口也会受到限制。另一种方法是在路段上架设多台低视角的摄像机，从而构成视频网络，并在此基础上进行信息融合，既可达到路段全覆盖监视，又可克服摄像机架设高度限制产生的问题，但由于该方法中决策层是最高层次的融合，并且两摄像机之间没有协作，通过两摄像机分别检测的队尾消散点无法达成一致，同时各个摄像机对队尾或者队头位置的检测精度下降也会影响最终的融合结果。
技术实现思路
为了使对交通波的跟踪具有更高的精度和鲁棒性，克服现有交通波检测与跟踪精度低、鲁棒性差及视频网络决策层融合的缺点，本专利技术在单视频交通波检测基础上提出基于视频网络加权一致性信息融合的交通波（主要包括停车波或启动波）实时跟踪方法，从而使任何一台分布式摄像机都可以对本视野范围以内及视野范围以外的交通波进行实时鲁棒检测与跟踪，对进一步优化交通信号配时方案提供决策依据。具体内容如下：一种基于信息融合的交通波实时检测与跟踪方法，基于分布式摄像机网络，所述的分布式摄像机网络是由一系列按一定方式通信相连的摄像机组成，分布式网络共n台摄像机，从道路交叉口开始依次从1到n编号。每两台相邻的摄像机间存在相向关系或相背关系，具有相向关系的两个摄像机为视野范围存在重叠区域的相向摄像机对，具有相背关系的两个摄像机为架设在同一位置的视野范围没有重叠的相背摄像机对，即二者间存在盲区；每台摄像机采用1台计算机作为处理单元，具有独立运算功能。Ni表示可向摄像机i传递信息的摄像机编号集合,当i=1时，N1=2，当1<i<n时，Ni={i-1,i+1}，当i=n时，Nn={n-1}。基于信息融合的交通波实时检测与跟踪方法其特征在于包括以下步骤：1)分布式摄像机网络中的所有摄像机同时拍摄交通视频；2)每台摄像机采用Kalman滤波预测得到t时刻各自跟踪到的交通波的状态预测值以及对应的信息矩阵，计算公式如下，其中，所述的交通波状态是由交通波的位置与波速构成的向量，其中，为第i台摄像机采用Kalman滤波预测得到的t时刻跟踪到的交通波的状态预测值，为第i台摄像机在t时刻计算得到的预测信息矩阵，为第i台摄像机计算得到的t-1时刻的交通波状态最优估计值，为第i台摄像机计算得到的t-1时刻的最优信息矩阵，为状态转换矩阵，Q为状态转换噪声的协方差矩阵；3)计算每台摄像机t时刻交通波位置测量值zi(t)，具体为：当第i台摄像机预测得到t时刻的交通波状态预测值在该摄像机可视区域内，则采用融合Adaboost分类器的复式伸缩窗算法获取摄像机i可视范围内在t时刻的交通波位置测量值zi(t)；当第i台摄像机在t时刻预测得到的交通波状态预测值在第i台摄像机所属的相背摄像机对的盲区内时，根据Adaboost分类器检测出的车辆头部和尾部候选区域内的特征点，对特征点进行分组，将时空特性相同的特征点分在一组，并对相同组内特征点进行三角剖分形成网格图，采用特征点跟踪方法对车辆进行跟踪，计算感兴趣车辆进入与驶出盲区的速度变化，进而根据交通波估计法估计盲区内t时刻的交通波位置测量值zi(t)；4）.采用加权平均一致性信息融合获取最优估计值方法，通过迭代得到t时刻的交通波状态最优估计值和交通波状态最优信息矩阵具体如下：4.1）计算摄像机t时刻检测结果可信度a(t)，在两摄像机重叠的感兴趣区域内，当车辆高度无法忽略时，车辆之间会发生遮挡。情况1：当前时刻没有新的车辆加入队尾。根据摄像机拍摄车流的方向，面对车辆尾部的摄像机检测静止车辆尾部位置的误差比摄像机检测的误差要小，同时该摄像机中通过Adaboost分类器检测出来的静止车辆候选区域可能为排队车辆尾部的可信度高；情况2：当前时刻有新的车辆即将加入队尾。此时在面对车辆尾部的摄像机中，即将加入队尾的运动车辆会对原来队尾中静止车辆发生遮挡，通过步骤3）的方法检测出的停车波位置会向停车线方向移动，降低检测精度。使用队尾静止车辆特征点跟踪方法来确定是否有新车加入车队，只需通过动态调节面对车辆尾部摄像机的检测结果可信度，使得所有摄像机输出的交通波位置测量值更接近于实际值。在分布式网络中，第奇数(2m+1)台摄像机为其视野范围内面对车辆头部的摄像机，第偶数(2m+2)台为其视野范围内面对车辆尾部的摄像机，t时刻面对车辆头部的摄像机可信度为a2m+1(t)，面对车辆尾部的摄像机可信度为a2m+2(t)，m从0开始取值。在初始时刻将所有摄像机检测结果的可信度设为缺省值1，如果根据权利要求步骤3)中通过摄像机无法获取初始时刻交通波位置测量值，则将这台摄像机的检测结果可信度设为0。动态调整摄像机检测结果的可信度过程中，只调节视野范围内面对车辆尾部的摄像机检测结果可信度a2m+2(t)。包含以下步骤：第一步，提取第2m+2台摄像机视野范围内队尾静止车辆不被后面的车辆遮挡时该车尾部的特征点网格图及交通波中停车波位置测量值。第二步，比较当前时刻车辆尾部特征点网格图结构与未发生遮挡时的特征点网格图结构是否相同，判断是否有新车加入队尾，以调整第2m+2台摄像机t时刻的检测结果可信度a2m+2(t)。判断过程分以下两种情况：第1种情况：特征点网格图的结构未发生变化，说明没有新车加入队尾，调整方法分以下几步：第一步，设可信度a2m+2(t)的调整范围为[1,10]，可信度调节步长为l；第二步，判断t时刻停车波位置测量值相对于t-1时刻停车波位置测量值的移动方向与t-1时刻停车波状态最优估计值相对于t-2时刻停车波状态最优估计值的移动方向是否相同。相同，则减小a2m+2(t)，调节步本文档来自技高网...

【技术保护点】
基于信息融合的交通波实时检测与跟踪方法，基于分布式摄像机网络，所述的分布式摄像机网络是由一系列按一定方式通信相连的摄像机组成，分布式网络共有n台摄像机，从道路交叉口开始依次从1到n编号；每两台相邻的摄像机间存在相向关系或相背关系，具有相向关系的两台摄像机为视野范围存在重叠区域的相向摄像机对，具有相背关系的两个摄像机为架设在同一位置的视野范围没有重叠的相背摄像机对，即二者间存在盲区；每台摄像机采用1台计算机作为处理单元，具有独立运算功能；Ni表示可向摄像机i传递信息的摄像机编号集合,当i=1时，N1=2，当1x‾i(t)=Φx^i(t-1)W‾i(t)=(ΦW^i-1(t-1)ΦT+Q)-1其中，为第i台摄像机采用Kalman滤波预测得到的t时刻的交通波状态预测值，为第i台摄像机在t时刻计算得到的预测信息矩阵，为第i台摄像机计算得到的t?1时刻的交通波状态最优估计值，为第i台摄像机计算得到的t?1时刻的最优信息矩阵，Φ=1101为状态转换矩阵，Q为状态转换噪声的协方差矩阵；3)计算每台摄像机t时刻的交通波位置测量值zi(t)，具体为：当第i台摄像机预测得到的t时刻的交通波状态预测值在该摄像机可视区域内时，则采用融合Adaboost分类器的复式伸缩窗算法获取摄像机i在可视范围内在t时刻的交通波位置测量值zi(t)；当第i台摄像机在t时刻预测得到的交通波状态预测值在第i台摄像机所属的相背摄像机对形成的盲区内时，根据Adaboost分类器检测出的车辆头部和尾部候选区域内的特征点，对特征点进行分组，将时空特性相同的特征点分在一组，并对相同组内特征点进行三角剖分形成网格图，采用特征点跟踪方法对车辆进行跟踪，计算感兴趣车辆进入与驶出盲区的速度变化，进而根据交通波估计法估计盲区内t时刻的交通波位置测量值zi(t)；4）采用加权平均一致性信息融合方法，通过迭代得到t时刻的交通波状态最优估计值和最优信息矩阵具体如下：4.1）计算摄像机t时刻检测结果可信度a(t)，在分布式网络中，第奇数(2m+1)台摄像机为其视野范围内面对车辆头部的摄像机，第偶数(2m+2)台为其视野范围内面对车辆尾部的摄像机，t时刻面对车辆头部的摄像机检测结果可信度为a2m+1(t)，面对车辆尾部的摄像机检测结果可信度为a2m+2(t)，m从0开始取值；在初始时刻将所有摄像机检测结果可信度设为缺省值1，如果根据权利要求步骤3)中通过某台摄像机无法获取初始时刻停车波位置测量值，则将这台摄像机的检测结果可信度设为0；动态调整摄像机检测结果可信度过程中，只调节视野范围内面对车辆尾部的摄像机检测结果可信度a2m+2(t)，包含以下步骤：第一步，提取第2m+2台摄像机视野范围内队尾静止车辆不被后面的车辆遮挡时该车尾部的特征点网格图及停车波位置测量值；第二步，比较当前时刻车辆尾部特征点网格图结构与未发生遮挡时特征点网格图结构是否相同，判断是否有新车加入队尾，以调整第2m+2台摄像机t时刻的检测结果可信度a2m+2(t)，判断过程分以下两种情况：第1种情况：特征点网格图的结构未发生变化，说明没有新车加入队尾，调整方法分以下几步：第一步，设可信度a2m+2(t)的调整范围为[1,10]，调节步长用l表示；第二步，判断t时刻停车波位置测量值相对于t?1时刻停车波位置测量值的移动方向与t?1时刻停车波状态最优估计值相对于t?2时刻停车波状态最优估计值的移动方向 是否相同；相同，则减小a2m+2(t)，调节步长大于0，小于0.5；不相同则增大a2m+2(t)，调节步长大于0，小于0.5;第2种情况：特征点网格图的结构发生变化，说明有新车即将加入队尾，并对原来队尾静止车辆产生遮挡，调整方法分以下几步：第一步，设可信度a2m+2(t)的调整范围为[0.1,1]，调节步长用l表示；第二步，判断当前停车波位置测量值是否比未发生遮挡时停车波位置测量值减小，是则减小a2m+2(t)，调节步长大于0，小于0.1；否则增大a2m+2(t)，调节步长大于0，小于0.1；4.2）初始化一致性信息向量和一致性信息矩阵计算公式如下：si0(t)=W‾i(t)x‾i(t)+HTBi(t)zi(t)Si0(t)=W‾i(t)+HTBi(t)H其中Bi(t)，zi(t)分别为当前时刻t摄像机i的预测信息矩阵、测量信息矩阵、交通波状态预测值和交通波位置测量值，H为观测矩阵，Bi=wi(cov(γi))?1其中，测量噪声...

【技术特征摘要】
1.基于信息融合的交通波实时检测与跟踪方法，基于分布式摄像机网络，所述的分布式摄像机网络是由一系列按一定方式通信相连的摄像机组成，分布式网络共有n台摄像机，从道路交叉口开始依次从1到n编号；每两台相邻的摄像机间存在相向关系或相背关系，具有相向关系的两台摄像机为视野范围存在重叠区域的相向摄像机对，具有相背关系的两个摄像机为架设在同一位置的视野范围没有重叠的相背摄像机对，即二者间存在盲区；每台摄像机采用1台计算机作为处理单元，具有独立运算功能；Ni表示可向摄像机i传递信息的摄像机编号集合,当i＝1时，N1＝2，当1＜i＜n时，Ni＝{i-1,i+1}，当i＝n时，Nn＝{n-1}，基于信息融合的交通波实时检测与跟踪方法其特征在于包括以下步骤：1)分布式摄像机网络中的所有摄像机同时拍摄交通视频；2)每台摄像机采用Kalman滤波预测得到t时刻各自跟踪到的交通波状态预测值以及对应的预测信息矩阵，计算公式如下，其中，所述的交通波包括停车波或启动波，交通波状态是由交通波的位置与波速构成的向量，其中，为第i台摄像机采用Kalman滤波预测得到的t时刻的交通波状态预测值，为第i台摄像机在t时刻计算得到的预测信息矩阵，为第i台摄像机计算得到的t-1时刻的交通波状态最优估计值，为第i台摄像机计算得到的t-1时刻的最优信息矩阵，为状态转换矩阵，Q为状态转换噪声的协方差矩阵；3)计算每台摄像机t时刻的交通波位置测量值zi(t)，具体为：当第i台摄像机预测得到的t时刻的交通波状态预测值在该摄像机可视区域内时，则采用融合Adaboost分类器的复式伸缩窗算法获取摄像机i在可视范围内在t时刻的交通波位置测量值zi(t)；当第i台摄像机在t时刻预测得到的交通波状态预测值在第i台摄像机所属的相背摄像机对形成的盲区内时，根据Adaboost分类器检测出的车辆头部和尾部候选区域内的特征点，对特征点进行分组，将时空特性相同的特征点分在一组，并对相同组内特征点进行三角剖分形成网格图，采用特征点跟踪方法对车辆进行跟踪，计算感兴趣车辆进入与驶出盲区的速度变化，进而根据交通波估计法估计盲区内t时刻的交通波位置测量值zi(t)；4)采用加权平均一致性信息融合方法，通过迭代得到t时刻的交通波状态最优估计值和最优信息矩阵若交通视频不结束则跳转至步骤2)，其中迭代具体如下：4.1)计算摄像机t时刻检测结果可信度a(t)，在分布式网络中，第奇数(2m+1)台摄像机为其视野范围内面对车辆头部的摄像机，第偶数(2m+2)台为其视野范围内面对车辆尾部的摄像机，t时刻面对车辆头部的摄像机检测结果可信度为a2m+1(t)，面对车辆尾部的摄像机检测结果可信度为a2m+2(t)，m从0开始取值，在初始时刻将所有摄像机检测结果可信度设为缺省值1，如果根据权利要求步骤3)中通过某台摄像机无法获取初始时刻停车波位置测量值，则将这台摄像机的检测结果可信度设为0，动态调整摄像机检测结果可信度过程中，只调节视野范围内面对车辆尾部的摄像机检测结果可信度a2m+2(t)，包含以下步骤：第一步，提取第2m+2台摄像机视野范围内队尾静止车辆不被后面的车辆遮挡时该车尾部的特征点网格图及停车波位置测量值；第二步，比较当前时刻车辆尾部特征点网格图结构与未发生遮挡时特征点网格图结构是否相同，判断是否有新车加入队尾，以调整第...

【专利技术属性】
技术研发人员：张媛，杨德亮，陈阳舟，辛乐，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：