本发明专利技术公开了一种基于运动模型的自动化城市公交客车多目标跟踪算法，属于智能车辆技术领域，主要包括初始化模块，预测模块，轨迹关联模块。初始化模块读取检测文件获取当前帧中每个目标的检测框信息，根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；预测模块包括为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵；轨迹关联模块将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算。本发明专利技术通过结合自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，提高了多目标跟踪算法在自动化城市公交客车上的跟踪效果。算法在自动化城市公交客车上的跟踪效果。算法在自动化城市公交客车上的跟踪效果。
【技术实现步骤摘要】
一种基于运动模型的自动化城市公交客车多目标跟踪算法
[0001]本专利技术属于智能车辆
，尤其涉及一种基于运动模型的自动化城市公交客车多目标跟踪算法。
技术介绍
[0002]智能车辆已经成为当下和未来交通发展的重要方向，其核心可以划分为三层：环境感知层、决策规划层和控制执行层。而多目标跟踪是环境感知层研究的热点问题，其主要实现过程是从车载相机中实时输出所有目标的运动轨迹，并维持各目标的身份信息，以便后续的轨迹预测，精准查找等。
[0003]运动模型指的是对目标在视频中的运动轨迹进行建模和估计，由于目标在相邻两帧之间的位移往往很小，因此可以通过对目标运动趋势的估计预测目标的位置。近年来，著名的基于恒定速度模型假设的卡尔曼滤波器，逐渐成为建模物体运动的热门选择。但是一些复杂的场景包括相机运动，会影响卡尔曼滤波器预测目标边界框的准确性，因此，许多研究人员采用相机运动补偿，通过图像配准调整帧。
[0004]对自动驾驶的研究正在迅猛发展，大多数相关研究一直专注于自动驾驶汽车，却忽略了更加环保的自动驾驶汽车版本，即自动化城市公交客车，因此也很少有人关注多目标跟踪算法在自动化城市公交客车中面临额外的挑战。
[0005]从结构角度，自动化城市公交客车承重大，对制动、动力要求高，所以自动化城市公交客车的底盘都是中重型货车底盘，货车底盘减震差，导致自动化城市公交客车在行驶过程中会产生较大抖动，此时车载相机也会随着车身一起抖动；从运行机制角度，自动化城市公交客车需要停靠多个站点，与普通汽车相比，车速会有更多变化,此时车载相机也会更加频繁地抖动，车载相机抖动会导致跟踪目标面临更多噪声和非线性运动，影响卡尔曼滤波预测目标位置的精度，最终使得跟踪效果变差；不仅如此，为了方便人们交通出行，自动化城市公交客车经常将其停靠站设在人流较多的地方，使得车载相机视角下的跟踪场景更加复杂，此时卡尔曼滤波器固定的状态转移矩阵难以准确地对运动模式多变的目标进行状态转移。
技术实现思路
[0006]本部分的目的在于概述本专利技术实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0007]为了解决上述技术问题，本专利技术提供如下技术方案：利用初始化模块读取检测文件获取当前帧中每个目标的检测框信息，根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；利用预测模块为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，通过图像配准得到相邻两帧的仿射变换矩阵，拆
分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵；利用轨迹关联模块将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。
[0008]本专利技术的目的是结合自适应状态转移矩阵的卡尔曼滤波及相机运动补偿技术，提高了算法预测目标位置的准确性，为此提供了一种基于运动模型的自动化城市公交客车多目标跟踪算法。
[0009]本专利技术是通过以下技术手段实现上述技术目的的。
[0010]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述初始化模块具体包括：
[0011]将视频转换成图像帧形式，用检测器获取所有图像帧中每个目标的检测框信息，其中，信息包括检测框的坐标和置信度，将检测框信息储存在检测文件中，根据置信度阈值将检测框划分高分检测框和低分检测框，送入轨迹关联模块中。
[0012]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述预测模块具体包括：
[0013]取出存放在上一帧跟踪列表中的轨迹，为每个轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵。
[0014]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述为每个轨迹分别设置对应的自适应状态转移矩阵F具体包括：
[0015][0016]其中，a表示预测边界框的宽高比，h表示预测边界框的高，d
t
表示当前帧与前一帧之间的差，和表示各自对应变量的速度变化值。
[0017]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵具体包括：
[0018]x
′
＝Fx
[0019]p
′
＝FpF
T
+Q
[0020]其中，x表示上一帧中轨迹边界框在图像帧中的坐标，p表示上一帧中轨迹的协方
差矩阵，F表示自适应状态转移矩阵，Q表示系统的噪声矩阵，代表整个系统的可靠程度，x
′
表示当前帧中预测边界框在图像帧中的坐标，p
′
表示当前帧中预测边界框的协方差矩阵。
[0021]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵具体包括：
[0022]将上一图像帧和当前图像帧的颜色空间从BGR转换为灰度空间，根据角点的最大数量和品质因子，筛选出上一图像帧中的角点和当前图像帧中的角点，通过ransac随机抽样算法，从上一图像帧和当前图像帧的多对角点中得到最优的仿射变换矩阵。
[0023]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合具体包括：
[0024]A＝[Z,T][0025]其中，A表示仿射变换矩阵，Z表示缩放旋转矩阵，T表示转换矩阵。
[0026]作为本专利技术所述的一种基于运动模型的自动化城市公交客车多目标跟踪算法的一种优选方案，其中，所述拆分仿射变换矩阵后，校正卡尔曼滤波获得的预测边界框和协方差矩阵具体包括：
[0027]x
′
校
＝Zx
′
+T
[0028]p
′
校
＝Zp
′
Z
[0029]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于运动模型的自动化城市公交客车多目标跟踪算法，其特征在于：所述算法采用自适应状态转移矩阵的卡尔曼滤波及相机运动补偿，具体包括如下步骤：步骤1：初始化模块，用于读取由检测器生成的检测文件，获取当前帧中每个目标的检测框信息并根据阈值将检测框分为高分检测框和低分检测框，送入轨迹关联模块中；步骤2：预测模块，包括为上一帧中的轨迹分别设置对应的自适应状态转移矩阵，通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵，使用相机运动补偿进行相邻两帧的图像配准，通过图像配准得到相邻两帧的仿射变换矩阵，拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合，校正得到更加贴合目标真实位置的预测边界框和协方差矩阵；步骤3：轨迹关联模块，将当前帧校正后的预测边界框先后和高分检测框及低分检测框进行交并比计算，重叠度高并且大于阈值的预测边界框和检测框再放进匈牙利算法进行数据关联，成功和校正后预测边界框关联上的检测框则被认为是当前帧中的轨迹。2.根据权利要求1所述的一种算法，其特征在于：所述步骤1中的初始化模块具体包括如下子步骤：步骤11：将视频转换成图像帧形式；步骤12：用检测器获取所有图像帧中每个目标的检测框信息，其中，信息包括检测框的坐标和置信度；步骤13：将检测框信息储存在检测文件中；步骤14：根据置信度阈值将检测框划分高分检测框和低分检测框，送入轨迹关联模块中。3.根据权利要求1所述的一种算法，其特征在于：所述步骤2中的预测模块具体包括如下子步骤：步骤21：取出存放在上一帧跟踪列表中的轨迹；步骤22：为每个轨迹分别设置对应的自适应状态转移矩阵；步骤23：通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵；步骤24：使用相机运动补偿进行相邻两帧的图像配准，得到仿射变换矩阵；步骤25：拆分仿射变换矩阵为缩放旋转和转换两部分，将这两部分分别和卡尔曼滤波获得的预测边界框和协方差矩阵结合；步骤26：校正得到更加贴合目标真实位置的预测边界框和协方差矩阵。4.根据权利要求3所述的一种算法，其特征在于：所述步骤22为每个轨迹分别设置对应的自适应状态转移矩阵F，具体包括如下操作：步骤221：自适应状态转移矩阵F如下：
其中，a表示预测边界框的宽高比，h表示预测边界框的高，d
t
表示当前帧与前一帧之间的差，和表示各自对应变量的速度变化值。5.根据权利要求3所述的一种算法，其特征在于：所述步骤23通过卡尔曼滤波获得上一帧中的轨迹在当前帧的预测边界框和协方差矩阵...
【专利技术属性】
技术研发人员：汪少华，郭玉豪，李祎承，殷春芳，李春，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。