一种基于车辆轴距的多镜头自适应跟踪方法技术

本发明专利技术公开了一种自适应车辆跨镜头跟踪方法，步骤包括：步骤S1:获取车辆3D检测框以及车辆姿态；步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；步骤S3:获取车辆2D检测框的鸟瞰图；步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。本发明专利技术具有原理简单、适用范围广、易实现、跟踪精度更高等优点。点。点。

【技术实现步骤摘要】
一种基于车辆轴距的多镜头自适应跟踪方法


[0001]本专利技术主要涉及到车辆智能跟踪
，特指一种基于车辆轴距的多镜头自适应跟踪方法。

技术介绍

[0002]视频目标跟踪是指给定目标在视频中的初始位置，然后输出该目标在视频中的每一个时刻的位置。物体跟踪是计算机视觉中一个重要的问题，通常是视频分析处理的第一步。因此有大量学者从事物体跟踪的研究，以及众多有效的物体跟踪的算法被提出来。
[0003]在一些监控场景下，需要在一个复杂的场景下同时跟踪多个物体。多个物体之间的相互遮挡增加了物体跟踪的难度，这一点在车辆的跟踪经常出现。当大量车辆同时出现在摄像设备画面中时，每车辆之间相互重叠使得无法准确的获取其实际位置。
[0004]目前多目标追踪方法主要分为两类：基于单摄像头的多目标追踪和基于多摄像相机的多目标的追踪方法。
[0005]基于多摄像头的多目标追踪方法，目前主要关注如何进行多摄像头的数据融合，主要有基于摄像设备标定的方法和特征匹配的方法。基于摄像设备标定的方法主要是利用摄像设备投影矩阵，将不同的摄像设备画面投影到同一个画面上。对于基于特征匹配的方法，主要是通过寻找高效的表观特征和时空信息来提高匹配结果。多摄像设备的追踪问题由于不同镜头间有较大的光照和视角差异，相比于单摄像设备的跟踪问题，具有更大的挑战性。由于问题的复杂性，现有的跨摄像头跟踪方法由于各种原因而具有相当的误差。
[0006]然而，针对于复杂场景下多个物体的跟踪问题，其中一个有效途径是利用多摄像头监控系统。在多个摄像设备重合的监控区域，可以借助多个摄像设备的信息来较为准确的获取物体的位置。随着传感器和处理器价格的下降，在很多场景下多摄像头配合使用也变得越来越普遍。
[0007]多摄像头实时跟踪问题主要有两个部分：摄像头内部的跟踪和跨摄像头跟踪。其中跨摄像头跟踪问题中的重复覆盖区域，以及未覆盖区域的处理方法，基于多摄像头的多目标的跟踪是很有意义的，但同时由于其问题的复杂性，这项工作也具有很大的挑战性。
[0008]综上所述，基于多摄像头的多目标追踪方法，目前主要多摄像头的数据融合中，对于基于特征匹配的方法计算量大且效率低，达不到实时性要求，基于设备标定的方法人工工作量大，且抗干扰能力弱，鲁棒性不强。

技术实现思路

[0009]本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种原理简单、适用范围广、易实现、跟踪精度更高的自适应车辆跨镜头跟踪方法。
[0010]为解决上述技术问题，本专利技术采用以下技术方案：
[0011]一种自适应车辆跨镜头跟踪方法，其步骤包括：
[0012]步骤S1:获取车辆3D检测框以及车辆姿态；
[0013]步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；
[0014]步骤S3:获取车辆2D检测框的鸟瞰图；
[0015]步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；
[0016]步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；
[0017]步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。
[0018]作为本专利技术方法的进一步改进：所述步骤S1中，通过摄像头采集道路视频流数据，以视觉中道路行使车辆为目标，采用深度神经网络对车辆进行姿态估计，以获取所述车辆3D检测框以及车辆姿态。
[0019]作为本专利技术方法的进一步改进：所述步骤S3中，根据所述相机的f,h,θ，将所述3D检测框投影在以相机为原点，以地面为坐标平面的笛卡尔坐标系下，则3D检测框将转为2D的检测框呈现俯视视角，再可视化出车辆2D检测框的鸟瞰图。
[0020]作为本专利技术方法的进一步改进：所述步骤S3中对车辆轨迹进行处理包括：
[0021]高斯去噪，运动学滤波，卡尔曼平滑；
[0022]采用贝塞尔曲线对车辆轨迹进行拟合；
[0023]对各个相机时间进行同步，根据所述轨迹求解出各个相机坐标系之间的变换矩阵。
[0024]作为本专利技术方法的进一步改进：所述步骤S5中，将跟踪目标检测结果通过f,h,θ投影到相机平面的鸟瞰视角，再通过相机坐标系的变换矩阵，计算出检测目标从一个相机转到另一个相机的鸟瞰图位置。
[0025]作为本专利技术方法的进一步改进：所述步骤S2的流程包括：
[0026]步骤S201：识别检测车辆型号，查询该车型的轴距以及轮距；
[0027]步骤S202：检测图像中轮胎中心位置，利用所述检测车辆的姿态，得出各轮胎之间的几何关系；
[0028]步骤S203：计算出相机的外参焦距，高度，倾斜角f,h,θ。
[0029]作为本专利技术方法的进一步改进：所述步骤S203中，f,h,θ的具体计算方法为：
[0030][0031][0032][0033]其中：argminf(x)为求取使函数取得最小值时x的值；符号“^”表示该变量的估计值，上标“T”表示矩阵的转置矩阵，符号“||”表示该变量的模值，N为一辆车中检测到轮胎的个数；i、j表示第i、j个轮胎；为世界坐标系下第i个轮胎指向第j个轮胎的方向向量；d为第i个轮胎与第j个轮胎的轴距或者轮距；λ为优化的超参数。
[0034]作为本专利技术方法的进一步改进：所述步骤S4中，所述相机坐标系之间的变换矩阵计算方式为：
[0035]已知相机A与相机B之间由以下关系表示；
[0036][0037]其中：h函数为匈牙利算法，匹配A，B相机的同时刻对应点，结果是总代价；A为A镜头中的所有点构成矩阵，B为B镜头中的所有点构成矩阵，η为超参数。
[0038]作为本专利技术方法的进一步改进：所述步骤S5中，检测目标投影到鸟瞰图的计算公式为：
[0039][0040][0041]其中：X
i
，Z
i
为鸟瞰平面的坐标，x
i
,y
i
为图像中像素坐标，为所述焦距，高度，倾斜角的估计值。
[0042]作为本专利技术方法的进一步改进：所述步骤S6的流程包括：
[0043]根据所述计算的目标位置，与相机本身在该位置检测到的目标进行关联融合；
[0044]将两个相机中同一目标相互关联，赋予相同的编号；
[0045]实现多镜头跟踪编号相同的目标。
[0046]与现有技术相比，本专利技术的优点就在于：
[0047]1、本专利技术的自适应车辆跨镜头跟踪方法，原理简单、适用范围广、易实现，它能降低人工标定参数工作量，增强多相机多目标跟踪的鲁棒性以及提高多目标跟踪精度，解决单镜头跟踪中遮挡重叠时编号切换的问题。
[0048]2、本专利技术的自适应车辆跨镜头跟踪方法，能够根据车辆轴距以及轮距计算出相机的焦距，高度，倾斜角，通过这种方式就能够大大提高跟踪的精度和效率。
[0049]3、本专利技术的自适应车辆跨镜头跟踪方法，根据鸟瞰图优化后轨迹，计算出各相机
坐标系转换矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应车辆跨镜头跟踪方法，其特征在于，其步骤包括：步骤S1:获取车辆3D检测框以及车辆姿态；步骤S2:获取相机的外参焦距，高度，倾斜角f,h,θ；步骤S3:获取车辆2D检测框的鸟瞰图；步骤S4:根据所述鸟瞰图对车辆轨迹进行处理，获取各个相机坐标系之间的变换矩阵；步骤S5:获取检测目标从一个相机转到另一个相机的鸟瞰图位置；步骤S6:实现两个相机中同一目标相互关联，完成跨镜头跟踪。2.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S1中，通过摄像头采集道路视频流数据，以视觉中道路行使车辆为目标，采用深度神经网络对车辆进行姿态估计，以获取所述车辆3D检测框以及车辆姿态。3.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S3中，根据所述相机的f,h,θ，将所述3D检测框投影在以相机为原点，以地面为坐标平面的笛卡尔标系下，则3D检测框将转为2D的检测框呈现俯视视角，再可视化出车辆2D检测框的鸟瞰图。4.根据权利要求3所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S3中对车辆轨迹进行处理包括：高斯去噪，运动学滤波，卡尔曼平滑；采用贝塞尔曲线对车辆轨迹进行拟合；对各个相机时间进行同步，根据所述轨迹求解出各个相机坐标系之间的变换矩阵。5.根据权利要求1所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S5中，将跟踪目标检测结果通过f,h,θ投影到相机平面的鸟瞰视角，再通过相机坐标系的变换矩阵，计算出检测目标从一个相机转到另一个相机的鸟瞰图位置。6.根据权利要求1
‑
5中任意一项所述的自适应车辆跨镜头跟踪方法，其特征在于，所述步骤S2的流程包括：步骤S201：识别检测车辆型号，查询该车型的轴距以及轮距；步骤S202：检测图像中轮胎中心位置，利用所述检测车辆的姿态，得出各轮胎之间的几何关系；步骤S20...

【专利技术属性】
技术研发人员：刘凯，张军号，龙腾蛟，肖海波，雷朝凯，姜勇钢，
申请(专利权)人：湖南湘江智车出行科技有限公司，
类型：发明
国别省市：