一种3D的道路车辆跟踪方法技术

本发明专利技术公开了一种3D的道路车辆跟踪方法。属于计算视觉处理技术领域。本发明专利技术将目标3D空间特征和2D图像特征与MDP模型结合，重新构造评估函数，从而提出了一种基于2D和3D联合特征的多目标跟踪方法，将原始的2D图像域跟踪拓展到3D空间域跟踪，有效的解决了当遇到外观相似，距离较近的车辆相互遮挡时，出现的错跟、漂移等技术问题。

【技术实现步骤摘要】
一种3D的道路车辆跟踪方法
本专利技术属于计算机视觉
，具体涉及一种基于图像色彩和深度信息的3D多目标跟踪方法。
技术介绍
随着人工智能技术的蓬勃发展，以(AdvancedDriverAssistanceSystem，简称ADAS)和无人驾驶技术为核心的智能汽车成为未来汽车的发展方向，作为其关键技术之一的多目标跟踪和检测，一直是该领域的研究热点。目前大多数的目标跟踪和检测算法，处理对象都集中在RGB图像，比如由Kalal等提出的名噪一时的TLD(Tracking-Learning-Detection)算法，该算法是集检测、学习、跟踪于一体的单目标跟踪算法。由Girshick相继提出的FastRCNN、FasterRCNN、YOLO等，这些算法都是比较成功的基于深度学习的目标检测算法。由Xiang提出的一种基于马尔科夫决策(MDP)框架的在线多目标跟踪方法，在道路环境不怎么复杂的情况下，能取得较好的结果。但随着立体视觉的兴起，人们致力于研究将RGB与深度信息结合以提升目标跟踪算法性能的可行性。对于RGBD目标跟踪而言首先要获取深度信息，当前获取深度信息的主要途径有双目相机、Kin本文档来自技高网...

【技术保护点】
1.一种3D的道路车辆跟踪方法，其特征在于，包括下列步骤：步骤1：对当前帧t进行目标检测，获取第t帧的目标检测集合：基于预设的检测器，进行视频帧的2D和3D目标检测处理，获取目标检测结果，得到多目标的检测集合

【技术特征摘要】
1.一种3D的道路车辆跟踪方法，其特征在于，包括下列步骤：步骤1：对当前帧t进行目标检测，获取第t帧的目标检测集合：基于预设的检测器，进行视频帧的2D和3D目标检测处理，获取目标检测结果，得到多目标的检测集合其中，各目标的检测结果包括2D包围盒和3D包围盒，所述2D、3D包围盒的信息包括：2D包围盒：中心坐标(x2D,y2D)，尺度大小(h2D,w2D)，检测置信度s2D；3D包围盒：中心坐标(x3D,y3D,z3D)，尺度大小(h3D,w3D,l3D)，检测置信度s3D；步骤2：遍历检测目标集合对集合中的各目标的进行激活处理：步骤201：将当前目标的状态设置为激活状态；步骤202：在激活状态下对当前目标进行决策评估：分别计算决策a1和a2的激活状态奖励函数值，选择激活状态奖励函数值最大的决策作为第i个目标在激活状态下的决策评估结果；所述激活状态奖励函数为Ractive(s,a)：其中，y(a)的取值为：当决策a＝a1时，y(a)＝1；决策a＝a2时，y(a)＝-1；所述a1表示从激活状态转换为跟踪状态；所述a2表示从激活状态转换为终止状态；参数η为预设权重，取值为(0,1)；2D特征向量wactive,2D表示对应2D特征向量的线性分类斜率，表示对应2D特征向量的修正值；3D特征向量wactive,3D表示对应3D特征向量的线性分类斜率，表示对应3D特征向量的修正值；步骤203：若当前决策评估结果为a1，则表示目标被激活，将当前目标加入激活目标集若当前决策评估结果为a2，则将当前目标设置为终止状态；步骤204：判断检测集合是否遍历完全，若是，则对非起始帧执行步骤3；否则对集合的下一个目标继续执行步骤201；步骤3：遍历当前帧t的上一帧t-1的轨迹集合中的每个轨迹对既有轨迹进行更新处理，得到当前帧的轨迹集合其中，j为轨迹区分符，轨迹为跟踪目标分别在起始帧到t-1帧的轨迹目标的集合，其中帧标识ρ＝1,2,…,t-1；t-1帧的轨迹目标的速度vj,t-1＝{vx,vy,vz}，t-1帧的轨迹目标的状态cj,t-1包括：跟踪状态、丢失状态、终止状态；步骤301：根据当前轨迹的轨迹状态cj,t-1进行不同处理：若处于跟踪状态，则转至步骤302；若处于丢失状态，则转至步骤305；若处于终止状态，则直接转入步骤309；步骤302：对目标集合中的第t-1帧的轨迹目标进行滤波，得到第t帧的预测目标用跟踪目标的当前2D在线模板集合中的锚点模板对预测目标进行光流跟踪处理，得到2D光流跟踪框，以及两者的光流误差，并将光流误差的中值记为分别计算集合中各目标与预测目标之间的3D距离，并选其最小者记为d3D；步骤303：在跟踪状态下，对轨迹目标进行的决策评估：分别计算决策a3和a4的跟踪状态奖励函数值，选择跟踪状态奖励函数值最大的决策作为当前轨迹在跟踪状态下的决策评估结果；所述跟踪状态奖励函数为：其中，y(a)的取值为：若a＝a3，则y(a)＝1；若a＝a4，则y(a)＝-1；所述a3表示持续跟踪状态；所述a4表示从跟踪状态转换为丢失状态；e0表示预设的光流误差阈值，T3D表示预设的空间距离阈值；步骤304：若当前决策评估结果为a3，则将预测目标的2D包围盒更新为2D光流跟踪框，再转入步骤307；若决策评估结果为a4，则将轨迹目标的状态置为丢失状态，并转入步骤305；步骤305：目标处于丢失状态，执行目标连接判断处理；从集合中提取预测目标的近邻目标，作为当前帧t的观测目标，记为dm，其中m表示观测目标区分符；提取各观测目标与轨迹目标之间的2D相似差异特征信息提取观测目标与预测目标以及轨迹目标间的3D相似差异特征信息基于相似差异特征信息计算决策a5和a6的丢失状态奖励函数值，选择丢失状态奖励函数值最大的决策作为对应的决策评估结果；所述丢失状态奖励函数...

【专利技术属性】
技术研发人员：王正宁，吕侠，张翔，周阳，曾凡伟，何庆东，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51