【技术实现步骤摘要】
一种鸟瞰视角下的多目标跟踪方法及装置
[0001]本专利技术涉及智能驾驶、计算机视觉
，具体涉及一种鸟瞰视角下的多目标跟踪方法及装置、电子设备、计算机可读存储介质。
技术介绍
[0002]多目标跟踪(multiple object tracking，MOT)是研究不确定数目的目标，在时间序列上位置信息变化过程的技术，是许多实际应用中的重要一环。其中，视频多目标跟踪在自动驾驶、人机交互、视频监控以及军事航天领域发挥着重要作用。
[0003]随着计算机视觉相关软硬件技术的发展，基于视频的感知成为机器感知的首选，于是基于视觉的多目标跟踪也越来越受到研究者们的关注。然而在实际应用中，由于各种因素的影响和限制，仍有许多挑战亟待解决。比如，由视频采集过程产生的图像模糊、背景和光照变化等，这些图像层面的影响对特征提取带来许多困难。另一方面，多目标跟踪中经典的目标交互问题，其中包括目标与背景的交互，以及目标相互间的影响，再加上目标本身的形态、尺度和角度变化等，在视频多目标跟踪，尤其是基于二维视频的跟踪中，也带来许多困难。在这些...
【技术保护点】
【技术特征摘要】
1.一种鸟瞰视角下的多目标跟踪方法，其特征在于，包括：获取当前单位时间内当前车辆所在环境的图像信息及当前车辆的运动信息，所述图像信息至少包括一个相机视角下单位时间内采集的多个视频帧；通过预训练的特征提取模型，提取每个视频帧的多尺度特征图；根据所述运动信息，将不同相机视角下同一时刻的多尺度特征图投影到鸟瞰视角下的特征空间中，得到该时刻鸟瞰视角下的特征图；对所述特征图进行目标检测，得到该时刻鸟瞰视角下的目标；对每个相机视角下单位时间内采集的多个视频帧，执行以下步骤：根据轻量级图匹配方法，得到单位时间内各目标的轨迹片段；根据所述轨迹片段及各目标间的相对位置关系，得到用于描述单位时间内各目标本身和各目标相互间的时空特征；根据相邻单位时间各目标的时空特征，对相邻单位时间进行多目标跟踪，得到当前鸟瞰视角下的多目标跟踪结果。2.根据权利要求1所述的方法，其特征在于，所述根据轻量级图匹配方法，得到单位时间内各目标的轨迹片段，包括：从第一帧开始，依次为各帧中的目标分配身份标识，并分配排序序号；根据所述身份标识和排序序号，得到各帧对应的图表示，所述图表示用于描述各目标间的位置关系，并判断两帧之间图结构的相似性；从第二帧开始，根据所述图表示，依次将各帧中的具有相同身份标识的目标关联到一起，得到单位时间内各目标的轨迹片段。3.根据权利要求2所述的方法，其特征在于，所述从第一帧开始，依次为各帧中的目标分配身份标识，并分配排序序号，包括：对于第一帧，以X轴优先，按坐标顺序，自左上角遍历，依次为每个目标分配身份标识；对于其他帧，根据与前面所有帧的匹配结果，为目标分配身份标识；对于每帧，计算各目标距离当前车辆的相对距离，并按所述相对距离升序为各目标分配排序序号。4.根据权利要求2所述的方法，其特征在于，所述从第二帧开始，根据所述图表示，依次将各帧中的具有相同身份标识的目标关联到一起，包括：若相邻两帧中目标数量相等且图结构相似度为1，将相邻两帧内具有相同身份标识的目标关联到一起；若相邻两帧中目标数量不相等或者图结构相似度不为1，采用基于top
‑
1贪婪的快速图匹配方法将两个图表示之间相似度最大的节点进行关联。5.根据权利要求4所述的方法，其特征在于，所述采用基于top
‑
1贪婪的快速图匹配方法将两个图表示之间相似度最大的节点进行关联，包括：对于连续两帧中属于不同帧的目标，依次计算相似度，得到相似度矩阵；根据top
‑
1贪婪策略求解所述相似度矩阵，得到关联矩阵，所述关联矩阵表征相邻两帧间各个目标的匹配关系。6.根据权利要求5所述的方法，其特征在于，若相邻两帧中目标数量不相等或者图结构相似度不为1，通过以下管理策略，管理关联过程中目标的消失和出现，包括：
计算前后相邻两帧的相似度矩阵，且根据top
‑
1贪婪策略求解所述相似度矩阵，在当前帧设计一个哑元目标，将相似度矩阵中相似度小于阈值的元素匹配给哑元，若匹配结果为哑元，判定该元素所对应的目标在前一帧存在，在当前帧消失；在当前帧手工设计一个元目标，将相似度矩阵中相似度小于阈值并且未匹配给哑元的元素匹配给元目标，若匹配结果为元目标，判定该元素为当前帧新出现目标，并为其分配新身份；对于消失的目标，在单位时间内，保留其身份，不予移除以应对遮挡后再次出现的情况，但对于目标消失过程中的帧，不采用运动模型恢复其轨迹。7.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：王楠，李雪，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。