一种基于帧差时序运动信息的多目标跟踪检测方法技术

本发明专利技术涉及一种基于帧差时序运动信息的多目标跟踪检测方法、装置及计算机存储介质。探索了对连续视频帧间差的利用，利用帧间差带来的运动信息，实现弥补单帧输入的模型缺乏时序运动信息的缺点，本发明专利技术将骨干网络生成的多尺度特征图分为两类：浅层和深层特征图，并针对这两类特征图，提出了SADP和CADP这两种互补的相邻帧差处理方法，SADP通过从空间角度处理浅层特征图，实现对目标运动区域的信息提取，将运动信息补充在像素级别的特征图上，CADP通过从通道的角度处理深层特征图，实现对运动敏感通道信息的增强。最终本发明专利技术通过将这两个模块进行结合，共同处理相邻帧差，实现时序运动信息在空间与通道上的相互补充，增强模型对运动信息的感知与捕获。动信息的感知与捕获。动信息的感知与捕获。

【技术实现步骤摘要】
一种基于帧差时序运动信息的多目标跟踪检测方法


[0001]本专利技术涉及计算机视觉
，尤其是指一种基于帧差时序运动信息的多目标跟踪检测方法、装置及计算机存储介质。

技术介绍

[0002]现有的技术中，多目标跟踪任务的目的为了将连续视频帧中的目标位置进行关联从而形成目标的轨迹，达到跟踪的目的。随着计算机视觉任务与应用的深入研究，多目标跟踪任务也逐渐变得重要起来。在车辆自动驾驶和无人监督等领域，多目标跟踪算法发挥着重要的作用。当前主流的两种多目标跟踪模型范式为TBD(检测后追踪)和JDT(联合追踪检测)。TBD范式选择先通过检测器执行检测任务，捕获目标位置信息后，通过信息提取网络捕获相应位置目标的外貌特征或者运动特征，从而实现相同目标的追踪关联。而JDT范式通过一个骨干网络处理图像特征后将特征送入不同分支，同时实现位置信息与外貌或运动信息的捕获，直接进行追踪关联。
[0003]但是现有的多目标跟踪模型训练时大多没有利用视频级别的数据信息，而是选择帧级别的图像进行处理。TBD范式由于传统检测任务的限制，往往必须单帧进行输入，但是现在的有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪检测方法，其特征在于，包括：将时序视频输入预先构建的多目标跟踪网络模型中，所述多目标跟踪网络模型包括骨干网络、相邻差异处理模块、上采样融合模块以及检测和特征提取分支模块，所述相邻差异处理模块包括浅层空间级别处理模块与深层通道级别处理模块；获取相邻帧图像，所述相邻帧图像为第t帧与第t
‑
1帧的RGB图像；利用所述权重共享的骨干网络生成一组第t帧的多尺度特征图与一组第t
‑
1帧的多尺度特征图，所述多尺度特征图包括多张浅层特征图和多张深层特征图；将所述第t帧和所述第t
‑
1帧的多张浅层特征图同时输入所述浅层空间级别处理模块，得到浅层组合空间相邻差异处理后的多张空间特征图；将所述第t帧和所述第t
‑
1帧的多张深层特征图同时输入所述深层通道级别处理模块，得到深层通道级别相邻差异处理后的多张通道特征图；对所述多张空间特征图与所述多张通道特征图形成的一组最终多尺度特征图进行上采样融合得到任务级别特征图；将所述任务级别特征图分别输入所述检测和特征提取分支模块得到第t帧的目标检测信息和外貌特征。2.根据权利要求1所述的多目标跟踪检测方法，其特征在于，所述将所述任务级别特征图分别输入所述检测和特征提取分支模块得到第t帧的目标检测信息和外貌特征后包括：当t≠1时，根据所述目标检测信息和所述外貌特征判断轨迹状态并实现关联；对处于暂时丢失状态的轨迹利用对应目标保存的卡尔曼滤波进行在线的轨迹修补；判断所述时序视频是否结束，若未结束则继续处理下一对相邻帧图像直至视频结束。3.根据权利要求2所述的多目标跟踪检测方法，其特征在于，所述若t＝1，即获取的所述相邻帧图像为单帧图像，且根据所述目标检测信息获得的目标检测框得分大于阈值，则生成新的轨迹，标记为激活状态，更新对应目标卡尔曼滤波后开始处理下一对所述相邻帧图像。4.根据权利要求2所述的多目标跟踪方法，其特征在于，所述当t≠1时，根据所述目标的检测信息和所述外貌特征判断轨迹状态并实现关联包括：首先处理激活状态轨迹，将所述激活状态轨迹对应目标与当前帧检测得到的目标进行匹配；若匹配成功，则标记为追踪状态，若未匹配成功则标记为暂时丢失状态，若丢失超过阈值时间，则标记为丢弃状态；其次处理未激活状态轨迹，将所述未激活状态轨迹对应目标与当前帧检测得到的目标进行匹配；若匹配成功，则标记为激活状态，若未匹配成功则标记为丢弃状态；将当前帧检测得到的目标中未匹配成功的目标生成新的轨迹，标记为未激活状态。5.根据权利要求1所述的多目标跟踪检测方法，其特征在于，所述获取相邻帧图像后包括：将获取到的第t帧与第t
‑
1帧的RGB图像进行尺度统一和标准化处理。6.根据权利要求1所述的多目标跟踪检测方法，其特征在于，所述目标检测信息包括热力图，边界框大小以及中心偏移，所述外貌特征为目标的ID嵌入表示。
7.根据权利要求1所述的多目标跟踪检测方法，其特征在于，所述将所述第t帧和所述第t
‑
1帧的多张浅层特征图同时输入所述浅层空间级别处理模块，得到浅层组合空间相邻差异处理后的多张空间特征图包括：将所...

【专利技术属性】
技术研发人员：孔军，莫恩森，蒋敏，
申请(专利权)人：江南大学，
类型：发明
国别省市：