多目标跟踪方法、装置、电子设备、存储介质和产品制造方法及图纸

本发明专利技术提供一种多目标跟踪方法、装置、电子设备、存储介质和产品，方法包括：获取待测视频；将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息；其中，所述多目标信息包括目标所在检测框和目标身份信息，所述端到端多目标模型是基于视频样本数据集训练得到的，所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。本发明专利技术通过一个端到端的端到端多目标跟踪模型整合目标检测分支、特征分支及身份关联分支，解决了现有技术中多目标跟踪结果不准确的缺陷，提升了多目标检测精度。精度。精度。

【技术实现步骤摘要】
多目标跟踪方法、装置、电子设备、存储介质和产品


[0001]本专利技术涉及目标检测
，尤其涉及一种多目标跟踪方法、装置、电子设备、存储介质和产品。

技术介绍

[0002]多目标跟踪旨在定位和识别视频中的所有运动目标，并在视觉监控、人机交互、虚拟现实、无人驾驶等领域有着广阔的应用前景。现有多目标跟踪方法可以被分为两种框架：基于检测的跟踪框架，联合检测与特征的跟踪框架。基于检测的跟踪框架作为多目标跟踪的主流算法，其将多目标跟踪任务划分为三个独立的模块：目标检测、特征提取、身份关联。与基于检测的跟踪框架不同，联合检测与特征的跟踪框架利用一阶段跟踪器同时生成目标检测与对应的视觉特征，相对来说，能够降低计算成本，构建实时多目标跟踪算法。
[0003]然而，现有的跟踪框架面临以下问题：第一，身份关联模块独立于目标检测与特征提取模块，导致不同模块不能相互增益。第二，由于前面模块产生的误差可以传递到后面的模块，依次执行多个模块会导致误差的积累，最终可能会得到不准确的检测结果导致跟踪失败。

技术实现思路

[0004]本专利技术提供一种多目标跟踪方法、装置、电子设备、存储介质和产品，用以解决现有技术中多目标跟踪结果不准确的缺陷，提升了多目标检测精度。
[0005]本专利技术提供一种多目标跟踪方法，包括：
[0006]获取待测视频；
[0007]将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息；
[0008]其中，所述多目标信息包括目标所在检测框和目标身份信息，所述端到端多目标模型是基于视频样本数据集训练得到的，所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。
[0009]根据本专利技术提供的一种多目标跟踪方法，所述将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息，包括：
[0010]提取所述待测视频的当前帧的底层特征，根据历史轨迹特征增强所述底层特征得到所述当前帧的增强特征；
[0011]根据所述当前帧的增强特征得到目标所在检测框；
[0012]根据所述当前帧的增强特征和目标所在检测框得到所述当前帧的检测框特征；
[0013]根据所述当前帧的目标所在检测框及检测框特征与历史轨迹特征进行身份关联得到所述当前帧的目标身份信息。
[0014]根据本专利技术提供的一种多目标跟踪方法，所述根据历史轨迹特征增强所述底层特征得到所述当前帧的增强特征，包括：
[0015]获取所述当前帧的底层特征和上一帧的历史轨迹特征；
[0016]增强当前帧的底层特征和上一帧的历史轨迹特征之间的连续区域，并擦除当前帧的底层特征和上一帧的历史轨迹特征之间的干扰项区域，得到当前帧的增强特征。
[0017]根据本专利技术提供的一种多目标跟踪方法，所述根据所述当前帧的增强特征和目标所在检测框得到所述当前帧的检测框特征，包括：
[0018]根据所述当前帧的增强特征和当前帧的目标所在检测框进行全局池化，得到当前帧的检测框特征，其中，所述当前帧的目标所在检测框与当前帧的检测框特征一一对应。
[0019]根据本专利技术提供的一种多目标跟踪方法，所述根据所述当前帧的目标所在检测框及检测框特征与历史轨迹特征进行身份关联得到所述当前帧的目标身份信息，包括：
[0020]以当前帧的目标所在检测框坐标对应的所述当前帧的检测框特征为节点，以当前帧的检测框特征的拼接特征为边，生成检测图；
[0021]以上一帧的历史轨迹结束坐标对应的轨迹特征为节点，以上一帧的轨迹特征的拼接特征为边，生成轨迹图；
[0022]根据所述检测图和轨迹图进行图匹配得到当前帧的目标身份信息。
[0023]根据本专利技术提供的一种多目标跟踪方法，所述根据所述检测图和所述轨迹图进行图匹配得到当前帧的目标身份信息，包括：
[0024]对所述检测图和轨迹图进行节点特征整合，计算所述节点特征整合后检测图和轨迹图的相似度矩阵，根据所述相似度矩阵得到当前帧的目标身份信息。
[0025]本专利技术还提供一种多目标跟踪装置，包括：
[0026]采集模块，用于获取待测视频；
[0027]输出模块，用于将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息；
[0028]其中，所述多目标信息包括目标所在检测框和目标身份信息，所述端到端多目标模型是基于视频样本数据集训练得到的，所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。
[0029]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多目标跟踪方法的步骤。
[0030]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多目标跟踪方法的步骤。
[0031]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多目标跟踪方法的步骤。
[0032]本专利技术提供的多目标跟踪方法、装置、电子设备、存储介质和产品，通过一个端到端的端到端多目标跟踪模型整合目标检测分支、特征分支及身份关联分支，利用轨迹信息来增强目标检测与特征提取形成了正反馈。本专利技术中，通过利用轨迹信息来增强目标检测的底层特征来减少误检与漏检。同时，被增强的底层特征可以辅助特征提取模型减少身份跳变。具备了更鲁棒的检测结果与特征，可以生成更高质量的轨迹。
附图说明
[0033]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术实施例提供的多目标跟踪方法的流程示意图；
[0035]图2是本专利技术实施例提供的端到端多目标跟踪模型结构示意图；
[0036]图3是本专利技术实施例提供的特征增强模块的结构示意图；
[0037]图4是本专利技术实施例提供的多目标跟踪方法的检测结果示意图；
[0038]图5是本专利技术实施例提供的多目标跟踪装置的结构示意图；
[0039]图6是本专利技术实施例提供的电子设备的结构示意图。
具体实施方式
[0040]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0041]基于现有的跟踪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：获取待测视频；将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息；其中，所述多目标信息包括目标所在检测框和目标身份信息，所述端到端多目标模型是基于视频样本数据集训练得到的，所述端到端多目标模型训练过程中提取的特征为根据所述视频样本数据集提取的基于历史轨迹特征的增强特征。2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述将所述待测视频输入端到端多目标跟踪模型，得到所述端到端多目标跟踪模型输出的所述待测视频包含的多目标信息，包括：提取所述待测视频的当前帧的底层特征，根据历史轨迹特征增强所述底层特征得到所述当前帧的增强特征；根据所述当前帧的增强特征得到目标所在检测框；根据所述当前帧的增强特征和目标所在检测框得到所述当前帧的检测框特征；根据所述当前帧的目标所在检测框及检测框特征与历史轨迹特征进行身份关联得到所述当前帧的目标身份信息。3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述根据历史轨迹特征增强所述底层特征得到所述当前帧的增强特征，包括：获取所述当前帧的底层特征和上一帧的历史轨迹特征；增强当前帧的底层特征和上一帧的历史轨迹特征之间的连续区域，并擦除当前帧的底层特征和上一帧的历史轨迹特征之间的干扰项区域，得到当前帧的增强特征。4.根据权利要求3所述的多目标跟踪方法，其特征在于，所述根据所述当前帧的增强特征和目标所在检测框得到所述当前帧的检测框特征，包括：根据所述当前帧的增强特征和当前帧的目标所在检测框进行全局池化，得到当前帧的检测框特征，其中，所述当前帧的目标所在检测框与当前帧的检测框特征一一对应。5.根据权利要求4所述的多目标跟踪方法，其特征在于，所述根据所述当前帧...

【专利技术属性】
技术研发人员：徐常胜，姚涵涛，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：