融合范式的视觉多目标跟踪方法技术

本发明专利技术涉及多目标跟踪数据处理技术领域，具体的说是一种能够显著提高多目标跟踪精度的融合范式的视觉多目标跟踪方法，本发明专利技术采用YOLOX作为目标检测算法，针对提取目标外观特征向量过程中，基于检测的跟踪范式算法为统一截取的各目标所在区域图片的尺寸对其进行缩放，引起目标形变的问题；联合检测和跟踪范式的算法从特征图的目标中心处取得特征向量，导致特征可能属于其它目标的问题，提出一种融合范式的跟踪算法，吸收两种范式的优势并对其缺点进行改进，进而显著提高跟踪性能。进而显著提高跟踪性能。进而显著提高跟踪性能。

【技术实现步骤摘要】
融合范式的视觉多目标跟踪方法

：
[0001]本专利技术涉及多目标跟踪数据处理
，具体的说是一种能够显著提高多目标跟踪精度的融合范式的视觉多目标跟踪方法。

技术介绍
：
[0002]多目标跟踪(Multi
‑
Object Tracking，MOT)是计算机视觉领域的重要研究方向，广泛应用于自动驾驶、安防等领域。多目标跟踪的主要任务是在输入视频或图片序列中定位并关联每个目标，近年来随着卷积神经网络的兴起和目标检测技术的不断发展，基于目标检测的多目标跟踪成为主要研究方向。
[0003]基于目标检测的多目标跟踪算法主要分为两大类：基于检测的跟踪范式(Tracking
‑
by
‑
Detection，TBD)和联合检测和跟踪的范式(Joint Detection and Tracking，JDT)。基于检测的跟踪属于两步多目标跟踪算法，视频或图片序列输入后，利用目标检测器在每一帧中定位目标，若需进行外观特征匹配，将在跟踪阶段利用独立的重识别网络来建模外观特征。联合检测和跟踪算法属于一步多目标跟踪算法，目标检测和数据关联共享卷积神经网络提取的特征，将目标检测和外观特征建模融合到一步中。联合检测和跟踪的多目标跟踪算法共享主干卷积神经网络提取的特征，大大减少了网络的计算量，加快了推理速度，但跟踪精度往往低于基于检测的跟踪范式算法。特别是在遮挡等复杂场景下，联合检测和跟踪范式的跟踪算法提取的外观特征不足以区分目标，造成目标身份切换。基于检测的跟踪范式算法虽然速度较慢，但其各部分独立能够分块优化，往往具有较高的跟踪精度，仍是当前的主流研究方向。
[0004]2016年，Bewey等提出SORT算法，遵循基于检测的跟踪范式，仅仅使用目标运动信息进行数据关联。利用卡尔曼滤波算法将目标位置从前一帧传播到当前帧，然后利用匈牙利算法完成目标关联，实现了较快的跟踪速度和较高的跟踪精度。但是由于SORT算法没有进行任何重识别处理，导致复杂场景下目标身份切换次数很高。因此，Wojke等在2017年提出了Deep SORT算法，在SORT算法的基础上加入外观特征匹配，使算法能够应对长时间遮挡，有效减少身份切换次数，与SORT相比身份切换降低45％。2018年Chen等人MOTDT算法，该算法同样使用目标的运动特征和外观特征进行匹配。作者设计了一种新颖的评分函数，同时对目标检测器输出的检测结果和当前已经存在的跟踪轨迹进行初步筛选，最后使用级联匹配策略进行目标与轨迹之间的数据关联。2019年Wang等人提出JDE算法，将目标外观特征提取统一到检测框架中，形成一个端到端的多目标跟踪网络。2020年Zhang等人提出FairMOT算法，同样采用联合检测和跟踪的结构设计，作者指出基于锚框的目标检测算法虽然有着很好的检测性能，但并不适用于联合检测和跟踪的算法。2021年Wu等人提出TraDeS算法，通过跟踪结果来进一步提高目标检测或实例分割的表现。在以往的联合检测和跟踪的算法中，通常只在目标检测头并行的分支中添加特征嵌入网络以同时生成目标外观特征。该算法在此基础之上通过运动偏移量传播各目标的特征到下一帧图片中，增强该帧中各目标对应位置的特征，以促进目标检测或实例分割任务进而提高跟踪性能。Zhang等提出
ByteTrack算法，遵循“存在即合理”的思想，将检测器输出的低分检测框同样进行数据关联，在仅利用目标运动信息的情况下，超越了此前的所有跟踪方法。2022年Yan等人提出Unicorn算法，通过一个统一模型来解决单目标跟踪、多目标跟踪、视频目标分割和多目标跟踪与分割四大任务。不同于现有的为单一任务而设计的跟踪算法，该算法为不同跟踪任务实现了统一的解决框架，在各跟踪任务数据关联阶段则采用现有算法。
[0005]外观特征和运动特征是多目标跟踪任务所依赖的两个主要线索，但从上述算法中可以看出，运动特征已得到较为充分的运用，但两种跟踪范式在外观特征建模过程中仍存在一定的问题：现有技术在提取目标外观特征向量过程中，基于检测的跟踪范式算法为统一截取的各目标所在区域图片的尺寸对其进行缩放，导致引起目标形变；联合检测和跟踪范式的算法从特征图的目标中心处取得特征向量，导致特征可能属于其它目标。

技术实现思路
：
[0006]本专利技术针对现有技术中存在的缺点和不足，提出了一种能够实现更加鲁棒的外观特征建模，并综合运动特征进行匹配的融合范式的视觉多目标跟踪方法。
[0007]本专利技术通过以下措施达到：
[0008]一种融合范式的视觉多目标跟踪方法，其特征在于，综合利用目标的外观信息和运动信息进行数据关联，包括以下步骤：
[0009]步骤1：目标检测器输出的目标分数大于跟踪高阈值，则进行外观特征提取与检测目标初始化；
[0010]步骤2：与跟踪上的和丢失的轨迹进行外观与运动匹配，判断匹配是否完成，若完成，则更新轨迹，否则输出未匹配轨迹与检测目标，其中，将检测目标与未确定轨迹进行运动匹配；
[0011]步骤3：判断匹配是否完成，若完成则更新轨迹，否则输出未匹配轨迹与检测目标，将未匹配轨迹标记移除，并判断检测目标的分数是否大于阈值，若大于阈值则初始化轨迹后结束数据关联，否则舍弃检测目标，结束数据关联。
[0012]本专利技术步骤1中目标检测器输出的目标分数不大于跟踪高阈值，则进一步判断目标分数是否大于跟踪低阈值，若不超过跟踪低阈值，则舍去，否则进行外观特征提取与检测目标初始化，然后将目标与未匹配的轨迹进行运动匹配，所述未匹配的轨迹由步骤2获得，判断匹配是否完成，若完成则更新轨迹，否则输出未匹配轨迹与检测目标，舍弃检测目标，并判断未匹配轨迹中轨迹未匹配帧是否大于阈值，若大于阈值，则标记移除，否则更新轨迹。
[0013]本专利技术采用YOLOX作为目标检测器，与R
‑
CNN、Faster R
‑
CNN基于锚框(Anchor
‑
base)的目标检测算法不同，使用无锚检测方式直接回归目标框左上角坐标和宽高，解耦的预测头利用三个分支分别预测前景概率、类别和目标框坐标，加快了YOLOX的收敛速度，提高了检测性能。
[0014]本专利技术通过两阶段的方式完成目标外观特征向量的提取，形成一种融合两种跟踪范式的算法，算法网络结构包括三大部分：YOLOX
‑
x目标检测网络、图片Re
‑
id特征提取网络和目标特征向量提取网络，其中目标检测网络YOLOX
‑
x的结构与ByteTrack算法或原始YOLOX算法保持一致，以便于充分利用现有的开源算法所提供的模型权重资源，获取较好的
目标检测效果；在目标外观特征提取过程中，首先类似于联合检测和跟踪范式的跟踪算法，通过与目标检测网络并行的图片Re
‑
id特征提取网络生成图片的高清特征图，并利用目标检测算法所输出的检测目标边界框信息对提取到的图片高清特征图进行加权处理，从而得到每个目标所对应的一个Re
‑
id特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合范式的视觉多目标跟踪方法，其特征在于，综合利用目标的外观信息和运动信息进行数据关联，包括以下步骤：步骤1：目标检测器输出的目标分数大于跟踪高阈值，则进行外观特征提取与检测目标初始化；步骤2：与跟踪上的和丢失的轨迹进行外观与运动匹配，判断匹配是否完成，若完成，则更新轨迹，否则输出未匹配轨迹与检测目标，其中，将检测目标与未确定轨迹进行运动匹配；步骤3：判断匹配是否完成，若完成则更新轨迹，否则输出未匹配轨迹与检测目标，将未匹配轨迹标记移除，并判断检测目标的分数是否大于阈值，若大于阈值则初始化轨迹后结束数据关联，否则舍弃检测目标，结束数据关联。2.根据权利要求1所述的一种融合范式的视觉多目标跟踪方法，其特征在于，步骤1中目标检测器输出的目标分数不大于跟踪高阈值，则进一步判断目标分数是否大于跟踪低阈值，若不超过跟踪低阈值，则舍去，否则进行外观特征提取与检测目标初始化，然后将目标与未匹配的轨迹进行运动匹配，所述未匹配的轨迹由步骤2获得，判断匹配是否完成，若完成则更新轨迹，否则输出未匹配轨迹与检测目标，舍弃检测目标，并判断未匹配轨迹中轨迹未匹配帧是否大于阈值，若大于阈值，则标记移除，否则更新轨迹。3.根据权利要求1所述的一种融合范式的视觉多目标跟踪方法，其特征在于，采用YOLOX作为目标检测器，与R
‑
CNN、Faster R
‑
CNN基于锚框(Anchor
‑
base)的目标检测算法不同，使用无锚检测方式直接回归目标框左上角坐标和宽高，解耦的预测头利用三个分支分别预测前景概率、类别和目标框坐标，加快了YOLOX的收敛速度，提高了检测性能。4.根据权利要求1所述的一种融合范式的视觉多目标跟踪方法，其特征在于，通过两阶段的方式完成目标外观特征向量的提取，形成一种融合两种跟踪范式的算法，算法网络结构包括三大部分：YOLOX
‑
x目标检测网络、图片Re
‑
id特征提取网络和目标特征向量提取网络，其中目标检测网络YOLOX
‑
x的结构与ByteTrack算法或原始YOLOX算法保持一致，以便于充分利用现有的开源算法所提供的模型权重资源，获取较好的目标检测效果；在目标外观特征提取过程中，首先类似于联合检测和跟踪范式的跟踪算法，通过与目标检测网络并行的图片Re
‑
id特征提取网络生成图片的高清特征图，并利用目标检测算法所输出的检测目标边界框信息对提取到的图片高清特征图进行加权处理，从而得到每个目标所对应的一个Re
‑
id特征图，然后，在跟踪算法中与基于检测的跟踪范式的算法相同，使用一个独立的特征向量提取网络来生成每个目标所对应的512维的特征向量，所以，整个目标外观特征提取网络中包括两个部分：图片特征提取网络和特征向量提取网络。通过上述两阶段的外观特征向量提取方式，保留了目标的位置信息、尺寸信息，且未产生目标形变。5.根据权利要求4所述的一种融合范式的视觉多目标跟踪方法，其特征在于，图片Re
‑
id特征提取网络在主干卷积网络底层的Stem、dark2和dark3三个卷积块输出层上构建，复用主干卷积网络的底层部分所提取到的图片特征，在主干卷积网络底层所输出的三个特征图送入图片Re
‑
id特征提取网络后，经过卷积计算最终生成包含各目标外观特征信息的10通道，大小为400
×
720的高清图片特征图，该高清特征图用于在后续网络中提取各检测目标的512维特征向量。6.根据权利要求5所述的一种融合范式的视觉多目标跟踪方法，其特征在于，首先利用
检测目标框对图片Re
‑
id特征提取网络输出的特征图进行加权，得到各目标的Re
‑
id特征图，然后，将目标Re
‑
...

【专利技术属性】
技术研发人员：康文静，张立可，刘功亮，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：