基于深度学习的多目标追踪方法技术

本申请公开了一种基于深度学习的多目标追踪方法。该方法将YOLOX与多目标追踪算法进行了融合；该方法优化了追踪器的设计并增加了针对特定目标的追踪机制；该方法还结合了自注意力机制和多尺度特征，重新设计了重识别算法部分。部分。部分。

【技术实现步骤摘要】
基于深度学习的多目标追踪方法


[0001]本申请涉及人工智能领域，并且具体地，涉及计算机视觉领域，更为具体地，本申请涉及计算机视觉领域中一种基于深度学习的多目标追踪方法。

技术介绍

[0002]目标跟踪是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等诸多领域。利用目标跟踪技术，只需要给定目标的一个初始状态，就能在视频序列中估计每一时刻的状态，从而在监控中形成跟踪轨迹，并根据跟踪轨迹进行行为分析。
[0003]目标跟踪可以分为单目标跟踪和多目标追踪。
[0004]单目标追踪是给定一个目标，追踪这个目标的位置；而多目标跟踪是追踪多个目标的位置。因此，多目标追踪问题不同于一般的单目标追踪问题，需要同时实现对视频中多个目标对象的追踪。为了实现对目标对象的追踪，现有的算法首先对视频中每一帧画面的多个目标进行检测定位以及为每个目标分配一个唯一的ID，然后将检测到的目标与已经追踪到的目标进行比对，最后根据比对的结果更新目标的运动轨迹。
[0005]目前的多目标追踪算法一般分为检测和追踪两个阶段。虽然目标追踪的应用前景非常广泛，但还是有一些问题限制了它的应用。
[0006]第一，由于检测算法的精度问题，导致画面中的目标对象出现漏检，从而引发跟踪失败。
[0007]第二，由于目标对象的尺度变化(目标尺度缩小时,跟踪框不能自适应跟踪；目标尺度增大时,跟踪框不能将目标完全包括在内)、姿态变化(例如，体育比赛中的运动员、马路上的行人)以及部分被遮挡或消失(跟踪框容易将遮挡物以及背景信息包含在跟踪框内，从而导致后续帧中的跟踪目标漂移到遮挡物上面)以及图像模糊(由于光照强度变化、目标快速运动、低分辨率等)等情况，导致追踪阶段的匹配出现错误，从而引发目标的ID发生改变，即ID switch(ID切换)。
[0008]第三，与单目标追踪算法不同，由于多目标追踪算法涉及到检测、追踪等多个环节，容易导致算法效率不能满足实时追踪的要求。
[0009]因此，本领域急需对现有的基于深度学习的多目标追踪技术进行有效地改进，以克服上述问题。

技术实现思路

[0010]以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。
[0011]如上所述，针对现有技术中多目标追踪算法所存在的问题，本申请提出了一种基
于深度学习的多目标追踪方法，其目的主要包括以下几点。
[0012]第一，在检测算法部分通过采用基于YOLOX的anchor
‑
free检测算法，在提高检测效率的同时保证了算法精度，避免出现目标对象漏检的情况；
[0013]第二，通过采用改进的行人重识别(Person Re
‑
identification，简称ReID)算法能够提取多尺度的图像特征，并且增加了自注意力模块non
‑
local，有利地解决了比对中的ID switch问题。
[0014]第三，通过简化各阶段的网络结构以及优化追踪器(增加区域的自动选择模块)来提高追踪的效率(降低计算量)，从而满足实时跟踪的要求。
[0015]第四，本申请的技术方案还额外设计了针对特定目标的的追踪机制。
[0016]根据一示例，描述了一种基于深度学习的多目标追踪方法，该方法包括以下步骤：
[0017]从视频流中抽取视频帧；
[0018]利用YOLOX进行目标检测以生成相应的检测框，该检测框为该目标的位置；
[0019]基于改进的行人重识别ReID算法提取该检测框中的该目标的特征以生成特征向量，其中该改进的行人重识别算法提取多尺度的图像特征，并且包括自注意力机制；
[0020]利用卡尔曼滤波算法来预测当前视频帧的检测框的位置；
[0021]将该ReID算法提取的特征与所预测的检测框的位置进行融合；以及
[0022]利用追踪器进行目标的追踪。
[0023]根据本申请的优选实施例，该改进的行人重识别算法对经过骨干网络的不同尺度的特征进行特征提取，以及该自注意力机制基于Non
‑
local模块。
[0024]根据本申请的优选实施例，该卡尔曼滤波算法基于初始化的轨迹来预测当前视频帧的检测框的位置，该初始化的轨迹基于已有的检测框位置。
[0025]根据本申请的优选实施例，将该ReID算法提取的特征与所预测的检测框的位置进行融合包括：
[0026]该初始化的轨迹经过卡尔曼滤波以生成确认轨迹和不确认轨迹；
[0027]将该确认轨迹与目标检测算法的检测框进行级联匹配以生成不匹配轨迹、不匹配检测框和匹配轨迹；
[0028]将该不确认轨迹与该级联匹配的结果进行IOU匹配，得到最终轨迹和检测框状态；
[0029]基于最终轨迹来判断其是否在最大生命周期内；
[0030]选择在该最大生命周期内的轨迹以更新卡尔曼滤波器。
[0031]根据本申请的优选实施例，该级联匹配包括所预测的检测框的位置信息和经过Reid算法提取的特征的双重匹配。
[0032]根据本申请的优选实施例，该确认轨迹为经过N次成功级联匹配的轨迹，其中N≥3。
[0033]根据本申请的优选实施例，该追踪器包括区域的自动选择模块，
[0034]该自动选择模块选择该确认轨迹中的目标检测算法的检测框周围的N个区域作为候选匹配目标。
[0035]根据本申请的优选实施例，如果需要针对特定目标进行追踪，则：
[0036]上传该特定目标的图片；
[0037]利用YOLOX进行目标检测以生成相应的检测框；
[0038]利用ReID算法提取该检测框的特征以初始化该追踪器，从而生成初始化的轨迹。
[0039]根据本申请的优选实施例，该YOLOX采用anchor
‑
free检测方法。
[0040]根据本申请的优选实施例，该改进的行人重识别ReID算法基于轻量级的骨干网络efficientnet
‑
b0。
[0041]为能达成前述及相关目的，这一个或多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。但是，这些特征仅仅是指示了可采用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方案。
附图说明
[0042]为了能详细理解本申请的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本申请的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多目标追踪方法，其特征在于，所述方法包括以下步骤：从视频流中抽取视频帧；利用YOLOX进行目标检测以生成相应的检测框，所述检测框为所述目标的位置；基于改进的行人重识别ReID算法提取所述检测框中的所述目标的特征以生成特征向量，其中所述改进的行人重识别算法提取多尺度的图像特征，并且包括自注意力机制；利用卡尔曼滤波算法来预测当前视频帧的检测框的位置；将所述ReID算法提取的特征与所预测的检测框的位置进行融合；以及利用追踪器进行目标的追踪。2.如权利要求1所述的多目标追踪方法，其特征在于，所述改进的行人重识别算法对经过骨干网络的不同尺度的特征进行特征提取，以及所述自注意力机制基于Non
‑
local模块。3.如权利要求1所述的多目标追踪方法，其特征在于，所述卡尔曼滤波算法基于初始化的轨迹来预测当前视频帧的检测框的位置，所述初始化的轨迹基于已有的检测框位置。4.如权利要求3所述的多目标追踪方法，其特征在于，将所述ReID算法提取的特征与所预测的检测框的位置进行融合包括：所述初始化的轨迹经过卡尔曼滤波以生成确认轨迹和不确认轨迹；将所述确认轨迹与目标检测算法的检测框进行级联匹配以生成不匹配轨迹、不匹配检测框和匹配轨迹；将所述不确认轨迹与所述...

【专利技术属性】
技术研发人员：金子杰，张力文，林聪，练俊健，潘浩，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：