一种基于目标检测与特征提取结合模型的多目标跟踪算法制造技术

本发明专利技术提供了一种基于目标检测与特征提取结合模型的多目标跟踪算法，包括以下步骤：S1、在具有FPN结构的目标检测网络的预测特征图层后增加提取目标外观特征网络层；S2、对增加了目标外观特征提取网络层的FPN结构的目标跟踪的检测网络计算出目标混合损失；S3、将多帧目标检测、跟踪过程利用神经网络形成特征对比数据库；S4、将当前的图像目标外观特征与数据库中的特征对比，若目标一致则画出目标轨迹；若目标不一致则将特征加入得到对比数据库中，形成新的对比数据库，重复步骤S2、S3。本发明专利技术所述的跟踪的目标较多时，本发明专利技术的跟踪算法在目标的位置回归、类别分类、特征提取的过程中，能够有很好的实时性表现，算法运行时间相对稳定，不会因为目标数量的增多，而随之线性的增加时间了。

【技术实现步骤摘要】
一种基于目标检测与特征提取结合模型的多目标跟踪算法
本专利技术属于视频监控领域，尤其是涉及一种基于目标检测与特征提取结合模型的多目标跟踪算法。
技术介绍
随着社会的进步与发展，视频监控系统的应用越来越广泛，在社会安保放面扮演的角色也越来越重要。现有的监控系统无法满足当前智能化社会的需求，问题主要体现在：不能全面了解大监控场景下的目标信息，无法及时的获取每个景物(包括行人、车辆等)详细信息，无法及时高效的反馈监控内容。当下最流行的基于深度学习模型的跟踪算法能够在一定程度上解决上述问题，但适应的场景也较为有限。目前跟踪算法大多是SOT(SingleObjectTracking，单目标跟踪)，当目标数量变多时，算法带来的时间消耗也随之线性的增大。虽然也有一些MOT(Multi-Object-Tracking，多目标跟踪算法)出现，但其跟踪过程步骤较多，通常包含了目标检测、目标特征提取、目标特征匹配等多个步骤，无法做到真正的多目标实时跟踪。
技术实现思路
有鉴于此，本专利技术旨在提出一种基于目标检测与特征提取结合模型的多目标跟踪算法，以当下MOT跟踪过程步骤较多的问题而提出的，其目的是为了减少MOT多目标跟踪的算法步骤，将算法执行时间压缩，来提高跟踪的实时性，以实现多目标的实时跟踪。为达到上述目的，本专利技术的技术方案是这样实现的：一种基于目标检测与特征提取结合模型的多目标跟踪算法，包括以下步骤：S1、在具有FPN结构的目标检测网络的预测特征图层后增加提取目标外观特征网络层；所述提取目标外观特征网络层实际上是在FPN结构中增加一个具有特征提取的模块，具体增加方式为现有技术，此处不再详细介绍；S2、对增加了目标外观特征提取网络层的FPN结构的目标跟踪的检测网络计算出目标混合损失；S3、将多帧目标检测、跟踪过程利用神经网络形成特征对比数据库；S4、将当前的图像目标外观特征与数据库中的特征对比，若目标一致则画出目标轨迹；若目标不一致则将特征加入得到对比数据库中，形成新的对比数据库，重复步骤S2至S4。进一步的，所述步骤S2中目标混合损失包括目标分类损失LossC、边框回归损失LossR以及外观特征损失LossF。进一步的，所述步骤S2中目标混合损失计算采用针对任务权重的自动学习方法，公式如下：式(1)中，为每个单独Loss的不确定性损失，在模型训练过程中作为可学习参数，用于调节每个Loss任务在最终LossFused中的权重相对于现有技术，本专利技术所述的一种基于目标检测与特征提取结合模型的多目标跟踪算法具有以下优势：当跟踪的目标较多时，本专利技术的跟踪算法在目标的位置回归、类别分类、特征提取的过程中，能够有很好的实时性表现，算法运行时间相对稳定，不会因为目标数量的增多，而随之线性的增加时间了。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例所述的FPN结构的网络示意图；图2为本专利技术实施例所述的预测特征图后增加特征提取层示意图；图3为本专利技术实施例所述的多目标跟踪算法流程图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术中的具体含义。下面将参考附图并结合实施例来详细说明本专利技术。一种基于目标检测与特征提取结合模型的多目标跟踪算法，包括以下步骤：S1、在具有FPN结构的目标检测网络的预测特征图层后增加提取目标外观特征网络层；所述提取目标外观特征网络层实际上是在FPN结构中增加一个具有特征提取的模块，具体增加方式为现有技术，此处不再详细介绍；S2、对增加了目标外观特征提取网络层的FPN结构的目标跟踪的检测网络计算出目标混合损失；S3、将多帧目标检测、跟踪过程利用神经网络形成特征对比数据库；S4、将当前的图像目标外观特征与数据库中的特征对比，若目标一致则画出目标轨迹；若目标不一致则将特征加入得到对比数据库中，形成新的对比数据库，重复步骤S2至S4。所述步骤S2中目标混合损失包括目标分类损失LossC、边框回归损失LossR以及外观特征损失LossF。所述步骤S2中目标混合损失计算采用针对任务权重的自动学习方法，公式如下：式(1)中，为每个单独Loss的不确定性损失，在模型训练过程中作为可学习参数，用于调节每个Loss任务在最终LossFused中的权重(i)选择具有FPN(FeaturePyramidNetworks，特征金字塔网络)结构的目标检测网络，如Yolo-V3检测网络。对于卷积神经网络而言，不同深度对应着不同层次的语义特征，浅层网络分辨率高，学的更多是细节特征，深层网络分辨率低，学的更多是语义特征。这里采用FPN结构一方面是为了更好的回归出跟踪目标位置，使得跟踪更加准确。另一方面是因为我们需要在不同尺度的特征图上提取跟踪目标的外观信息。如果只是选择较深的FeatureMap提取特征，可能它获取的只是目标语义层面而不包含目标的浅层细节特征。(ii)在FPN网络的预测特征层后填加FeatureExtractLayer，即特征提取网络层。一般检测网络在最后的预测特征层上会进行目标位置回归(BoxRegression)和目标框的类别分类(BoxClassification)。本算法中，会在这里引入特征提取层(FeatureExtractLayer)用于抽取目标的外观特征信息。如图2所示，让检测网络在输出目标位置和类别信息时，同时输出它的特征向量。将原先分步走的目标检测和特征提取过程融合到一起，节省算法的执行步骤，节约时间成本。(iii)增加外观特征LossF本文档来自技高网...

【技术保护点】
1.一种基于目标检测与特征提取结合模型的多目标跟踪算法，其特征在于包括以下步骤：/nS1、在具有FPN结构的目标检测网络的预测特征图层后增加提取目标外观特征网络层；/nS2、对增加了目标外观特征提取网络层的FPN结构的目标跟踪的检测网络计算出目标混合损失；/nS3、将多帧目标检测、跟踪过程利用神经网络形成特征对比数据库；/nS4、将当前的图像目标外观特征与数据库中的特征对比，若目标一致则画出目标轨迹；若目标不一致则将特征加入得到对比数据库中，形成新的对比数据库，重复步骤S2至S4。/n

【技术特征摘要】
1.一种基于目标检测与特征提取结合模型的多目标跟踪算法，其特征在于包括以下步骤：
S1、在具有FPN结构的目标检测网络的预测特征图层后增加提取目标外观特征网络层；
S2、对增加了目标外观特征提取网络层的FPN结构的目标跟踪的检测网络计算出目标混合损失；
S3、将多帧目标检测、跟踪过程利用神经网络形成特征对比数据库；
S4、将当前的图像目标外观特征与数据库中的特征对比，若目标一致则画出目标轨迹；若目标不一致则将特征加入得到对比数据库中，形成新的对比数据库，重复步骤S2至S4。


2.根据...

【专利技术属性】
技术研发人员：戴林，王健，薛超，王景彬，邓晔，张龙龙，
申请(专利权)人：天地伟业技术有限公司，
类型：发明
国别省市：天津;12