一种跨摄像头多视场景目标连续跟踪与重识别定位方法技术

本发明专利技术提供了一种跨摄像头多视场景目标连续跟踪与重识别定位方法，本发明专利技术针对现有跟踪算法将目标定位和时序关联分开的思路，本专利实现的端到端网络可以同时完成分类、回归及跟踪合集的产生，是端到端的跟踪算法，本非发明专利技术基于时间聚合网络进行检测框传递优化及置信度更新方法，可以跨摄像头传递检测跟踪框，同时优化跟踪置信度，在存在遮挡等情况可以实现“透视”效果，同时能够避免NMS导致的特征检测限制，本发明专利技术基于时间聚合网络的过程特征参数的传递优化算法，可以跨摄像头传递跟踪合集，从而优化连续跟踪效果及跨摄像头的ID迁移、关联及更新，最终实现构建全场景目标跟踪。最终实现构建全场景目标跟踪。最终实现构建全场景目标跟踪。

【技术实现步骤摘要】
一种跨摄像头多视场景目标连续跟踪与重识别定位方法


[0001]本专利技术涉及目标跟踪与重识别领域，更具体地说，涉及一种跨摄像头多视场景目标连续跟踪与重识别定位方法。

技术介绍

[0002]基于多目标的检测、跟踪及重识别，可以从视觉的角度，实现特定目标的连续跟踪定位，从而从一定程度解决室内定位的难题；结合智慧城市、智慧交通等场景，可以解决对于特定目标的轨迹回溯、跟踪预警、行为判断分析等问题。目前已有大量文献提出了各种单视情况下的目标重识别，但是在多视情形下，相关的解决方案仍旧比较欠缺。
[0003]基于多视情况下的多目标跟踪及重识别，需要解决两个关键问题：(1)多目标在跨摄像头情况下，跟踪的时序相关性及连续性问题；(2)多目标在跨摄像头的情形下的ReID算法实现；(3)另外，基于多尺度情况下的目标跟踪，由于模型的泛化性问题存在，在相机存在变焦情况下，场景内元素存在变尺度的情况导致基础检测网络无法检测到对应的目标，从而导致跟踪网络发现“跟丢”的情况。
[0004]目前存在大量基于单摄像头的目标检测、跟踪及重识别算法，可以解决部分场景下，目标的连续跟踪及ReID问题。但是在跨摄像头的场景下，对于多目标的跟踪及重识别，则仍然缺少可行的解决方案。

技术实现思路

[0005]为了解决上述技术问题，本专利技术提供一种跨摄像头多视场景目标连续跟踪与重识别定位方法。
[0006]本专利技术的跨摄像头多视场景目标连续跟踪与重识别定位方法提出了一种时间聚合网络传参优化的多视目标跟踪及重识别的方式，基于一个端到端的多目标跟踪及重识别基础网络，通过对时间聚合网络从多个层面进行优化，最终解决跨摄像头场景的多目标的ReID，从多视的角度解决目标的连续跟踪定位问题，用于解决上述问题(1)和(2)。
[0007]本专利技术的跨摄像头多视场景目标连续跟踪与重识别定位方法提出了一种时间聚合网络传参优化的多视目标跟踪及重识别方法提出了一种多尺度的模型训练方式，通过单尺度模型动态生成多尺度数据集，进行实时训练，动态提升模型的泛化能力，用于解决上述问题(3)。
[0008]本专利技术的跨摄像头多视场景目标连续跟踪与重识别定位方法提出了基于端到端的多目标跟踪及重识别方法来解决跨摄像头场景的多目标的ReID，从多视的角度解决目标的连续跟踪定位问题，从而最终可应用于大场景下，多摄像头情况下，基于视觉的多目标连续定位。
[0009]实施本专利技术的跨摄像头多视场景目标连续跟踪与重识别定位方法具有如下技术效果：本专利技术针对现有跟踪算法将目标定位和时序关联分开的思路，本专利实现的端到端网络可以同时完成分类、回归及跟踪合集的产生，是端到端的跟踪算法，本非专利技术基于时间
聚合网络进行检测框传递优化及置信度更新方法，可以跨摄像头传递检测跟踪框，同时优化跟踪置信度，在存在遮挡等情况可以实现“透视”效果，同时能够避免NMS导致的特征检测限制，本专利技术基于时间聚合网络的过程特征参数的传递优化算法，可以跨摄像头传递跟踪合集，从而优化连续跟踪效果及跨摄像头的ID迁移、关联及更新，最终实现构建全场景目标跟踪。
附图说明
[0010]下面将结合附图及实施例对本专利技术作进一步说明，附图中：
[0011]图1是本专利技术的端到端的目标跟踪基础网络对应的流程图；
[0012]图2是解码器的流程图；
[0013]图3是时间聚合网络对应的流程图；
[0014]图4是跨相机约束传递流程图；
[0015]图5是跨相机约束传递原理图。
具体实施方式
[0016]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。
[0017]本实施例的跨摄像头多视场景目标连续跟踪与重识别定位方法，采用ReID算法实现，包括：
[0018](1)端到端的目标跟踪基础网络构建
[0019]端到端目标跟踪基础网络基于近期流行的目标检测的显式解耦表示中构建的“检测集合”概念，构建了“跟踪集合”的概念，其中每一个跟踪集合负责预测一个完整的轨迹。
[0020]如图1、2所示，将当前帧的影像数据依次输入次到特征提取骨干网络以及Transformer结构终端编码器，生成与跟踪合集同格式的特征合集，同时基于连续帧处理结果，将该特征合集与上一帧的跟踪合集进行级联，作为当前帧的Transformer结构终端解码器的输入。在输入Transformer结构终端解码器之后，分别基于目标进出机制和时间聚合网络实现当前帧的跟踪结果的输出和跟踪集合的输出。生成的当前帧跟踪合集迭代传递，负责处理下一帧的目标跟踪结果。
[0021]由于传统跟踪网络并不负责预测特定目标，因而一个跟踪合集在不同帧对相同目标的预测，ID会发生变化，而本专专利技术基于跟踪合集的迭代传递，可以解决该问题，一个跟踪合集一旦和某个目标进行匹配，将会一直跟随这个目标，直至其走出摄像头视野、或者因为阻挡等原因不再被特征检测网络所识别。基于该结构，本专利技术最终实现了一个端到端的目标跟踪基础网络。
[0022](2)目标进出机制和时间聚合网络
[0023](2.1)目标进出机制
[0024]本专利技术中，每个跟踪合集表示一个完整轨迹，然而，一些目标可能在中间某一帧出现或者消失，因此基于检测框{box
i
,
…
,box
j
}，假定目标在i帧出现但在j帧消失，其中box表示检测框，其下标为帧序号。
[0025]将前后帧的影像数据中的检测框，作为两组数据，这两组数据之间存在匹配关系，
同一帧中的检测框经过非极大值抑制(NMS)之后，认为他们都是不同的目标，不存在匹配关系，因而在模型训练阶段，将跟踪网络中前后帧的影像数据中检测框的匹配问题归一化为一个求二分图的最大匹配数的问题通过二分图最优匹配算子监督完成。
[0026]二分图最优匹配算子以匈牙利算法为核心，可理解为对匈牙利算法的一种贪心扩展，具体包含如下步骤：
[0027](21)初始化可行顶标的值
[0028]可行顶标的值是对于原图中的任意一个结点，给定一个函数l(node)求出结点的顶标值，用数组lx(x)记录前一帧目标集合X中的结点顶标值，用数组ly(y)记录当前帧目标集合Y中的结点顶标值，对于原图中任意一条边edge(x,y)都满足:
[0029]lx(x)+ly(y)>＝weight(x,y)，
[0030]前后帧的数据影像的对应检测框之间的欧氏距离来表示weight，公式如下：
[0031][0032]其中D
x
，D
y
为检测框i中心像素点坐标，T
x
，T
y
为检测框j中心像素点坐标，width为检测框的宽度，height为检测框高度，angle为检测框旋转角度。
[0033](22)用匈牙利算法寻找相等子图的完备匹配。
[0034]相等子图是原图的一个生成子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨摄像头多视场景目标连续跟踪与重识别定位方法，采用ReID算法实现，其特征在于，包括：(1)端到端的目标跟踪基础网络构建将当前帧的影像数据依次输入次到特征提取骨干网络以及Transformer结构终端编码器，生成与跟踪合集同格式的特征合集，并将该特征合集与上一帧的跟踪合集进行级联，作为当前帧的Transformer结构终端解码器的输入，输入解码器后，分别基于目标进出机制和时间聚合网络实现当前帧的跟踪结果的输出和跟踪集合的输出；(2)目标进出机制和时间聚合网络(2.1)目标进出机制将前后帧的影像数据中的检测框，作为两组数据，这两组数据之间存在匹配关系，同一帧中的检测框经过非极大值抑制之后，认为他们都是不同的目标，不存在匹配关系，从而将跟踪网络中前后帧的影像数据中检测框的匹配问题归一化为一个求二分图的最大匹配数的问题通过二分图最优匹配算子监督完成；(2.2)时间聚合网络收集和已跟踪目标相关联的跟踪配准参数构建q
g
表示多个跟踪配准参数，获得其中，表示级联，表示第i帧的跟踪配准参数，M表示跟踪配准参数合集的数量；将级联的跟踪集合送入多注意力模块从而生成注意力权重，从而获得以下点积注意力公式：其中被作为多头注意力的跟踪配准参数，σ
s
表示softmax函数，d表示跟踪集合的维度，T表示转置；基于前馈网络的进一步调整优化，最终输出i+1帧的跟踪配准参数具体如下公式：其中，FC表示线性投影层，LN表示层标准化，表示第i帧的跟踪配准参数，σ
r
表示RELU激活函数；(3)基于时间聚合网络的传参优化实现多视多目标跟踪(3.1)跨相机的时间同步配置将多个相机接入到同一交换机或同网段中，基于NTP时间同步服务器，实现多个相机的时间同步，从而达到帧同步的目的；(3.2)基于极线标定进行跨相机检测框传递优化及置信度更新假定多个相机具有共视区域，通过相机标定并完成共视相机的配准，在Transformer结构终端编码器完成特征合集与上一帧的跟踪合集级联之后，基于配准的基础矩阵及互投关联算法完成多目标跨相机的标定配准，然后分别作为多个相机当前帧的Transformer结构终端解码器的输入进行处理；
当完成两个相机的标定配准后，经过坐标换算，设定一种基于欧氏距离的加权互投机制，假定A相机共有m个检测框{boA1,
…
,boA
m
}，B相机共有n个检测框{boB1,
…
,boB
n
}，设定B相机的检测框B
n
的质心投影到A相机的相空间后与A相机检测框A
m
质心的欧氏距离为eudA
nm
，对应A相机的相机检测框A
m
质心投影到B相机的相空间后与B相机的检测框B
n
的质心的欧氏距离为eudB
mn
，同时，设定动态阈值上限eudMx以限制两边同时有多个目标跟丢的极端情况，则当且仅当满足以下公式：eudB
ij
＝min(eudB
in
)；eudB
ij
<eudMx，eudA
ji
＝min(eudA
jm
)；eudA
ji
<eudMx，才认为A相机的检测框A
i
和B相机的检测框B
j
完成了配准，对于配准的检测框结果进行ID传递，同时取置信度高的结果传递到置信度低的一方，从而完成了跨相机的ID及置信度传递；当存在目标未配准情况时，认为相机中存在跟丢目标，假定A相机存在高置信度目标结果而B相机不存在与之匹配的检测框，则通过过投影的方式将A相机内该目标质心投影至B相机，并基于投影的质心反算检测框的四个角点，同时传递其在A相机的ID和置信度，实现对于B相机中跟丢目标的检测框补偿，同时，由于连续跟踪过程中匹配机制的存在，可以通过逆向推导，得知跟丢的...

【专利技术属性】
技术研发人员：冯华斌，
申请(专利权)人：武汉新瑞通达信息技术有限公司，
类型：发明
国别省市：