一种基于高空视角与地面视角的多目标协同跟踪方法技术

本发明专利技术公开了一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；步骤s3，计算不同小段轨迹之间的相似性得分；步骤s4，依据相似得分采用联合优化函数进行轨迹关联生成短交叉视图轨迹；步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；本发明专利技术该方法具有高于现有方法的匹配精度，且获得了很好的跨域性能。且获得了很好的跨域性能。且获得了很好的跨域性能。

【技术实现步骤摘要】
一种基于高空视角与地面视角的多目标协同跟踪方法


[0001]本专利技术属于目标跟踪领域，涉及穿戴相机、无人机同时拍摄的两个视角下的视频的标跟踪，尤其涉及一种基于高空视角与地面视角的多目标协同跟踪方法。

技术介绍

[0002]本专利技术中涉及到的
技术介绍
有：
[0003](1)行人目标检测器(参见文献[1])：行人目标检测器作为数据预处理的一个重要组成部分，已经广泛的应用到目标跟踪、行人重定位以及动作识别等各个领域中。目前常用的行人检测器可以分为基于背景建模和基于统计学习的方法两大类。前者必须适应环境的变化，同时受限于相机抖动引起的画面抖动等情况。后者是目前常用的行人检测的方法，通过构建大量的样本来构建行人检测分类器。目前，深度学习在行人检测中的作用不容忽视。其中YOLO检测器被用于本专利技术来提供对应的目标检测框。
[0004](2)空地协同视角移动相机网络：运动相机技术的进步为视频监控提供了新的视角。无人机可以提供地面上一组对象的俯视图。可穿戴式摄像机可以提供同一组对象的地面视图。本专利技术中提出了一种新的空地协同视角移动相机网络的问题，其中俯视图可以提供目标全局信息，地面视图可以提供目标局部细节，因此二者可以很好地进行信息的互补，从而为户外监视提供更好的覆盖范围和灵活性。通过该互补网络可以有效应用于协作跟踪、个人/团体活动识别等任务中。
[0005](3)基于空间分布的跨视角多目标关联：由于外观和动作信息无法被利用，俯视视图和地面视图的关联变得十分困难，而基于空间分布的跨视角关联可以借助高空视角和地面视角之间空间位置分布信息，实现目标之间的关联。通过该方法可以更好的对不同视角的数据进行协作分析，从而应用于目标跟踪、行人重识别、动作识别等任务中。

技术实现思路

[0006]本专利技术的目的是针对同一场景中空地协同视角下的同步视频提出一种联合全局和局部信息的多目标跟踪技术，借助穿戴相机、无人机设备，利用相对简单而有效的策略，从而实现空地协同视角下目标的协同跟踪；本专利技术可用于在同一场景中利用空地协同视角下相机拍摄的视频，无需限制视角内目标数目的情况下，对地面、高空视角中的目标同时进行跟踪，并将两个视角的目标一一对应。
[0007]本专利技术采用如下技术方案实施：
[0008]一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：
[0009]步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；
[0010]步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；
[0011]步骤s3，计算不同小段轨迹之间的相似性得分；
[0012]步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；
[0013]步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：
[0014]通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；
[0015]根据相似度度量采用如下公式求解：
[0016][0017]其中：c
ij
表示轨迹片段i和j之间的相似度，可以由步骤三计算得到；a
ij
为0
‑
1的二值变量，表示是否两个轨迹片段属于同一目标。
[0018]进一步，采用跨视角轨迹相似性获得所述步骤S3中不同视角相同时刻的两段小段轨迹之间的相似性得分生成的步骤：
[0019]201、采用空间分布一致性
[0020]利用基于空间分布的方法得到高空与地面视图的匹配结果：
[0021]如果检测框B
m
与检测框B
q
匹配结果是同一人，则S(B
m
,B
q
)＝1；否则，S(B
m
,B
q
)＝0；高空视图轨迹B
m
与地面视图轨迹B
q
之间的相似性表示如下：
[0022][0023]其中，F是重叠的帧数，B
m
是顶视视图下的检测结果，B
q
是地面视图下的检测结果，|B
m
|是轨迹B
m
的数量，|B
q
|是轨迹B
q
的数量；
[0024]202、采用外观相似性
[0025]利用孪生网络来度量轨迹间相似性；
[0026]分别计算空地协同视角下两段轨迹的平均图像并输入网络；
[0027]提取特征
[0028]计算特征间的欧氏距离得到相似性得分
[0029]结合以上相似性得分，利用线性组合计算边的权重为：
[0030]进一步，采用跨时间轨迹一致性获得所述步骤S3中不同时间同一视角两段小段轨迹之间的相似性得分生成的步骤：
[0031]302、利用颜色直方图来度量单视图目标的外观相似性获得外观轨迹一致性：
[0032]计算单个视图轨迹的目标颜色直方图；
[0033]将颜色直方图的中值Ψ(B)作为轨迹B的外观描述符；
[0034]利用直方图相交计算轨迹间外观相似性
[0035]302、利用恒定速度运动模型来预测运动一致性获得动作连续性：
[0036]利用运动模型计算正向偏差误差δ
p
和反向偏差误差δ
n
；
[0037]通过δ＝α(δ
p
+δ
n
)测量轨迹间差异性；
[0038]将误差转化为相似性
[0039]结合以上相似性得分，利用线性组合计算边的权重为：有益效果
[0040]本专利技术通过使用穿戴相机、无人机设备，选取简单而有效的策略，自主设计了一种联合空地协同视角多目标跟踪方法，有效解决了多行人运动场景下得遮挡问题，结果精确，
算法高效，具体来说，有如下优点：
[0041]a.跟踪精度高
[0042]利用空地协同视角下拍摄的视频，可以获取目标的全局运动轨迹和局部外观细节，极大程度缓解了由遮挡造成的目标丢失，因此达到了较高的跟踪精度。协同跟踪结果的可视化结果见图2。
[0043]b.算法复杂度低、速度快
[0044]本方法用于目标跟踪，经大量实验统计，运行速度为4.24fps，优于现有的绝大数跟踪方法。在精确度保证的前提下，时间消耗很大程度上减少。
[0045]c.迁移能力强
[0046]本专利技术无需大量数据进行训练，不依赖具体数据特征，具有极强的通用性。
附图说明
[0047]图1：空地协同视角多目标跟踪问题流程图
[0048]图2：空地协同视角多目标跟踪结果示意图
具体实施方式
[0049]下面结合附图对本专利技术做出详细说明：
[0050]本专利技术提供一种基于高空视角与地面视角的多目标协同跟踪方法，首先将每个视图中的视频分割成长本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高空视角与地面视角的多目标协同跟踪方法，其特征在于：步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；步骤s3，计算不同小段轨迹之间的相似性得分；步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；根据相似度度量采用如下公式求解函数其中：c
ij
表示轨迹片段i和j之间的相似度，可以由步骤三计算得到；a
ij
为0
‑
1的二值变量，表示是否两个轨迹片段属于同一目标。2.根据权利要求1所述的一种基于高空视角与地面视角的多目标协同跟踪方法，其特征在于：采用跨视角轨迹相似性获得所述步骤S3中不同视角相同时刻的两段小段轨迹之间的相似性得分生成的步骤：201、采用空间分布一致性利用基于空间分布的方法得到高空与地面视图的匹配结果：如果检测框B
m
与检测框B
q
匹配结果是同一人，则S(B
m
,B
q
)＝1；否则，S(B
m
,B
q
)＝0；高空视图轨迹B
...

【专利技术属性】
技术研发人员：冯伟，韩瑞泽，万亮，王松，
申请(专利权)人：天津大学，
类型：发明
国别省市：