一种多目标多相机跟踪方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种多目标多相机跟踪方法、系统、设备及存储介质，利用无线定位轨迹充分挖掘行人空间位置信息，将该信息与视觉信息充分融合后用于跟踪，通过引入无线信息解决了的行人在不同相机下的视角、姿态、以及环境中的光照背景都会发生巨大改变时带来的视觉特征不鲁棒问题，并且无线信息可以通过手机信号直接采集，无需额外的标注成本。无线信息中包含着丰富的行人空间位置特征，可以用于跟踪器中。中。中。

【技术实现步骤摘要】
一种多目标多相机跟踪方法、系统、设备及存储介质


[0001]本专利技术涉及多目标多相机跟踪系统
，尤其涉及一种多目标多相机跟踪方法、系统、设备及存储介质。

技术介绍

[0002]1)多目标多相机跟踪。
[0003]随着社会经济和科学技术的发展，监控相机被广泛地安装在社会的各个场所，几乎所有人流密集的场所都会安装大量的监控相机，比如学校、车站、医院、商场等场所。这些监控相机时刻记录着拍摄范围内的所有视觉信息，我们可以通过跟踪监控相机拍摄范围内的行人来及时发现违法犯罪行为，也可以对已经发生的犯罪行为进行调查取证，这对于维护社会治安起到了巨大的作用。通常监控相机拍摄的视频持续时间较长，并且在同一场景下监控相机较多，当我们需要对该场景下的行人进行跟踪时，需要耗费大量的人力资源，如何简单且高效地利用好这些由监控相机拍摄到的数据成了一项具有挑战性的任务。我们希望利用科技手段自动跟踪监控相机下面多个行人轨迹，以此来减少人力成本。
[0004]多目标多摄像头跟踪是一个具有挑战且有实用价值的任务，其目的在于从一组由监控相机拍摄到的原始视频流中推断出每一个行人的轨迹。该技术首先需要对的单监控相机下面的多个行人同时进行跟踪得到多个行人的轨迹片段，然后需要关联不同监控相机下相同行人的轨迹片段，从而最终生成每个行人在整个监控相机网络中完整的轨迹。在单监控相机跟踪行人得到轨迹片段时，首先需要检测不同监控相机下的行人，然后对检测到的行人提取视觉特征，最后根据行人视觉特征以及空间位置信息逐帧地进行数据关联，得到单相机下的轨迹片段。在跨相机数据关联时，需要对在单相机下得到的轨迹片段提取鲁棒的特征，并基于该特征进行数据关联，最终得到每个行人完整的轨迹。其涵盖了行人检测(Pedestrian Detection)、行人重识别(Person Re
‑
Identification,ReID)、多目标跟踪(Multiple Object Tracking,MOT)等多种技术，最终产生的多监控相机下的行人轨迹有许多实际的应用，比如行人的异常行为检测，人群行为分析等。所以，多目标多摄像头跟踪具有很大的研究意义与实用价值。
[0005]2)无线定位。
[0006]无线网络定位是指在参考坐标系下确定物体的空间位置信息。对于未知物体(节点)的定位可以分成三个阶，信息获取阶段、位置估计阶段和定位求精阶段。在信息获取阶段，我们需要得到未知节点与锚节点之间的距离信息和连通度，距离信息一般为相对位置信息或角度信息，连通度表示未知节点能否接受来自锚点的信息。位置估计阶段指利用代数或者几何方法对未知节点的空间位置信息进行估计。定位求精阶段指对以上两个阶段产生的误差进行修正，得到更加精准的位置信息。
[0007]对于信息获取阶段，一般有到达时间(Time of Arrival，TOA)、到达时间差(Time Difference of Arrival，TDOA)、到达角度(Angel of Arrival，AOA)、接受信号强度指示(Received Signal Strength Indicator，RSSI)等方法。TOA可以对未知节点和锚节点之间
的信号传播时间进行测量，根据信号传播速率可以得到未知节点到锚节点之间的距离。考虑到直接测量信号在未知节点与锚节点传输过程中的绝对时间比较困难，TDOA根据信号到达多个锚节点的绝对时间差，得到距离差。从而作出多条以锚节点为焦点，距离差为长轴的双曲线，这些双曲线的交点就是未知节点的位置。AOA可以对未知节点和锚节点接受或发送信号的方向进行测量，从未得到未知节点与锚点之间的角度信息。RSSI通过节点接收到信号的强度估计未知节点到锚节点的距离。对于位置估计阶段，一般有三边测量法和三角测量法，三边测量法以TOA方法作为基础，而三角测量法以AOA方法作为基础。对于定位求精阶段，非视距传播(Non
‑
Line
‑
of
‑
Sight,NLOS)会给测距结果带来极大的影响。当无线信号在传输过程中遇到遮挡等因素的干扰时，节点之间测传播并非为直线，所以接收节点感知到的视距传播(Line
‑
of
‑
Sight,LOS)信号较弱时，会产生NLOS误差，目前有大量的工作集中在解决NLOS误差上。对于TOA和TDOA算法，误差还来源于时钟无法严格同步，一般可用时钟同步算法减少该误差。
[0008]GPS定位是目前广泛使用的定位方法。移动手机中继承了GPS模块，基于上述无线网络定位原理可以直接获取定位结果，精度误差约10米。
[0009]目前多目标多相机跟踪技术主要存在如下技术问题：
[0010]1)现有的多目标多相机跟踪系统依赖于行人的视觉特征。但是在真实的监控场景中监控相机之间往往相隔的较远，这导致行人在不同相机下的视角、姿态、以及环境中的光照背景都会发生很大的改变，这些不可靠的因素很容易误导多目标多相机跟踪器。
[0011]2)现有的多目标多相机跟踪系统为了能够提取相对可靠的行人视觉特征需要对不同的场景进行额外的人工视觉标注，这带来了很高的数据标注成本，非常不利于真实场景下的系统落地。
[0012]3)现有的多目标多相机跟踪系统仅考虑了简单的行人空间位置特征。比如通过行人的运动方向与速度大致估算出行人的位置。但事实上，行人的运动有极大的不确定性，可以在任何时间出现在任何地点。

技术实现思路

[0013]本专利技术的目的是提供一种多目标多相机跟踪方法、系统、设备及存储介质，无需额外的视觉标注信息，可以减少大量的人力成本，能够推动多目标多相机跟踪系统在真实场景下的应用落地；同时可以显式地建模时空多线索之间的相关性，实现更好的跟踪效果，特别是在有遮挡、视角转变、光照变化的复杂场景下。
[0014]本专利技术的目的是通过以下技术方案实现的：
[0015]一种多目标多相机跟踪方法，包括：
[0016]对每个相机采集的视觉数据分别进行行人检测与行人特征提取，获得行人轨迹框与行人特征，利用行人轨迹框与行人特征生成每个相机中所有行人的视觉轨迹片段，综合所有相机的所有行人的视觉轨迹片段，构成视觉轨迹片段集合；
[0017]计算视觉轨迹片段集合中不同视觉轨迹片段之间的相似度，以及将视觉轨迹片段集合映射至真实物理空间，并计算映射后每一视觉轨迹片段与采集到的真实物理空间中的无线轨迹之间的距离；
[0018]结合不同视觉轨迹片段之间的相似度以及映射后每一视觉轨迹片段与采集到的
真实物理空间中的无线轨迹之间的距离进行迭代计算，获得最终的不同视觉轨迹之间的相似度；
[0019]基于最终的不同视觉轨迹片段之间的相似度，将视觉轨迹片段集合中不同视觉轨迹片段进行合并，获得跨相机的完整轨迹。
[0020]一种多目标多相机跟踪系统，包括：
[0021]轨迹片段集合生成模块，用于对每个相机采集的视觉数据分别进行行人检测与行人特征提取，获得行人轨迹框与行人特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标多相机跟踪方法，其特征在于，包括：对每个相机采集的视觉数据分别进行行人检测与行人特征提取，获得行人轨迹框与行人特征，利用行人轨迹框与行人特征生成每个相机中所有行人的视觉轨迹片段，综合所有相机的所有行人的视觉轨迹片段，构成视觉轨迹片段集合；计算视觉轨迹片段集合中不同视觉轨迹片段之间的相似度，以及将视觉轨迹片段集合映射至真实物理空间，并计算映射后每一视觉轨迹片段与采集到的真实物理空间中的无线轨迹之间的距离；结合不同视觉轨迹片段之间的相似度以及映射后每一视觉轨迹片段与采集到的真实物理空间中的无线轨迹之间的距离进行迭代计算，获得最终的不同视觉轨迹之间的相似度；基于最终的不同视觉轨迹片段之间的相似度，将视觉轨迹片段集合中不同视觉轨迹片段进行合并，获得跨相机的完整轨迹。2.根据权利要求1所述的一种多目标多相机跟踪方法，其特征在于，该方法还包括：获得跨相机的完整轨迹之后，计算同一视觉轨迹片段中每一个检测框中的图像特征与视觉轨迹片段特征的视觉相似度，若相似度小于设定阈值，则表示相应检测框的图像为可信样本；利用筛选出的可新样本更新行人特征提取使用的视觉特征提取模块的参数；其中，所述视觉轨迹片段特征为视觉轨迹片段中所有检测框的图像特征的平均值。3.根据权利要求1所述的一种多目标多相机跟踪方法，其特征在于，所述对每个相机采集的视觉数据分别进行行人检测与行人特征提取，获得行人轨迹框与行人特征，利用行人轨迹框与行人特征生成每个相机中所有行人的视觉轨迹片段，综合所有相机的所有行人的视觉轨迹片段，构成视觉轨迹片段集合包括：将单个相机采集的视觉数据记为V
i
表示第i个视频片段，N表示视频片段的数目；通过目标检测器检测视觉数据V中的行人，得到行人轨迹框集合数目；通过目标检测器检测视觉数据V中的行人，得到行人轨迹框集合其中，D
j
表示行人轨迹框中的第j个检测框，N
t
表示行人轨迹框集合D中所有行人检测框的数目；通过视觉特征提取模块从行人轨迹框中提取出所有的行人特征；通过前后帧检测框之间的交并比，进行行人的关联，若某个行人的检测框无法通过前后帧检测框之间的交并比进行关联，则通过计算行人特征之间的相似度进行行人的关联，生成单个相机中所有行人的视觉轨迹片段，综合所有相机的所有行人的视觉轨迹片段，构成视觉轨迹片段集合其中，表示第i
th
个视觉轨迹片段，N
sc
表示视觉轨迹的数目，单个视觉轨迹片段对应一个行人，或者多个不同的视觉轨迹片段同时对应同一个行人，单个视觉轨迹片段为来自同一个相机的视觉数据中相应行人的带有时间戳的若干检测框。4.根据权利要求1所述的一种多目标多相机跟踪方法，其特征在于，所述计算视觉轨迹片段集合中不同视觉轨迹片段之间的相似度包括：视觉轨迹片段集合为其中，表示第i
th
个视觉轨迹片段，N
sc
表示视觉轨迹片段的数目；
计算第i
th
条视觉轨迹片段与第j
th
条视觉轨迹片段在视觉特征空间上的距离，表示为：其中，f(
·
,
·
)是欧式距离；j
th
＝1,
…
,N
sc
，j≠i；计算第i
th
条视觉轨迹片段与第j
th
条视觉轨迹片段的相似度，表示为：其中，是第i
th
条视觉轨迹片段与除自身外其他视觉轨迹片段间的距离向量，[
·
]
max
与[
·
]
min
表示分别返回距离向量的最大值与最小值；timeconflict表示时间约束，即相同的行人不会同时出现在拍摄范围没有重叠区域的相机下。5.根据权利要求1所述的一种多目标多相机跟踪方法，其特征在于，所述将视觉轨迹片段集合映射至真实物理空间，并计算映射后每一视觉轨迹片段与采集到的真实物理空间中的无线轨迹之间的距离包括：视觉轨迹片段集合为其中，表示第i
th
个视觉轨迹，N
sc
表示视觉轨迹片段的数目；无线轨迹集合记为迹片段的数目；无线轨迹集合记为表示第m个无线轨迹，K为无线轨迹数目，每一个无线轨迹对应一个行人，包含了若干轨迹点；利用映射函数M将视觉轨迹片段集合映射至真实物理空间，获得在真实物理空间中的轨迹片段；其中，将第i
th
个视觉轨迹片段映射至真实物理空间获得真实物理空间中轨迹物理空间中轨迹表示在真实物理空间中的第h个坐标点，为坐标点数目；计算映射后轨迹与第m个无线轨迹的距离，表示为：其中，表示第m个无线轨迹的第q个坐标点，表示映射后轨迹与第m个无线轨迹中相同的时间戳下的坐标点对集合；表示集合...

【专利技术属性】
技术研发人员：李厚强，周文罡，沈三景，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：