一种智慧楼宇在线跨摄像头多目标追踪方法技术

本发明专利技术公开了一种智慧楼宇在线跨摄像头多目标追踪方法，以楼宇入口的摄像头为基准摄像头获取视频流，通过行人检测，多目标追踪方法和特征筛选方法获得特征加入基准库，以其他摄像头为对比摄像头获取视频流，采用图片

【技术实现步骤摘要】
一种智慧楼宇在线跨摄像头多目标追踪方法


[0001]本专利技术属于跨摄像头多目标跟踪
，具体涉及一种智慧楼宇在线多摄像头多目标追踪方法。

技术介绍

[0002]跨摄像头多目标跟踪技术旨在确定跟踪目标在多个摄像头下的轨迹。现有方法采用轨迹
‑
轨迹的关联方式，需要生成一段完整的轨迹，无法对目标进行实时追踪；其他方法采用图片
‑
图片关联方式，虽然可以实时进行追踪，但没有对特征进行筛选，准确率较低；此外在实际的楼宇应用场景中，行人首先出现在入口的摄像头，而后出现在其他摄像头中，现有方法没有利用这一信息。
[0003]多目标追踪算法用来生成跟踪目标在单个摄像头下的轨迹。现有方法计算检测结果与轨迹间的位置信息和外观特征距离矩阵，线性加权两种距离进行匹配，或只使用一种距离进行匹配；但是当轨迹连续成功匹配时，使用位置信息距离矩阵匹配对遮挡会更加鲁棒，而轨迹长时间未成功匹配时，使用外观特征距离矩阵匹配准确性会更高。
[0004]行人重识别算法用来解决跨摄像头匹配和增强多目标追踪算法面对长遮挡时准确性。现有方法需要大量的训练样本，使得模型具有更好的性能，但行人重识别数据集的标注非常消耗时间和人力。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种智慧楼宇在线跨摄像头多目标追踪方法，实现无需人为操作，便可准确实现行人的跨摄像头追踪。
[0006]技术方案：本专利技术提供一种智慧楼宇在线跨摄像头多目标追踪方法，具体包括以下步骤：
[0007](1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；
[0008](2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；
[0009](3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；
[0010](4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；
[0011](5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值L
c
，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹。
[0012]进一步地，步骤(2)所述数据集按4:1随机拆分成训练集和测试集。
[0013]进一步地，所述步骤(2)包括以下步骤：
[0014](21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；
[0015](22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：
[0016][0017]其中，N(p,k)指与样本p余弦相似度最高的k个样本，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用所述特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：
[0018][0019]其中，f
c
为行人重识别特征，Distance为余弦距离，L
c
为所述先验阈值；
[0020](23)使用行人重识别公开数据集训练后的模型为预训练模型，利用所述正负训练样本对所述行人重识别网络进行训练；
[0021](24)行人重识别网络的骨干网络为ResNet
‑
50，采用交叉熵函数计算分类损失，采用三元组损失计算度量损失，采用Adam优化器，采用反向传播算法更新骨干网络的参数，获取在楼宇场景下训练后的行人重识别网络。
[0022]进一步地，步骤(4)所述筛选得到k个特征过程如下：
[0023]剔除掉行人检测框置信度低于L
d
的行人图像；采用k
‑
means对所述重识别特征进行聚类，将其聚为k
‑
1类，选取每类的中心点特征以及全局中心点特征，共k个重识别特征为筛选后特征。
[0024]进一步地，步骤(5)所述多目标追踪方法包括以下步骤：
[0025]S1：根据所述待匹配行人信息初始化轨迹，轨迹信息包括位置和外观信息；由位置信息得到其运动状态为：
[0026][0027]其中，cx，cy为检测框的中心点坐标，r为检测框宽高比，h为检测框高，vx，vy，vr，vh分别为上述变量的变化率；
[0028]S2：将待匹配行人运动信息送入卡尔曼滤波器得到轨迹的预测位置信息，利用由k
‑
1的运动状态和协方差预测k时刻的运动状态和协方差；
[0029]S3：将待匹配行人外观信息送入行人重识别网络得到其外观特征；
[0030]S4：将待匹配行人信息的位置信息和外观特征，分别与轨迹的预测位置信息计算交并比距离，与轨迹的外观特征计算余弦距离；
[0031]S5：将交并比距离和余弦距离，根据匹配情况进行融合，距离矩阵的融合计算方法为：
[0032]d
m
＝e
‑
λ*t
*d
iou
+(1
‑
e
‑
λ*t
)d
feature
[0033]其中，d
m
为融合后的距离，d
iou
为所述交并比距离，d
feature
为所述余弦距离，t为轨迹连续未匹配成功的次数，λ为正系数；
[0034]S6：根据关联距离矩阵，利用匈牙利算法，得到待匹配样本和轨迹样本的匹配结果，为匹配成功的样本赋予与其对应轨迹样本相同的编号。
[0035]有益效果：与现有技术相比，本专利技术的有益效果为：本专利技术以入口的摄像头为基准摄像头获取视频流，通过行人检测，多目标追踪方法和特征筛选方法获得特征加入基准库，以其他摄像头为对比摄像头获取视频流，采用图片
‑
图片关联方式与基准库特征进行匹配，在实现实时追踪的基础上提高了识别准确率，进行多目标追踪时，根据不同的匹配情况来融合位置和外观距离，显著提高匹配的准确性，采用无监督的方式来训练行人重识别网络提升了算法性能、加速了算法落地；本专利技术对智慧楼宇场景下的跨摄像头多目标追踪效果提升明显。
附图说明
[0036]图1为本专利技术的流程图；
[0037]图2为本专利技术特征筛选方法效果示意图；
[0038]图3为本专利技术多目标追踪方法效果示意图；
[0039]图4为本专利技术跨摄像头多目标追踪方法效果示意图。
具体实施方式
[0040]下面结合附图对本专利技术作进一步详本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，包括以下步骤：(1)对楼宇内监控视频进行数据采集，得到包含多个行人通过多个摄像头的视频片段以及实时视频流；所述摄像头包括一个基准摄像头和多个对比摄像头；(2)对视频片段进行标注，制作数据集，利用无监督的方法训练行人重识别网络；(3)对实时视频流进行抽帧，对每一帧图片使用行人检测算法，得到包含行人全身的最小矩形检测框，得到包括位置信息和外观信息的行人检测信息；(4)对于基准摄像头获取的视频流，利用行人检测信息，使用多目标追踪方法，得到行人轨迹，将轨迹中的行人图像送入行人重识别网络，得到其重识别特征，并筛选得到k个特征加入对比库中；(5)对于对比摄像头获取的视频流，利用得到的行人检测信息初始化轨迹，将轨迹的初始行人外观信息送入行人重识别网络，得到其重识别特征，与对比库中的特征计算余弦距离，若与距离排名第一的样本S的余弦距离小于先验阈值L
c
，则初始化一个新的轨迹，且其行人编号与S相同；使用多目标追踪方法，得到完整的行人轨迹。2.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，步骤(2)所述数据集按4∶1随机拆分成训练集和测试集。3.根据权利要求1所述的智慧楼宇在线跨摄像头多目标追踪方法，其特征在于，所述步骤(2)包括以下步骤：(21)获取数据集中的正样本和负样本，认为同一个轨迹内的检测样本互为正样本，认为同一帧的多个检测样本互为负样本；(22)获取跨摄像头的正负样本，采用k互编码算法，其公式为：其中，N(p，k)指与样本p余弦相似度最高的k个样本，认为满足下式的样本所在轨迹内的检测样本为p的正样本，其余轨迹内的检测样本为负样本，轨迹内样本使用所述特征筛选方法，得到最终的正样本及其外观信息和负样本及其外观信息：其中，f
c
为行人重识别特征，Distance为余弦距离，L
c
为所述先验阈值；(23)使用行人重识别公开数据集训练后的模型为预训练模型，利用所述正负训练样本对所述行人重识别网络进行训练；(24)行人重识别网络的骨干网络为ResNet
‑
50，采用交叉熵...

【专利技术属性】
技术研发人员：牛丹，卫奕霖，龚昊，曹展，施春磊，
申请(专利权)人：徐州云边端智能科技有限公司江阴市智行工控科技有限公司，
类型：发明
国别省市：