基于相关性聚类和时空约束的行人多目标跟踪方法技术

本发明专利技术公开了一种基于相关性聚类和时空约束的行人多目标跟踪方法，该方法包括：行人视觉特征提取，基于视觉特征的相关性聚类，单摄像头下的行人轨迹关联，利用时空约束方法完成跨摄像头下的行人轨迹匹配。针对单摄像头下的行人跟踪容易发生中断的问题，本发明专利技术引入了时空滑动窗口来解决这一问题；同时，在跨摄像头场景下引入了时空约束方法来关联同一个行人，从而实现了跨摄像头下的行人多目标跟踪；利用本发明专利技术提出的方法，可以一致性地提高行人跟踪中的MOTA，MOTP和召回率等跟踪指标。

【技术实现步骤摘要】
基于相关性聚类和时空约束的行人多目标跟踪方法
本专利技术涉及计算机视觉和模式识别领域，具体涉及一种基于相关性聚类和时空约束的行人多目标跟踪方法。
技术介绍
计算机视觉(ComputerVision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等的一种计算机技术。计算机视觉旨在创建能够从图像或者多维数据中获取“信息“的人工智能系统，因此近年来其一直是计算机科学领域研究的热点和难点。多目标跟踪问题作为高层视觉任务的基础，已成为计算机视觉领域中至关重要的研究问题。多目标跟踪，即MultipleObjectTracking(MOT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应。然后给出不同物体的运动轨迹。这些物体可以是任意的，如行人、车辆、运动员、各种动物等等，而研究最多的是“行人跟踪”。这是因为首先“行人”是典型的非刚体目标，相对于刚体目标难度更大，其次在实际应用中行人的检测跟踪更具有商业价值。据不完全统计，至少75％的多目标跟踪研究是在研本文档来自技高网...

【技术保护点】
1.一种基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，包括以下步骤：/n1)输入视频流将视频解压成帧并按照选定区间制定视频数据集；/n2)利用视频数据集，使用行人检测算法对视频数据集的每一张图像进行检测并得到行人的检测数据；检测数据为包含行人的最小矩阵框信息；/n3)根据行人检测数据的矩阵框信息对视频数据集进行裁切生成行人图片集并按照选定区间制定训练集和测试集；/n4)利用训练集，训练用于行人再识别的深度卷积神经网络，并输出训练好的用于提取行人视觉特征的深度卷积神经网络，所述深度卷积神经网络的损失由三元组损失构成；将测试集图片输入训练好的深度卷积神经网络进行视觉特征提取，得到行人视...

【技术特征摘要】
1.一种基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，包括以下步骤：
1)输入视频流将视频解压成帧并按照选定区间制定视频数据集；
2)利用视频数据集，使用行人检测算法对视频数据集的每一张图像进行检测并得到行人的检测数据；检测数据为包含行人的最小矩阵框信息；
3)根据行人检测数据的矩阵框信息对视频数据集进行裁切生成行人图片集并按照选定区间制定训练集和测试集；
4)利用训练集，训练用于行人再识别的深度卷积神经网络，并输出训练好的用于提取行人视觉特征的深度卷积神经网络，所述深度卷积神经网络的损失由三元组损失构成；将测试集图片输入训练好的深度卷积神经网络进行视觉特征提取，得到行人视觉特征矩阵；
5)根据行人视觉特征矩阵和行人检测信息计算行人外观特征相关性和运动相关性并完成相关性聚类，利用相关性聚类结果实现单摄像头下的行人轨迹关联，从而完成单摄像头下的行人多目标跟踪；
6)根据单摄像头下的行人多目标跟踪结果，使用时空约束的方法关联跨摄像头下的行人轨迹从而完成跨摄像头下的行人多目标跟踪。


2.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，在步骤1)中将输入视频流按照60fps的帧率解压成图片，解压的图片按照指定命名规则命名后构成视频数据集。


3.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤2)具体包括以下步骤：
21)基于行人检测算法openpose对视频数据集进行行人检测，得到行人关键点数据；
22)得到关键点数据后，再转化成包含行人的矩阵框信息，从而得到所需要的行人检测数据；检测信息具体为矩形框的左上角和右下角坐标信息。


4.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤4)中，深度卷积神经网络框架是ResNet50，使用自适应学习率梯度下降优化算法中的Adam，迭代更新网络中的每个参数，直到参数收敛，得到训练好的特征学习网络；具体包括以下步骤：
41)深度卷积神经网络使用三元组损失函数，三元损失函数L的表达式为：



式中，是锚点与正样本之间的距离，是锚点与负样本样本的距离；α表示两种距离之间有一个最小间隔，下标+表示[]内的值大于零的时候，取该值为损失函数的最终值，小于零的时候，损失为零；
42)根据深度卷积神经网络模型，使用测试集提取行人外观特征，得到行人的外观特征矩阵并计算特征相关性，公式为：



式中d(xi,xj)为第i个行人和第j个行人之间的特征距离，使用欧式距离来计算；ta为训练集中正样本和负样本之间距离的均值。


5.根据权利要求4所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤5)中，根据行人检测数据，使用线性运动模型来计算行人运动相关性，具体包括：
51)计算行人矩阵框在一帧的偏移量，称之为速率，用表示，公式为：



式中，0<i<j<tw，tw为设置窗口的大小，为第j帧里的第b个矩阵框中心点的坐标，为第i帧的第a个矩阵框中心点的坐标；
52)计算运动相关性误差em，其含义表示一个矩阵框根据其速率预测出来的最近矩阵框的...

【专利技术属性】
技术研发人员：李旻先，桑毅，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32