【技术实现步骤摘要】
本专利技术涉及目标跟踪，尤其涉及一种多摄像头监控视频下的车辆轨迹查询方法。
技术介绍
1、在多摄像头下进行目标重识别在智慧城市以及智能安防领域有着广泛的应用，符合人们对自动化和智能化生活的向往。目标重识别是智能视频监控的中间层任务之一，对于特定的目标进行重识别，并将运动轨迹返回给工作人员具有重要意义。
2、目标重识别是指在不同的图像或视频中识别和匹配同一个目标。该任务旨在解决由于视角变化、光照变化、遮挡等因素导致目标外观变化的问题。目标重识别通常涉及以下步骤：首先，进行特征提取，对于每个目标，从其图像或视频帧中提取特征表示。常用的特征包括颜色直方图、局部特征描述子(如sift、surf、hog等)以及深度学习模型(如cnn、resnet等)提取的特征向量。其次，相似度计算，对于待匹配的目标，计算其特征表示与数据库中已知目标的特征表示之间的相似度。最后，目标匹配根据相似度计算结果，将待匹配目标与数据库中的目标进行匹配。通常采用基于阈值的方法，将相似度高于一定阈值的目标匹配为同一个目标。具体来说，通过目标重识别提取每个车辆的表观特征，比较查询车辆与每个候选车辆特征的相似度，相似度大于阈值的候选车辆就可以认为是查询车辆。车辆重识别面临更为突出的类间相似性问题，因为许多外观相似的车辆通常具有相同的车型、颜色，甚至来自同一个制造商。因此，需要从更多方面、多角度提取大量的鉴别性信息来区分它们。
3、基于多摄像头多目标跟踪技术，致力于一定情况下消除遮挡影响，实现对多个目标在不同相机视角下的连续跟踪和关联，并将其整合为一
4、目标重识别技术的缺陷主要包括视角变化和遮挡、光照条件变化、数据集不平衡以及多样性和细粒度特征。应用于车辆识别体现在，车辆在不同场景和角度下的外观特征变化以及常见的相互遮挡现象，导致识别准确性下降。光照条件的变化也会影响车辆重识别的效果，尤其是在夜间或强光照射下。此外，车辆类型、品牌和颜色在真实场景中可能不均衡分布，导致某些类别上的识别性能较差。还有，车辆之间存在着丰富的多样性和细粒度特征，捕捉和建模这些特征对于提高重识别精确度和泛化能力具有挑战性。
5、多摄像头多目标跟踪(mtmc)技术通过利用多个摄像头协同跟踪实现对目标的持续长时间跟踪，可以在多条分散的轨迹之间建立关联构建全局轨迹，在视频监控和人员跟踪领域具有广泛应用。但是重识别算法可能因光照、姿态变化等因素而产生误差，影响目标的准确识别。此外，由于需要对单个摄像头内进行多目标跟踪，再把相邻摄像头间的轨迹进行相互匹配，这样的处理和分析需要大量的计算资源，面临实时性和效率方面的挑战。
技术实现思路
1、本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种多摄像头监控视频下的车辆轨迹查询方法，通过使用目标检测和目标重识别模型，结合摄像头间车辆出入时间差和摄像头间相邻关系，来检索出车辆的轨迹。
2、为解决上述技术问题，本专利技术所采取的技术方案是：一种多摄像头监控视频下的车辆轨迹查询方法，包括以下步骤：
3、步骤1：建立路网摄像头间关联图，统计摄像头间的时间差和摄像头间的相邻关系；
4、采用有向图存储路网摄像头间关联图，每个节点代表一个摄像头，节点之间的有向边存储摄像头间时间差区间；
5、摄像头间时间差区间根据经验来设定，或由多摄像头多目标跟踪mtmc的结果生成；具体为：利用多摄像头多目标跟踪生成的文本结果，对于所有由摄像头a驶向摄像头b的轨迹，计算轨迹在b中首次出现的时刻与a中最后消失的时刻的差，由于每辆车的速度差别，在相邻摄像头产生的时间差也不同，将所有的时间差递增排序，生成一个有序时间差数列，根据这个时间差数列选取合适的摄像头间时间差区间；
6、步骤2：输入查询车辆图片信息；所述查询车辆图片信息包括一张从监控视频中截取的车辆图片，以及车辆图片出现的时间和摄像头编号；
7、步骤3：使用车辆重识别模型提取查询车辆图片的特征；
8、步骤4：以查询车辆图片出现的时空位置为基准，利用摄像头间时间差信息，查找查询车辆之后行驶的轨迹；
9、令当前摄像头为a，查询车辆出现的时刻为x，存在相邻摄像头b，摄像头a→b的时间差区间为[m,n]，则预测查询车辆在摄像头b中出现的时间段为[x+m,x+n]，检索该时间段内的每个视频段，查找查询车辆向前行驶的轨迹；对于每个视频段，使用目标检测算法yolov7定位到视频帧中每辆车的位置，使用车辆重识别模型提取车辆特征，当处理完该时间段内的所有视频段后，通过比较提取的车辆特征，找到与查询车辆特征相似度最高的车辆，若该特征相似度大于阈值α，则认为该车辆是候选车辆，将该候选车辆的时空位置储存到结果集；对当前摄像头的所有相邻摄像头进行检索，若多个摄像头都检索到了候选车辆，选取与查询车辆相似度最高的候选车辆，并将其图片、时空位置和相似度存入结果集中，之后以该候选车辆为基准，继续查询向前行驶的轨迹；若所有相邻摄像头都没有检索到候选车辆，则认为已搜索完查询车辆向前行驶的轨迹，结束迭代搜索；
10、步骤5：以查询车辆图片出现的时空位置为基准，利用摄像头间时间差信息，查找查询车辆之前行驶的轨迹；
11、令当前摄像头为a，查询车辆出现的时刻为x，存在相邻摄像头c，摄像头c→a的时间差区间为[p,q]，则预测查询车辆在摄像头c中出现的时间段为[x-q,x-p]，采用与步骤4相同的方法检索该时间段内的每个视频段，查找查询车辆之前行驶的轨迹；
12、步骤6：输出结果集，可视化查询车辆之后行驶和之前行驶的轨迹；对于轨迹中的每个候选车辆，展示其图片、出现的摄像头编号、出现时间以及相似度。
13、采用上述技术方案所产生的有益效果在于：本专利技术提供的一种多摄像头监控视频下的车辆轨迹查询方法，在车辆重识别的基础上，把路网摄像头信息用图的形式存储，包含了摄像头间的时间差信息和摄像头相邻关系，预测查询车辆在相邻摄像头视频中出现的视频段，再对视频段进行目标检测、目标重识别和特征对比，从而找出查询车辆的轨迹。
14、本专利技术方法建立了路网摄像头间关联图用于存储摄像头间时间差信息和描述摄像头之间的相邻关系。在获得查询车辆在路网中第一次出现的位置后，利用摄像头间时间差信息来预测查询车辆在邻居摄像头出现的视频段，从而避免了对整个视频进行检索。当在预测的视频段中检索不到候选车辆时，则认为搜索结束，避免了对全部摄像头视频进行检索。实验中表明，本本文档来自技高网...
【技术保护点】
1.一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述步骤1采用有向图存储路网摄像头间关联图，每个节点代表一个摄像头，节点之间的有向边存储摄像头间时间差区间。
3.根据权利要求2所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述摄像头间时间差区间根据多摄像头多目标跟踪MTMC的结果生成；
4.根据权利要求2所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：步骤2所述查询车辆图片信息包括一张从监控视频中截取的车辆图片，以及车辆图片出现的时间和摄像头编号。
5.根据权利要求4所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述步骤4的具体方法为：
6.根据权利要求5所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述检索该时间段内的每个视频段，查找查询车辆向前行驶的轨迹的具体方法为：
7.根据权利要求6所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述
8.根据权利要求7所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述步骤6可视化查询车辆之后行驶和之前行驶的轨迹时，对于轨迹中的每个候选车辆，展示其图片、出现的摄像头编号、出现时间以及相似度。
...【技术特征摘要】
1.一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述步骤1采用有向图存储路网摄像头间关联图，每个节点代表一个摄像头，节点之间的有向边存储摄像头间时间差区间。
3.根据权利要求2所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：所述摄像头间时间差区间根据多摄像头多目标跟踪mtmc的结果生成；
4.根据权利要求2所述的一种多摄像头监控视频下的车辆轨迹查询方法，其特征在于：步骤2所述查询车辆图片信息包括一张从监控视频中截取的车辆图片，以及车辆图片出现的时间和摄像头编号。...
【专利技术属性】
技术研发人员：王斌，刘佳晓，赖雨霜，杨晓春，翟莹莹，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。