一种基于行人重识别和分层搜索策略的追踪系统技术方案

本发明专利技术公开了一种基于行人重识别和分层搜索策略的追踪系统，包括：数据采集处理模块用于利用跟踪算法从原始监控视频中得到连续性的经过裁剪后的单目标视频片段或单目标图片；分层搜索识别模块包括基础的行人重识别算法和分层搜索策略，行人重识别算法用于目标追踪，分层搜索策略通过计算搜索目标轨迹概率优化计算资源分配；结果展示确认模块对分层搜索识别模块得到的目标进行展示，构建搜索目标时空数据链。本发明专利技术提供了一种自动化追踪方案，能够在低人工干预有限计算资源条件下自动识别行踪轨迹，节省人力和时间成本，降本增效。降本增效。降本增效。

【技术实现步骤摘要】
一种基于行人重识别和分层搜索策略的追踪系统


[0001]本专利技术涉及一种追踪系统，特别是一种基于行人重识别和分层搜索策略的追踪系统。

技术介绍

[0002]近年来，机器学习、深度学习等人工智能技术迅速发展，视觉领域逐渐成熟，如人脸识别技术、属性识别、车辆检测等技术大量应用于安保领域。行人重识别技术旨在重新确认从一个摄像环境消失后的检测对象重新进入另一个摄像环境时的身份。基于深度学习的行人重识别方法在识别性能上逐渐超过传统的机器学习方法而成为主流，初步具备开放环境下的可用性。完整的视频行人重识别包括行人检测、单摄像头行人追踪、多摄像头下行人检索等环节，这些环节都对计算资源具有一定的要求。尤其是更加高清的摄像头的布设以及摄像头数量的不断增长使得计算资源永远稀缺。如何在有限计算资源条件下更好地对目标轨迹进行追踪成为亟待解决的问题。

技术实现思路

[0003]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于行人重识别和分层搜索策略的追踪系统。
[0004]为了解决上述技术问题，本专利技术公开了一种基于行人重识别和分层搜索策略的追踪系统，包括：数据采集处理模块、分层搜索识别模块和结果展示确认模块；
[0005]其中，所述数据采集处理模块，从不同位置不同环境的监控摄像头所获取的原始视频数据中，利用跟踪算法得到一组连续的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据；所述单目标采集数据包含监控摄像头的地理位置信息；
[0006]所述分层搜索识别模块，包括：行人重识别算法和分层搜索策略；其中，行人重识别算法包括：对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征入库后得到一个特征查询库，用于目标重识别；分层搜索策略包括：非实时分层搜索和实时搜索，其中：
[0007]非实时分层搜索：根据给定搜索目标的特征，在对历史单目标进行搜索时使用所述特征查询库查询出所有符合要求的历史单目标，并按时间或位置排序，待进行进一步确认，得到历史待确认搜索目标；
[0008]实时搜索：将给定具体需要追踪的目标做为确定搜索目标，系统实时处理包含各种目标的实时视频数据与确定搜索目标的特征比对，筛选出高可信度目标待进一步确认，得到实时待确认搜索目标；所述历史待确认搜索目标和实时待确认搜索目标即为待确认搜索目标；
[0009]所述结果展示确认模块，对分层搜索识别模块的待确认搜索目标进行展示，构建搜索目标时空数据链；待确认搜索目标经过人工确认后得到确定搜索目标，人工确认后的确定搜索目标的特征作为增强查询特征应用。
[0010]进一步，所述追踪系统具体流工作程如下：
[0011]步骤1：数据采集处理，数据采集处理模块从监控系统中获取原始数据并进行预处理；
[0012]进一步，所述的数据采集处理，具体包括如下步骤：
[0013]步骤1
‑
1：数据采集：
[0014]所述数据采集处理模块基于现有的视频监控采集系统所采集的数据即原始数据进行处理整理，从所述原始数据中采集带有时间戳和摄像头位置信息的监控视频；
[0015]步骤1
‑
2：目标检测与裁剪；
[0016]所述目标检测与裁剪过程为：将步骤1
‑
1中所述的从原始数据中采集的监控视频中的多个目标，分别从所述监控视频中裁剪出来形成多组单目标视频；所述裁剪过程中使用目标检测算法从监控视频中检测目标；使用可微的ROI变换层对监控视频进行处理，通过计算监控视频帧的坐标与目标坐标的仿射变换将单个目标从原监控视频帧中裁剪出来；结合目标追踪形成单目标视频；得到一组连续性的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据。
[0017]步骤2：行人重识别模型构建，计算提取特征并识别，具体方法如下：
[0018]构建行人重识别模型，使用CNNs
‑
RNNs重识别模型和步骤1
‑
2中所述的单目标采集数据，对待检测的目标进行重识别，具体方法包括：
[0019]步骤2
‑
1：特征提取：即提取多帧图像中的时空特征，具体方法如下：
[0020][0021][0022]即：包含单个待检查目标的多帧图像首先作为一个序列被分别馈送到图像变换的网络中变换为相同的尺寸；然后作为输入进入卷积神经网络CNNs中得到单帧的空间特征；将所述单个待检查目标的一组空间特征按时间顺序输入到循环神经网络RNNs中得到这组空间特征中的时空特征，经时间池化层池化处理得到单个待检测目标的时空特征表示；
[0023]所述行人重识别模型中，使用预训练的ResNet50网络作为CNNs网络，使用GRU网络作为RNNs网络，使用得到的行人时空特征表示计算三元组损失作为行人重识别模型的损失函数进行优化并经全连接层变换为Z为向量计算行人ID的交叉熵损失，Z为标注的行人ID数量；
[0024]对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征存入特征查询库；
[0025]步骤2
‑
2：相似度计算与特征查询；
[0026]使用步骤2
‑
1计算行人时空特征表示的方式得到确定搜索目标的特征；特征查询指使用确定搜索目标的特征在特征库中搜索找到匹配的历史单目标特征，通过计算确定搜索目标的特征与特征库中的历史单目标特征之间的余弦距离，挑选出最小距离的k个历史目标；选取的k个历史目标由人工进行判定；判定后的历史目标的历史单目标特征联合与给定的确定搜索目标的特征作为新的特征进行查询，最后形成完整的确定搜索目标的行进轨
迹。
[0027]步骤3：分级搜索模型构建，划分概率等级，具体方法为：分级搜索模型根据地理信息和搜索目标的历史行踪轨迹计算出每个摄像头下一次捕捉到搜索目标的概率值，所述概率值被表示为每个摄像头的概率等级，具体包括如下步骤：
[0028]步骤3
‑
1：获取搜索目标的历史轨迹特征，方法如下：
[0029]搜索目标的行踪规矩L表示为一系列的摄像头轨迹捕捉点的位置坐标的组合[M1,M2,M3,
…
,M
i
,
…
,M
t
]，其中M
i
＝(long
i
,lat
i
)为第i个摄像头的经纬度坐标；第i个摄像头C
i
附近r半径内的局部地理特征范围内的第j个摄像头C
j
的位置信息M
j
以及第i个摄像头的运动矢量信息a
i
作为当前摄像头的地理位置信息即：
[0030][0031]其中，W
map
为地理特征的权重矩阵，W
C
为其他摄像头地理位置信息的权重矩阵，M
i
与M
j
的距离小于r，即||M
i
‑<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行人重识别和分层搜索策略的追踪系统，其特征在于，包括：数据采集处理模块、分层搜索识别模块和结果展示确认模块；其中，所述数据采集处理模块，从不同位置不同环境的监控摄像头所获取的原始视频数据中，利用跟踪算法得到一组连续的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据；所述单目标采集数据包含监控摄像头的地理位置信息；所述分层搜索识别模块，包括：行人重识别算法和分层搜索策略；其中，行人重识别算法包括：对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征入库后得到一个特征查询库，用于目标重识别；分层搜索策略包括：非实时分层搜索和实时搜索，其中：非实时分层搜索：根据给定搜索目标的特征，在对历史单目标进行搜索时使用所述特征查询库查询出所有符合要求的历史单目标，并按时间或位置排序，待进行进一步确认，得到历史待确认搜索目标；实时搜索：将给定具体需要追踪的目标做为确定搜索目标，系统实时处理包含各种目标的实时视频数据与确定搜索目标的特征比对，筛选出高可信度目标待进一步确认，得到实时待确认搜索目标；所述历史待确认搜索目标和实时待确认搜索目标即为待确认搜索目标；所述结果展示确认模块，对分层搜索识别模块的待确认搜索目标进行展示，构建搜索目标时空数据链；待确认搜索目标经过人工确认后得到确定搜索目标，人工确认后的确定搜索目标的特征作为增强查询特征应用。2.根据权利要求1所述的一种基于行人重识别和分层搜索策略的追踪系统，其特征在于，所述追踪系统具体流工作程如下：步骤1：数据采集处理，数据采集处理模块从监控系统中获取原始数据并进行预处理；步骤2：行人重识别模型构建，计算提取特征并识别；步骤3：分级搜索模型构建，划分概率等级；步骤4：使用分层搜索策略分配计算资源并使用步骤2的行人重识别方法进行识别搜索；步骤5：结果展示确认。3.根据权利要求2所述的一种基于行人重识别和分层搜索策略的追踪系统，其特征在于，步骤1中所述的数据采集处理，具体包括如下步骤：步骤1
‑
1：数据采集：所述数据采集处理模块基于现有的视频监控采集系统所采集的数据即原始数据进行处理整理，从所述原始数据中采集带有时间戳和摄像头位置信息的监控视频；步骤1
‑
2：目标检测与裁剪；所述目标检测与裁剪过程为：将步骤1
‑
1中所述的从原始数据中采集的监控视频中的多个目标，分别从所述监控视频中裁剪出来形成多组单目标视频；所述裁剪过程中使用目标检测算法从监控视频中检测目标；使用可微的ROI变换层对监控视频进行处理，通过计算监控视频帧的坐标与目标坐标的仿射变换将单个目标从原监控视频帧中裁剪出来；结合目标追踪形成单目标视频；得到一组连续性的经过裁剪的单目标视频片段或单目标图片，即单目标采集数据。
4.根据权利要求3所述的一种基于行人重识别和分层搜索策略的追踪系统，其特征在于，步骤2中所述的行人重识别模型构建，计算提取特征并识别，具体方法如下：构建行人重识别模型，使用CNN
‑
RNN重识别模型和步骤1
‑
2中所述的单目标采集数据，对待检测的目标进行重识别，具体方法包括：步骤2
‑
1：特征提取：即提取多帧图像中的时空特征，具体方法如下：包含单个待检查目标的多帧图像首先作为一个序列被分别馈送到图像变换的网络中变换为相同的尺寸；然后作为输入进入卷积神经网络CNNs中得到单帧的空间特征；将所述单个待检查目标的一组空间特征按时间顺序输入到循环神经网络RNNs中得到这组空间特征中的时空特征，经时间池化层池化处理得到单个待检测目标的时空特征表示；所述行人重识别模型中，使用预训练的ResNet50网络作为CNNs网络，使用GRU网络作为RNNs网络，使用得到的行人时空特征表示计算三元组损失作为行人重识别模型的损失函数进行优化并经全连接层变换为Z为向量计算行人ID的交叉熵损失，Z为标注的行人ID数量；对历史采集的单目标采集数据进行特征提取，得到历史单目标特征，将所述历史单目标特征存入特征查询库；步骤2
‑
2：相似度计算与特征查询；使用步骤2
‑
1计算行人时空特征表示的方式得到确定搜索目标的特征；特征查询指使用确定搜索目标的特征在特征库中搜索找到匹配的历史单目标特征，通过计算确定搜索目标的特征与特征库中的历史单目标特征之间的余弦距离，挑选出最小距离的k个历史目标；选取的k个历史目标由人工进行判定；判定后的历史目标的历史单目标特征联合与给定的确定搜索目标的特征作为新的特征进行查询，最后形成完整的确定搜索目标的行进轨迹。5.根据权利要求4所述的一种基于行人重识别和分层搜索策略的追踪系统，其特征在于，步骤3所述的分级搜索模型，划分概率等级的方法为：分级搜索模型根据地理信息和搜索目标的历史行踪轨迹计算出每个摄像头下一次捕捉到搜索目标的概率值，所述概率值被表示为每个摄像头的概率等级，具体包括如下步骤：步骤3
‑
1：获取搜索目标的历史轨迹特征，方法如下：搜索目标的行踪规矩L表示为一系列的摄像头轨迹捕捉点的位置坐标的组合[M1，M2，M3，...，M
i
，...，M
t
]，其中M
i
＝(long
i
，lat
i
...

【专利技术属性】
技术研发人员：黄兆孟，陈鹏，王妍妍，吴帆，王玉坤，
申请(专利权)人：中电莱斯信息系统有限公司，
类型：发明
国别省市：