基于多算法融合应用的人员轨迹检索方法及装置制造方法及图纸

本发明专利技术提供了一种基于多算法融合应用的人员轨迹检索方法及装置，该方法包括以下步骤：对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；提取检索目标人员的特征信息，根据检索目标人员的特征信息采用对应的识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录并取并集，得到检索目标人员的轨迹信息；根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。本发明专利技术能解决多种复杂场景下的人员检索问题。多种复杂场景下的人员检索问题。多种复杂场景下的人员检索问题。

【技术实现步骤摘要】
基于多算法融合应用的人员轨迹检索方法及装置


[0001]本专利技术涉及行人轨迹检索
，尤其涉及一种基于多算法融合应用的人员轨迹检索方法及装置。

技术介绍

[0002]随着人脸识别、视频结构化等目标识别算法在系统中的普遍建设与使用，其应用不足也随之出现——远距离、角度不当、衣着变化、面部遮挡、光照影响、视频分辨率不高、距离较远、伪装等环境及人为因素均会影响识别效能，对应的弥补人脸识别技术不足的一些技术也应运而生，比如步态识别、行人重识别技术等。
[0003]对行人进行轨迹检索，传统的方式均是通过单一技术进行人员的轨迹检索，但单一的技术手段均存在各自的局限性，已无法满足复杂场景的应用需求，无法获得行人完整的轨迹，比如人脸遮挡或戴口罩的情况下，无法应用人脸检索；跨天或人员变换服装的情况下，无法应用行人重识别进行轨迹检索等。单一的图片，无法获取完整的步态信息，无法应用步态识别进行轨迹检索。故而多算法的融合应用，能够充分利用各自算法的优势，弥补单一算法的不足，成为未来的发展趋势。而传统的多算法融合应用，更多的是通过用户手动将多算法进行结合使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多算法融合应用的人员轨迹检索方法，其特征在于，包括以下步骤：S1、对多个不同点位摄像头采集的视频流或者图片流中各行人的特征信息进行提取，提取的每个行人的特征信息包括人脸特征信息、人体特征信息、步态特征信息中的至少一种，将提取的每个行人的特征信息与对应的摄像头点位以及抓拍时间一起作为一条行人记录存储在路人库中；S2、根据检索目标人员的视频片段或图片提取检索目标人员的特征信息，根据检索目标人员的人脸特征信息、人体特征信息、步态特征信息采用对应的人脸识别算法、行人重识别算法、步态识别算法与路人库中对应种类的行人特征信息进行比对，找到具有与检索目标人员相一致的特征信息的各条行人记录，将检索到的各条行人记录取并集，得到检索目标人员的轨迹信息；S3、根据检索目标人员的轨迹信息，在GIS地图上将各条行人记录对应的摄像头点位按抓拍时间进行连接，得到检索目标人员的轨迹。2.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流或者图片流中的人脸特征信息进行提取具体包括：使用MTCNN网络对每一帧视频数据或者每个图片进行人脸目标检测；使用训练好的人脸特征提取模型对检测到的人脸目标进行人脸特征提取，获取人脸特征信息；其中，所述人脸特征提取模型的训练方法如下：采集海量视频监控场景下的人脸照片，进行标注，并划分为训练集、验证集和测试集；构建改进的faceNet模型，其中faceNet主干网络采用Inception
‑
v4网络和residual connection，在损失函数的选择上，分别计算softmax loss和triplet_loss，再对softmax loss和triplet_loss进行加权，在线调整权值；使用训练集对改进的faceNet模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人脸特征提取模型。3.如权利要求2所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流中的人脸特征信息进行提取还包括：进行人脸目标检测之后，使用DeepSort对检测到的人脸目标进行跟踪，并进行运动目标检测；使用训练好的人脸正脸判定模型对跟踪输出的人脸目标进行人脸正脸判定并输出判定的人脸正脸数据；使用训练好的人脸特征提取模型对输出的人脸正脸数据进行人脸特征提取，获取人脸特征信息。4.如权利要求1所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流或者图片流中的人体特征信息进行提取具体包括：使用训练好的yolov5目标检测模型对每一帧视频数据或者每个图片进行行人目标检测；使用训练好的人体特征提取模型对检测到的行人目标进行人体特征提取，获取人体特征信息；其中，所述人体特征提取模型的训练方法如下：
采集并构建视频监控场景下多个行人序列数据集，采集不同的行人目标在多个不同的摄像头视角下的序列，并划分为训练集、验证集和测试集；构建改进的行人FastReID模型，主干采用基于自适应间隔排序损失的多尺度多部件融合深度网络，将行人图像特征表达与相似性度量联合学习；在数据预处理阶段，对数据进行下采样；使用训练集对改进的行人FastReID模型进行训练，使用验证集验证模型的收敛情况，并通过测试集进行测试，最后输出最佳的人体特征提取模型。5.如权利要求4所述的基于多算法融合应用的人员轨迹检索方法，其特征在于，所述步骤S1中，对视频流中的人体特征信息进行提取还包括：进行行人目标检测之后，使用DeepSort对检测到的行人目标进行跟踪，并进行运动目标检测；使用训练好的行人质量评估模型对跟踪输出的行人目标进行行人质量评估，将质量最佳的行人目标作为特写图进行输出；...

【专利技术属性】
技术研发人员：贺珊，
申请(专利权)人：武汉众智数字技术有限公司，
类型：发明
国别省市：