一种基于关联推理的跨镜追踪方法技术

本发明专利技术涉及一种基于关联推理的跨镜追踪方法，步骤包括：获取多个摄像机拍摄的所有图片，并对图片添加身份标签，形成有标签样本集；构建跨镜追踪模型，跨镜追踪模型包含三分支网络、辅助分类器、服装分类器、多模态协调模块、融合分类器、身份分类器；利用有标签样本集训练跨镜追踪模型，获取各模块的损失函数；综合各模块的损失函数，获取总损失，并通过总损失反向传播，更新跨镜追踪模型的参数，循环迭代直至收敛；将需要检测的多镜头行人图片输入训练后的跨镜追踪模型，预测行人身份；与现有技术相比，本发明专利技术能够使用跨镜追踪模型在服装变化场景下稳定地识别行人身份。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和模式识别，尤其是涉及一种基于关联推理的跨镜追踪方法。

技术介绍

1、跨镜追踪是一项计算机视觉技术，旨在基于目标行人图像，在不同摄像机视角下匹配同一身份的行人。该技术可广泛应用于智能监控、安防系统、智慧交通、刑侦侦查等领域。随着城市监控网络的普及，大量视频数据的生成使得人工检索行人变得极为困难，因此基于深度学习的跨镜追踪技术得到了快速发展，能够在海量数据中高效检索目标行人，极大提升了监控系统的智能化水平。目前，跨镜追踪技术主要依赖于深度学习模型自动提取图像特征，并进行跨摄像机匹配。

2、现有的跨镜追踪方法在应对换衣场景时仍然存在诸多挑战。当前大多数跨镜追踪方法严重依赖服装特征进行身份匹配，当行人更换服装时，模型很容易误认为是不同的身份，导致识别失败。尽管一些方法尝试通过去除背景信息或提取局部特征来缓解这一问题，但仍然无法有效区分身份特征和服装特征，导致识别精度下降。此外，近年来，一些研究引入了多模态信息，如文本描述或行人属性，以期减少对服装特征的依赖。然而，由于文本和图像属于不同模态，如何在特征空间中高效融合这些信息仍然本文档来自技高网...

【技术保护点】

1.一种基于关联推理的跨镜追踪方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于关联推理的跨镜追踪方法，其特征在于，所述三分支网络包括身份分支、服装分支和并行文本分支；其中，所述身份特征通过身份分支中预训练的ResNet网络提取，所述服装特征通过服装分支中金字塔匹配策略提取；所述文本特征通过并行文本分支中的属性提取与掩码模块提取；

3.根据权利要求1所述的一种基于关联推理的跨镜追踪方法，其特征在于，训练所述跨镜追踪模型的过程包括：

4.根据权利要求3所述的一种基于关联推理的跨镜追踪方法，其特征在于，所述最小化识别损失的表达式为：

...

【技术特征摘要】

1.一种基于关联推理的跨镜追踪方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于关联推理的跨镜追踪方法，其特征在于，所述三分支网络包括身份分支、服装分支和并行文本分支；其中，所述身份特征通过身份分支中预训练的resnet网络提取，所述服装特征通过服装分支中金字塔匹配策略提取；所述文本特征通过并行文本分支中的属性提取与掩码模块提取；

3.根据权利要求1所述的一种基于关联推理的跨镜追踪方法，其特征在于，训练所述跨镜追踪模型的过程包括：

4.根据权利要求3所述的一种基于关联推理的跨镜追踪方法，其特征在于，所述最小化识别损失的表达式为：

5.根据权利要求3所述的一种基于关联推理的跨镜追踪方法，其特征在于，所述kl散度损失的表达式为：

6.根据权利...

【专利技术属性】
技术研发人员：殷解静，熊席慧，朱继成，韩华，黄丽，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：