基于扩散模型的跨模态行人重识别方法技术

基于扩散模型的跨模态行人重识别方法，属于图像检索领域。通过扩散模型解决由于光照条件剧烈变化引起的识别同一行人的问题，以此来解决跨模态检索问题。1)对多个红外数据集和可见光数据集进行划分，每个训练阶段中划分出红外样本数据集和可见光样本数据集，且每个数据中包含两个正样本和多个负样本；2)使用resnet50网络提取图片信息，并形成一张尺寸更小的张量。3)使用两个扩散模型分别对两个样本数据集的张量进行重构并计算损失函数，使得模型能够提取样本中的信息；4)将在一个样本数据集中训练扩散模型应用到另一个样本数据集中进行样本的重构，并使用引导网络引导模型生成正样本，增强模型的跨模态行人重识别的能力。增强模型的跨模态行人重识别的能力。增强模型的跨模态行人重识别的能力。

【技术实现步骤摘要】
基于扩散模型的跨模态行人重识别方法


[0001]本专利技术属于图像检索领域，涉及视觉目标检测方法，尤其是涉及一种基于扩散模型的跨模态行人重识别方法。

技术介绍

[0002]随着越来越多的摄像头被部署到各种各样的场景，摄像头采集到的图像规模也越来越庞大。在海量的图片中找到同一个行人的技术，是一个具有挑战性但实用性很强的技术。由于摄像头分辨率和拍摄角度问题，通常无法获得质量很高的行人图片，当人脸信息失效时，行人重识别技术就成为一个非常重要的替代品。行人重识别技术，为上述的问题提供全新的解决思路和解决方案，成为近年来学术界和工业界新研究热点之一。
[0003]行人重识别技术是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术；或者说，行人重识别是指在非重叠摄像机视域中采集到的图片或者视屏序列中识别出目标行人。该项技术可被广泛的应用于无人超市、城市智慧监控系统和图片整理等场景。
[0004]跨模态检索任务是给定一个模态下的该行人的图像，通过计算机视觉技术，找到另一个模态下该行人的图像。然而在跨模态行人检索任务中，来自不同模态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于扩散模型的跨模态行人重识别方法，其特征在于包括以下步骤：1)对多个红外数据集和可见光数据集进行划分，每个训练阶段中划分出红外样本数据集和可见光样本数据集，且每个数据中包含两个正样本和多个负样本；2)使用resnet50网络提取图片信息，并形成一张尺寸更小的张量；3)使用两个扩散模型分别对两个样本数据集的张量进行重构并计算损失函数，使得模型能提取样本中的信息；4)将在一个样本数据集中训练扩散模型应用到另一个样本数据集中进行样本的重构，并使用引导网络引导模型生成正样本，增强模型的跨模态行人重识别的能力。2.如权利要求1所述基于扩散模型的跨模态行人重识别方法，其特征在于在步骤1)中，所述对多个红外数据集和可见光数据集进行划分，具体划分为visible、infra、Query和gallery；visible表示可见光的训练集合；infra表示红外的训练集合；Query和gallery为测试集合。3.如权利要求1所述基于扩散模型的跨模态行人重识别方法，其特征在于在步骤2)中，所述使用resnet50网络提取图片信息，并形成一张尺寸更小的张量，是将visible和infra的图片，分别输入到已经训练好的resnet50网络中，得到尺寸更小但维度更大的张量。4.如权利要求1所述基于扩散模型的跨模态行人重识别方法，其特征在于在步骤3)中，所述使用两个扩散模型分别对两个样本数据集的张量进行重构并计算损失函数，是对于从rensnet50输出的张量，分别通过对应模态的扩散模型，得到生成图片，用以提取图片的结构信息；具体步骤如下：3a)通过如下公式，得到t∈[0,T]时刻的噪声张量x
t
；其中，x0为resnet50输出的张量，ε为高斯噪声，为有时间t有关的常量；3b)将噪声张量x
t
和时间t一起输入到UNet网络...

【专利技术属性】
技术研发人员：胡鹏，林文水，戴平阳，
申请(专利权)人：厦门大学，
类型：发明
国别省市：