【技术实现步骤摘要】
本专利技术涉及计算机视觉图像检索，具体涉及一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法。
技术介绍
1、行人重识别旨在从广泛的候选集中搜索特定身份的行人，候选集中的图像来自不同的摄像机，它们的拍摄视角、背景、光照等各不相同。近年来，针对可见光模态的行人重识别研究层出不穷，其性能也越来越高。然而，传统方法的使用场景受限，因为在夜晚可见光摄像机无法捕获到清晰的图像。为了实现全天候的监控，现代监控系统往往会引入红外摄像头，以在黑暗环境中获得行人图像。由于红外图像与可见光图像之间存在显著的模态差异，传统的可见光模态行人重识别方法无法在这两种模态之间进行有效匹配。因此，出现了可见光-红外跨模态行人重识别技术，以应对这一挑战。
2、可见光-红外跨模态行人重识别的挑战在于两种图像之间存在较大的跨模态差异。现有方法通常从两个角度来减小模态差异：图像级和特征级。图像级方法一般是利用生成对抗网络，将原始的可见光图像和红外图像转换成风格相同或相似的图像，以减小它们之间的风格差异。然而，这种方法得到的生成图像质量不佳，且容易带来额外的...
【技术保护点】
1.一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步骤（1）具体如下：从现有数据集中SYSU-MM01和RegDB中获取行人图像和身份标签，将其划分为训练集、验证集和测试集；对训练集图像进行水平翻转、随机擦除预处理操作，并将图像裁剪为288 * 144个像素；再将所有图像使用通道均值和标准差进行标准化。
3.根据权利要求1所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步...
【技术特征摘要】
1.一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步骤（1）具体如下：从现有数据集中sysu-mm01和regdb中获取行人图像和身份标签，将其划分为训练集、验证集和测试集；对训练集图像进行水平翻转、随机擦除预处理操作，并将图像裁剪为288 * 144个像素；再将所有图像使用通道均值和标准差进行标准化。
3.根据权利要求1所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步骤（2）具体如下：首先由训练集中的可见光图像进行随机通道组合得到辅助模态图像，将三种模态的图像输入到resnet50网络中，再利用注意力加权融合策略增强辅助模态的图像表示。
4.根据权利要求1所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步骤（3） 包括以下步骤：
5.根据权利要求4所述的一种基于辅助模态增强和多尺度特征融合的跨模态行人重识别方法，其特征在于，所述步骤（32）具体如下：设第二个残差块...
【专利技术属性】
技术研发人员：张国庆，汪海蕊，郑钰辉，张家伟，董仕豪，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。