基于时空特征和异中心损失的跨模态行人重识别方法技术

本发明专利技术提出一种基于时空特征和异中心损失的跨模态行人重识别方法，跨模态行人重识别模型从空间、通道、全局维度提取行人图像特征，并采用由身份损失、异中心样本损失、中心簇损失、总特征损失构成的损失函数训练跨模态行人重识别模型，实现行人图像的跨模态行人重识别。本发明专利技术同时提取了通道特征和空间特征，使得行人的表示更具有辨识性，使用了异中心样本损失，使得同一个行人特征的特征分布更加紧凑。凑。凑。

【技术实现步骤摘要】
基于时空特征和异中心损失的跨模态行人重识别方法


[0001]本专利技术属于图像检索算法领域，涉及基于跨模态图像的行人重识别技术，具体为一种基于时空特征和异中心损失的跨模态行人重识别方法。

技术介绍

[0002]行人重识别作为图像检索领域的一个重要分支，在保障社会公共安全等方面有着广泛的应用。随着越来越多的集成了红外采集装置的监控设备的出现，同时使用可见光图像和红外图像进行跨模态行人重识别成了一个重要的研究方向。
[0003]相比于传统的单模态行人重识别，跨模态行人重识别更具挑战性。除了视角变化、遮挡、姿势变化等因素外，跨模态行人重识别还面临着巨大的模态差异的挑战。为了减小模态差异带来的影响，一些方法采用了模态转换的方式，将红外图像和可见光图像转为同一种模态。其他一些方法采用了表征学习的方式，将两种模态的图像特征在统一的特征空间中对齐。
[0004]现有一种跨模态行人重识别方法，利用一个单流网络接一个模式对齐模块提取图像细节特征，再利用交叉熵损失和中心簇损失训练网络参数，达到跨模态行人重识别的目的。但是，中心簇损失虽然对模态间的差异处理的较好，但对于模态内差异的约束不够紧凑；模态对齐模块从通道层面上提取了细节特征，但在空间层面上也存在着一些可利用的关键的细节特征。如果能同时利用这些信息，那么跨模态行人重识别模型的性能能够得到进一步提升。

技术实现思路

[0005]为了克服现有技术中存在的不足，本专利技术提供一种基于时空特征和异中心损失的跨模态行人重识别方法，同时提取了通道特征和空间特征，使得行人的表示更具有辨识性，使用了异中心样本损失，使得同一个行人特征的特征分布更加紧凑。
[0006]本专利技术为解决其技术问题所采用的技术方案是：一种基于时空特征和异中心损失的跨模态行人重识别方法，跨模态行人重识别模型从空间、通道、全局维度提取行人图像特征，并采用由身份损失、异中心样本损失、中心簇损失、总特征损失构成的损失函数训练跨模态行人重识别模型，实现行人图像的跨模态行人重识别。
[0007]作为本专利技术的进一步实施方案，具体包括如下步骤：
[0008]S1：构建跨模态行人重识别模型，所述跨模态行人重识别模型包含有并联的模态对齐模块和空间特征提取模块；
[0009]S2：对输入跨模态行人重识别模型的行人图像进行数据增强；
[0010]S3：跨模态行人重识别模型提取行人图像的全局特征、空间局部特征以及通道局部特征；
[0011]S4：计算提取到的空间局部特征的异中心样本损失和身份损失，计算提取到的通道局部特征的中心簇损失和身份损失；
[0012]S5：将全局特征、空间局部特征和通道局部特征进行拼接作为总特征，计算总特征损失；
[0013]S6：将步骤S4、S5中的所有损失相加构成跨模态行人重识别模型整体的损失函数，根据该损失函数训练优化跨模态行人重识别模型中的参数；
[0014]S7：跨模态行人重识别模型训练完成后，将待查询的行人图像和测试集中图像输入跨模态行人重识别模型中，计算它们之间的相似度，返回相似度最高的M个值，即为跨模态行人重识别的结果。
[0015]作为本专利技术的进一步实施方案，步骤S2中所述对行人图像进行数据增强，具体为：将可见光图像和红外图像混合，形成若干批次。
[0016]作为本专利技术的进一步实施方案，步骤S4中所述计算提取到的空间局部特征的异中心样本损失，其计算公式如下：
[0017][0018]其中，L
HCS
表示异中心样本损失，ρ为边际参数，δ是一个平衡系数，[x]+
＝max(x,0)表示标准铰链损失，||x
a
‑
x
b
||2表示x
a
和x
b
间的二范数；P表示一个mini
‑
batch中不同类的总数，和分别表示类i的第j张可见光图像和第j张红外图像的特征表示，和分别表示在一个mini
‑
batch中可见光模态和红外模态类i的中心特征；
[0019]和由各自模态中所有类i的样本求均值得到，其计算公式如下：
[0020][0021][0022]其中，K表示一个mini
‑
batch中可见光图像和红外图像的数量均为K。
[0023]本专利技术的有益效果包括：本方法在原有模态对齐模块的基础上并联了一个空间特征提取模块，同时提取了通道特征和空间特征，使得行人的表示更具有辨识性；同时使用了异中心样本损失同时处理跨模态和模态内的变化，使得同一个行人特征的特征分布更加紧凑。对于探索行人的特征表示以及提高行人重识别准确性具有参考意义。
附图说明
[0024]图1为本专利技术的模型框架图；
[0025]图2为本专利技术异中心样本损失说明图；
[0026]图3为异中心样本损失效果对比t
‑
SNE图。
具体实施方式
[0027]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0029]实施例1
[0030]一种基于时空特征和异中心损失的跨模态行人重识别方法，在原有的跨模态行人重识别的模型上，并联一个空间特征提取结构，构建一个新的跨模态行人重识别模型，图1为本专利技术的模型框架图。
[0031]首先，对数据集中的红外图像和可见光图像进行数据增强。然后把它们送入到一个由Resnet50和MPM组成的单流网络中，得到一个嵌入特征图X。接着，使用三个分支，分别提取嵌入特征图X的空间特征、通道特征和全局特征表示。最后，分别对这三个特征表示使用身份损失和相关的跨模态三重损失，优化网络的参数，得到一个跨模态行人重识别模型。
[0032]其具体包括以下技术环节：
[0033]1.构造网络模型，初始化网络参数。
[0034]本专利技术的主干网络是一个由Resnet50和MAM组成的单流网络，它的主要目的是提取一个粗粒度的行人特征其中，C、H、W分别表示特征图的通道数，长和宽。Resnet50采用在ImageNet上预训练参数初始化网络参数，并且移除最后个下采样层，即layer4层的最后一个卷积块的stride改为1。MAM本质上是一个实例归一化结构(具体可参考：Qiong Wu,Pingyang Dai,Jie Chen,Chia
‑
Wen Lin,Yongjian Wu,Feiyue Huang,Bineng Zhong,and RongrongJi.Discover cross
‑
modality nuances for visible
‑
in本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空特征和异中心损失的跨模态行人重识别方法，其特征在于，跨模态行人重识别模型从空间、通道、全局维度提取行人图像特征，并采用由身份损失、异中心样本损失、中心簇损失、总特征损失构成的损失函数训练跨模态行人重识别模型，实现行人图像的跨模态行人重识别。2.根据权利要求1所述的基于时空特征和异中心损失的跨模态行人重识别方法，其特征在于，具体包括如下步骤：S1：构建跨模态行人重识别模型，所述跨模态行人重识别模型包含有并联的模态对齐模块和空间特征提取模块；S2：对输入跨模态行人重识别模型的行人图像进行数据增强；S3：跨模态行人重识别模型提取行人图像的全局特征、空间局部特征以及通道局部特征；S4：计算提取到的空间局部特征的异中心样本损失和身份损失，计算提取到的通道局部特征的中心簇损失和身份损失；S5：将全局特征、空间局部特征和通道局部特征进行拼接作为总特征，计算总特征损失；S6：将步骤S4、S5中的所有损失相加构成跨模态行人重识别模型整体的损失函数，根据该损失函数训练优化跨模态行人重识别模型中的参数；S7：跨模态行人重识别模型训练完成后，将待查询的行人图像和测试集中图像输入跨模态行人重识别模型中，计算它们之间的相似度，返回相似度最高的M个值，即为跨模态行人重识别的结果。3...

【专利技术属性】
技术研发人员：张强，苏鹏，刘瑞，周东生，
申请(专利权)人：大连大学，
类型：发明
国别省市：