一种基于逐点特征匹配的跨域行人重识别方法技术

本发明专利技术提出了一种基于逐点特征匹配的跨域行人重识别方法。首先，为解决网络对于跨域的行人图像风格、颜色等鲁棒性不高的问题，在Resnet50基础网络中引入实例归一化层来提取图像特征，提高模型的泛化能力。其次，为了更好的捕捉局部和全局信息，增强特征的表示能力，利用Transformer自注意力模块与卷积相结合。最后，通过在深层特征中建立一种逐点的特征映射关系，将图像匹配视为逐点寻找局部最优的过程，计算出图像匹配相似度，使用Focal loss进行损失约束。本发明专利技术主要应用于视频监控智能分析应用系统中，在图像检索，智能安防等领域具有开阔的应用前景。有开阔的应用前景。

【技术实现步骤摘要】
一种基于逐点特征匹配的跨域行人重识别方法


[0001]本专利技术涉及一种基于逐点特征匹配的跨域行人重识别方法，属于计算机视觉与智能信息处理领域。

技术介绍

[0002]行人重识别是计算机视觉领域中的热门研究内容，旨在解决跨摄像头下的相同身份的图像匹配问题。行人重识别在智能视频监控、智慧安防方面有着广泛的应用，例如搜寻丢失小孩老人、违法犯罪行为侦查、嫌疑人追踪等。但是在现实场景中，由于摄像头位置不同、角度不同，行人姿态、遮挡等影响，很多方法在新的未知场景下泛化能力差，给行人重识别任务带来较大挑战。
[0003]为了解决这个问题，研究者提出无监督域自适应(Unsupervised Domain Adaption)方法，主要包括基于聚类的伪标签法和基于风格迁移的方法，这些方法大都是对每一幅图像计算一个固定的表示向量，并使用典型的距离或相似度度量来进行图像匹配，没有考虑到两幅输入图像之间的实际内容对应关系，而是像分类一样，独立处理每幅图像，学习的模型提取固定的特征表示，没有领域适应和迁移学习时，学习到的模型是固定不变的，泛化能力差，不适合处理没有见过的场景。与传统的跨数据集方式相比，无监督域自适应方法在性能上有提升，但是此类方法都需要在目标域上进一步学习，部署时需要消耗大量的资源和时间，限制了在实际场景中的应用，因此，非常有必要提高基线模型的泛化能力。

技术实现思路

[0004]本专利技术提出了一种基于逐点特征匹配的跨域行人重识别方法，在Resnet50中引入IN层作为骨干网络，提升网络模型的域自适应能力；为了更好的提取有用的行人特征，引入Transformer自注意力机制，利用其多头注意力机制以提取更好的行人局部和全局特征；在不同领域下寻找局部最优具有普遍适用性，能够较好的用于未知的场景，故将图像匹配问题看作是逐点匹配寻找局部最优的过程，提升模型的抗错位能力，改善跨域行人重识别基线模型泛化性不足的问题。
[0005]一种基于逐点特征匹配的跨域行人重识别方法，其特征在于包括以下步骤：
[0006](1)在Resnet50中引入IBN
‑
Net，使模型能够学习到风格、颜色等视觉变换的相关性，减小个体之间不同外观的差异，以增强模型的跨域重识别性能；
[0007](2)再将经过Resnet50
‑
IBN
‑
Net卷积网络的layer3特征图分成N个子特征图，并将所有子特征图转换为一维向量，将转换得到的一维向量输入到transformer encoder中，以提取更好的全局特征和局部特征；
[0008](3)再将得到的特征图进行逐点匹配，将最终得到的匹配向量经过归一化和全连接层输出最终的相似度结果。
附图说明
[0009]图1为本专利技术逐点特征匹配的跨域行人重识别方法框图；
[0010]图2为本专利技术Resnet50引入IBN的网络结构图；
[0011]图3为本专利技术Transformer encoder网络结构图；
[0012]图4为本专利技术特征逐点匹配过程框图。
具体实施方式
[0013]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进一步详细说明。应当理解，此处所描述具体实施方式仅仅用以解释本专利技术，并不用于限定本专利技术。
[0014]如图1所示，一种基于逐点特征匹配的跨域行人重识别方法，其特征在于包括以下步骤：
[0015](1)在Resnet50中引入IBN
‑
Net，使模型能够学习到风格、颜色等视觉变换的相关性，减小个体之间不同外观的差异，以增强模型的跨域重识别性能；
[0016](2)再将经过Resnet50
‑
IBN
‑
Net卷积网络的layer3特征图分成N个子特征图，并将所有子特征图转换为一维向量，将转换得到的一维向量输入到transformer encoder中，以提取更好的全局特征和局部特征；
[0017](3)再将得到的特征图进行逐点匹配，将最终得到的匹配向量经过归一化和全连接层输出最终的相似度结果。
[0018]详细步骤如下：
[0019]步骤1：批归一化层(Batch Normalization，BN)能够学习与内容相关的特征信息，保留了单个样本之间的不同之处，增强了语义特征的差异性，加速训练模型的过程，能够得到具有区分性的特征。实例归一化层(IN)能够学习到风格、颜色等视觉变换的相关性，减小个体之间不同外观的差异，增强网络外观不变性的学习能力，其对目标行人的外观变化具有较好的鲁棒性，因此在ResNet50中引入实力归一化层(IN)与批归一化层(BN)形成ResNet50
‑
IBN网络，对特征进行联合归一化处理，解决只使用BN层对特征风格变换不敏感的问题。故在Resnet50引入IBN
‑
Net模块，即在Resnet50 Block中第一个BN层中引入IN层，同时保留一半的BN层，形成Resnet50
‑
IBN
‑
a网络；在Resnet50 Block残差连接之后引入IN层，形成Resnet50
‑
IBN
‑
b网络。
[0020]步骤2：将经过CNN卷积的行人特征图x∈R
H
×
W
×
C
展平为二维的子特征图N＝HW/P2，N是特征图分成二维子特征图x
p
的数量，即是Transformer的有效输入序列长度，H,W分别为特征图的高度和宽度，C是特征图的通道数，(P,P)是子特征图x
p
的大小，P2·
C是将所有子特征图转换成的一维向量。Transformer在所有层都使用相同的维度D，故将每一个子特征图通过可训练的线性投影映射到模型的维度D上，Transformer中的核心模块是多头注意力层，公式定义如下：
[0021][0022]其中，Q代表查询矩阵Query，K代表被查询矩阵Key，V代表实际特征矩阵Value，这
三个参数从输入的特征图z∈R
N
×
D
中进行线性映射产生：Q＝z
×
W
Q
，K＝z
×
W
K
，V＝z
×
W
V
，随机初始化W
Q
，W
K
，W
V
。多头就是通过注意力机制来提取多重的语义信息，根据上式得出行人的特征向量，式中Q
×
K
T
计算出注意力矩阵，除以将注意力矩阵变为标准的正态分布，经过softmax归一化后计算出注意力矩阵对V进行加权，Attention(Q,K,V)的维度与V的维度一致。
[0023]多头注意力机制会初始化多组W
Q
，W
K
，W...

【技术保护点】

【技术特征摘要】
1.一种基于逐点特征匹配的跨域行人重识别方法，其特征在于包括以下步骤：(1)在Resnet50中引入IBN
‑
Net，使模型能够学习到风格、颜色等视觉变换的相关性，减小个体之间不同外观的差异，以增强模型的跨域重识别性能；(2)再将经过Resnet50
‑
IBN
‑
Net卷积网络的layer3特征图分成N个子特征图，并将所有子特征图转换为一维向量，把转换得到的一维向量输入到transformer encoder中，以提取更好的全局特征和局部特征；(3)再将得到的特征图进行逐点匹配，将最终得到的匹配向量经过归一化和全连接层输出最终的相似度结果。2.根据权利要求1所述的一种基于逐点特征匹配的跨域行人重识别方法，所述步骤(1)中在Resnet50中引入IBN
‑
Net模块，即在Resnet50 Block中第一个BN层中引入IN层，同时保留一半的BN层，形成Resnet50
‑
IBN
‑
a网络；在Resnet50Block残差连接之后引入IN层，形成Resnet50
‑
IBN
‑
b网络。3.根据权利要求1所述的一种基于逐点特征匹配的跨域行人重识别方法，所述步骤(2)中将经过Resnet50
‑
IBN
‑
Net卷积网络的layer3层的特征图，展平为N个二维的子特征图，将这N个二维子特征图转换为一维的向量输入transformer encoder，N即输入transformer的有效序列长度，transformer encoder中主要包含两个子层，分别是多头注意力层和全连接层；每个子层之间使用残差进行连接，transformer中的核心模块是多头注意力层，公式定义如下：其中，Q代表查询矩阵Query，K代表被查询矩阵Key，V代表实际特征矩阵Value，多头就是通过注意力机制来提取多重的语义信息，根据上式得出行人的特征向量，式中Q
×
K
T
计算出注意力矩阵，除以将注意力矩阵变为标准的正态分布，经过softmax归一化后计算出注意力矩阵对V进行加权。4.根据权利要求1所述的一种基于逐点特征匹配的跨域行人重识别方法，所述步骤(3)中每幅图像经过骨干CNN网络提取特征，再经过transformer后，得到[1，c，h，w]大小的特征图，其中c为输出的通道数量，h和w分别是特征图的高度和宽度；再将特征图缓存到特征缓存池中，将该特征图与缓存池中所有的行人特征图进行匹配；训练刚开始时，缓存池中并没有行人特征图，只能对行人身份特征进行缓存，若该行人的身份特征...

【专利技术属性】
技术研发人员：吴晓红，杨萍，刘强，李波，陈洪刚，何小海，
申请(专利权)人：四川大学，
类型：发明
国别省市：