一种双分支关键特征重组的行人重识别方法、系统及介质技术方案

本发明专利技术公开了一种双分支关键特征重组的行人重识别方法、系统及介质，其中方法包括：获取图像数据；将图像数据输入训练后的行人重识别模型进行处理，输出行人重识别结果；所述行人重识别模型包括ViT模块和一条局部分支；其中，将ViT模块作为主干网络，用于提取行人的全局信息；局部分支包括关键特征重组模块和encoder模块，所述关键特征重组模块用于从全局信息中筛选出对判别性特征贡献最大的关键信息，所述encoder模块用于根据关键信息进行特征提取，获得行人具有高判别性的局部信息。本发明专利技术通过使用全局信息和局部信息结合的方式，排除背景和遮挡的干扰，有效地提升行人重识别网络的性能，可广泛应用于图像识别技术领域。域。域。

【技术实现步骤摘要】
一种双分支关键特征重组的行人重识别方法、系统及介质


[0001]本专利技术涉及图像识别
，尤其涉及一种双分支关键特征重组的行人重识别方法、系统及介质。

技术介绍

[0002]行人重识别是多摄像头多行人场景下的一个跨摄像头检索任务，通常被认为是计算机视觉领域中重要的研究课题，在推进社会安全和实现智慧城市具有重要意义。
[0003]行人重识别是一个充满挑战性的任务。多个摄像头间拍摄区域没有重叠，行人在不同的摄像头下有不同的视角和不同的姿态，这使得即使是同一行人在不同摄像头下表现出巨大差异。
[0004]目前，基于深度学习的方法在行人重识别领域占主导地位，训练一个行人重识别的深度学习模型可以分为以下几个步骤，首先，将训练集中的一组行人图像经过处理后输入到深度神经网络，经过大量计算得到一组表征行人的特征向量，再将向量代入设计好的损失函数中计算损失值，然后通过梯度反向传播和优化器来更新模型参数，由此，可以看出设计出有效提取行人特征的网络模型至关重要，行人重识别方法可以被分为以下几类：(1)基于全局图像的行人重识别方法，经过层层卷积神经网络提取到图像中行人的全局特征，这样的做法在当初取得了不错的效果，但是由于卷积神经网络的天然特性，在不可避免的下采样过程中，分辨率会逐步降低且不可挽回，使得网络容易忽视掉局部的具有判别行特征，并且直接从整张图像中提取特征容易受到遮挡、背景、人体姿势的干扰，从而影响在这些情况下的识别率；(2)基于线性分块的行人重识别方法，将行人图像线性分块然后输入到网络，促使网络更加关注到局部区域，网络能够利用到局部信息进行匹配和分类，取得了不错的效果，甚至有效的提升了在小部分遮挡环境下的识别率，但在严重遮挡下，即使是局部信息也包含大量的干扰噪音，且分块策略对于人物不对齐是无能为力的；(3)基于图像分割模型或姿势估计模型的行人重识别方法，这两种模型都能将行人信息从背景信息中抽离出来，然后交给后续的行人重识别模型，这种两阶段的策略显著的提升了识别的准确率，但是由于引入了额外的模型，必然导致大量计算力的消耗以及最后的识别率极大程度上依赖于一阶段提取到的行人信息干净程度，由于图像分割模型或姿态估计模型在处理行人重识别数据库时必然面临跨域不适应问题，存在将行人身上有判别性的细粒度特征当作干扰被归为背景信息，而导致行人关键信息的缺失；(4)基于注意力机制的行人重识别方法，有很多基于卷积操作的注意力机制可以挖掘出行人图像中最具有判别性的区域，但是由于卷积核受限于感受野和下采样导致的分辨率丢失的关系，通常只能聚焦到一个小的区域，无法解决长期依赖的问题。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种双分支关键特征重组的行人重识别方法、系统及介质。
[0006]本专利技术所采用的技术方案是：
[0007]一种双分支关键特征重组的行人重识别方法包括以下步骤：
[0008]获取图像数据；
[0009]将图像数据输入训练后的行人重识别模型进行处理，输出行人重识别结果；
[0010]所述行人重识别模型包括ViT模块和一条局部分支；
[0011]其中，将ViT模块作为主干网络，用于提取行人的全局信息；局部分支包括关键特征重组模块和encoder模块，所述关键特征重组模块用于从全局信息中筛选出对判别性特征贡献最大的关键信息，所述encoder模块用于根据关键信息进行特征提取，获得行人具有高判别性的局部信息。
[0012]进一步地，所述ViT模块对输入图像进行以下处理：
[0013]对于一张输入图像I∈R
H
×
W
×
C
，其中H代表高度，W代表宽度，C代表通道数，用一个长和宽都为P且步长为S的卷积核对输入图像I进行线性映射，得到N个维度为D的序列D由卷积核的数量决定，i∈1,2,...,N，其中：
[0014][0015]生成一个与序列x
P
长度相等的可学习的cls标记，将cls标记与序列x
P
组合，并通过可学习的位置编码将空间信息整合到组合中，得到输入序列z0表示如下：
[0016][0017]式中，x
cls
∈R1×
D
表示cls标记，E
pos
∈R
(N+1)
×
D
表示为位置编码；
[0018]在线性映射完成后，将输入序列z0输入到包含有多个的transformer的encoder部分，encoder部分包含多头自注意力模块和多层感知模块，计算输出序列的公式如下：
[0019]z
′
l
＝MSA(LN(z
l
‑1))+z
l
‑1[0020]z
l
＝MLP(LN(z
′
l
))+z
′
l
[0021]式中，LN(
·
)表示层间归一化操作，MSA(
·
)表示多头注意力操作，MLP(
·
)表示多层感知操作。
[0022]进一步地，输入序列z0经过transformer的encoder部分后，会将cls标记单独提取出来，放入到分类器中进行分类，得到分类结果；在对行人重识别模型进行训练的过程中，根据分类结果使用身份损失和三元组损失来计算总体损失，并通过反向传播优化整个模型参数。
[0023]进一步地，所述关键特征重组模块通过以下方式获取关键信息：
[0024]设置一个长度为L的层间特征图权重可学习参数θ∈R
L
×1，将ViT模块中每层的特征图加起来，得到最终的全局高关注度自注意力特征图：
[0025][0026]式中，attn_map
i
表示cls标记部分的特征图。
[0027]进一步地，所述encoder模块通过以下方式获取局部信息：
[0028]选取全局高关注度自注意力特征图中值最大的前ρ％的关键信息组成局部信息z
k
：
[0029][0030]式中，N表示维度为D的序列个数。
[0031]进一步地，采用相似性对比损失对行人重识别模型进行训练，所述相似性对比损失的表达式为：
[0032]Loss
con
＝Sim(x
global
,x
prm
)
[0033]其中，Sim(
·
)表示为哈达马积，x
global
表示全局分支中最后输出的cls标记，x
prm
表示局部分支中最后输出的cls标记。
[0034]进一步地，所述行人重识别模型通过以下方式训练获得：
[0035]获取行人图像数据，对行人图像数据进行增强处理后，获取训练集；
[0036]构建模型：将ViT模块作为主干网络，并添加一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双分支关键特征重组的行人重识别方法，其特征在于，包括以下步骤：获取图像数据；将图像数据输入训练后的行人重识别模型进行处理，输出行人重识别结果；所述行人重识别模型包括ViT模块和一条局部分支；其中，将ViT模块作为主干网络，用于提取行人的全局信息；局部分支包括关键特征重组模块和encoder模块，所述关键特征重组模块用于从全局信息中筛选出对判别性特征贡献最大的关键信息，所述encoder模块用于根据关键信息进行特征提取，获得行人具有高判别性的局部信息。2.根据权利要求1所述的一种双分支关键特征重组的行人重识别方法，其特征在于，所述ViT模块对输入图像进行以下处理：对于一张输入图像I∈R
H
×
W
×
C
，其中H代表高度，W代表宽度，C代表通道数，用一个长和宽都为P且步长为S的卷积核对输入图像I进行线性映射，得到N个维度为D的序列D由卷积核的数量决定，i∈1,2,...,N，其中：生成一个与序列x
P
长度相等的可学习的cls标记，将cls标记与序列x
P
组合，并通过可学习的位置编码将空间信息整合到组合中，得到输入序列z0表示如下：式中，x
cls
∈R1×
D
表示cls标记，E
pos
∈R
(N+1)
×
D
表示为位置编码；在线性映射完成后，将输入序列z0输入到包含有多个的transformer的encoder部分，encoder部分包含多头自注意力模块和多层感知模块，计算输出序列的公式如下：z
′
l
＝MSA(LN(z
l
‑1))+z
l
‑1z
l
＝MLP(LN(z
′
l
))+z
′
l
式中，LN(
·
)表示层间归一化操作，MSA(
·
)表示多头注意力操作，MLP(
·
)表示多层感知操作。3.根据权利要求2所述的一种双分支关键特征重组的行人重识别方法，其特征在于，输入序列z0经过transformer的encoder部分后，会将cls标记单独提取出来，放入到分类器中进行分类，得到分类结果；在对行人重识别模型进行训练的过程中，根据分类结果使用身份损失和三元组损失来计算总体损失，并通过反向传播优化整个模型参数。4.根据权利要求2所述的一种双分支关键特征重组的行...

【专利技术属性】
技术研发人员：杨一豪，梁亚玲，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：