一种基于关系注意力transformer的行人重识别方法技术

本发明专利技术公开了一种基于关系注意力transformer的行人重识别方法，该方法的关系注意力transformer模型主要包括通道注意力模块和近邻关系注意力模块。通道注意力模块通过利用transformer自注意力的特性提取有效维度达到降维的作用，在保证性能的同时节省了算力，也能够初步提取不同样本之间的关联信息；近邻关系注意力模块对近邻样本中非相关样本的注意力权重做稀疏处理，进一步加强了相关样本的交互，从而在进行行人特征匹配时减少离群值的干扰，提高匹配精度。提高匹配精度。提高匹配精度。

【技术实现步骤摘要】
一种基于关系注意力transformer的行人重识别方法


[0001]本专利技术涉及图像识别研究领域，尤其是行人重识别领域，具体涉及一种基于关系注意力transformer的行人重识别方法。

技术介绍

[0002]随着城市数字化智能化改革的不断深入，人工智能技术应用的越来越广泛，因此对智能技术的要求也越来越高。而安防作为备受关注的领域之一，在智能技术的创新上也是走在前列。行人重识别技术正是安防领域的核心技术之一，其用途甚广，如追踪罪犯、寻找失踪人口等，可以减少城市人力、物力和财力资源消耗的同时，提高相关工作的效率。然而，行人重识别面临着较多挑战，包括天气变化、光照变化、行人躯体遮挡、行人服饰变化和摄像头成像差异等等。尽管已经获得了某些突破，但在实际场景的应用中仍然有较大的提升空间。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术提供了一种基于关系注意力transformer的行人重识别方法，该模型输入批量样本的行人特征，降低了计算复杂度，深度挖掘出相邻样本之间的关系信息。技术方案如下：
[0004]本专利技术提供了一种基于关系注意力transformer的行人重识别方法，该方法包括如下主要步骤：
[0005]步骤1，将N个样本x输入到特征提取器中，特征提取器为HRNet18模型，模型结尾连接一个全局平均池化层和一个线性卷积层，获得一个N
×
d的特征矩阵即从样本x
i
中提取出d维的特征向量f
i
，其中i＝1，2，...，N；
[0006]步骤2，将特征矩阵f输入到关系注意力transformer模型中，特征矩阵f先进入通道注意力模块，通过计算两个不同特征向量之间的相似度初步获得对应样本的关系权重；特征矩阵f分别通过3个线性投影ρ
q
(
·
)，ρ
k
(
·
)，ρ
v
(
·
)，获得query、key和value矩阵，分别记为q，k，从特征矩阵f中随机采样m个样本，记为f
m
通过ρ
q
(
·
)，ρ
k
(
·
)得到q
m
，k
m
；将原始的q，通过以下公式映射到m维空间：
[0007][0008]步骤3，取任意样本对(f
i
，f
j
)，其中i∈{1，2，...，N}，j∈{1，2，...，m}，计算两者相似度，从而获得亲和矩阵M
ij
，具体公式如下：
[0009][0010]通过这种方式获得的亲和矩阵，其计算复杂度由原来的O(N2d)缩减为O(N2m)，m远小于d；
[0011]步骤4，将亲和矩阵输入到关系注意力模块中，将相似度转化为注意力权重，然后使用阈值过滤来整合特征表达，关系注意力模块先从亲和矩阵每行按数值大小取前κ个值
来计算一个top
‑
k的近邻关联矩阵H
κ
，具体公式如下：
[0012][0013]完整的近邻关联矩阵公式如下所示：
[0014][0015]其中为哈达玛积；
[0016]步骤5，对近邻关联矩阵H做softmax操作，得到近邻关系注意力权重W，公式如下：
[0017][0018]完整特征表达可以表示为：
[0019][0020]步骤6，对transformer模型进行训练，实现行人重识别。
[0021]与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：关系注意力transformer模型主要包括通道注意力模块和近邻关系注意力模块。通道注意力模块通过利用transformer自注意力的特性提取有效维度达到降维的作用，在保证性能的同时节省了算力，也能够初步提取不同样本之间的关联信息；近邻关系注意力模块对近邻样本中非相关样本的注意力权重做稀疏处理，进一步加强了相关样本的交互，从而在进行行人特征匹配时减少离群值的干扰，提高匹配精度。优点主要表现为：
[0022]1.通道注意力模块保证性能的同时降低计算量，初步提取不同样本之间的关系信息，有利于边缘设备部署；
[0023]2.近邻关系注意力模块挖掘近邻样本的关联信息，减少非相关样本的干扰，提高行人特征匹配精度。
附图说明
[0024]图1为本公开实施例提供的一种关系注意力transformer模型示意图。
具体实施方式
[0025]为了阐明本专利技术的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0026]本申请的说明书和权利要求书及上述附图中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。
[0027]本公开实施例提供了一种基于关系注意力transformer的行人重识别方法，该方法包括如下主要步骤：
[0028]步骤1，将N个样本x输入到特征提取器中，特征提取器为HRNet18模型，模型结尾连接一个全局平均池化层和一个线性卷积层，获得一个N
×
d的特征矩阵即从样本
x
i
中提取出d维的特征向量f
i
，其中i＝1，2，...，N。
[0029]步骤2，将特征矩阵f输入到关系注意力transformer模型中，模型的流程如图1所示。特征矩阵f先进入通道注意力模块，由于transformer本身自注意力的特性，很容易在特征空间进行维度转化，且因为输入的是多个样本的特征向量，通过计算两个不同特征向量之间的相似度就可以初步获得对应样本的关系权重；特征矩阵f分别通过3个线性投影ρ
q
(
·
)，ρ
k
(
·
)，ρ
v
(
·
)，获得query、key和value矩阵，记为q，k，从特征矩阵f中随机采样m个样本，记为f
m
通过ρ
q
(
·
)，ρ
k
(
·
)得到q
m
，k
m
；将原始的q，通过以下公式映射到m维空间：
[0030][0031]步骤3，取任意样本对(f
i
，f
j
)，其中i∈{1，2，...，N}，j∈{1，2，...，m}，计算两者相似度，从而获得亲和矩阵M
ij
，具体公式如下：
[0032][0033]通过这种方式获得的亲和矩阵，其计算复杂度由原来的O(N2d)缩减为O(N2m)，m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关系注意力transformer的行人重识别方法，其特征在于，该方法包括如下主要步骤：步骤1，将N个样本x输入到特征提取器中，特征提取器为HRNet18模型，模型结尾连接一个全局平均池化层和一个线性卷积层，获得一个N
×
d的特征矩阵即从样本x
i
中提取出d维的特征向量f
i
，其中i＝1，2，...，N；步骤2，将特征矩阵f输入到关系注意力transformer模型中，特征矩阵f先进入通道注意力模块，通过计算两个不同特征向量之间的相似度初步获得对应样本的关系权重；特征矩阵f分别通过3个线性投影ρ
q
(
·
)，ρ
k
(
·
)，ρ
v
(
·
)，获得query、key和value矩阵，分别记为从特征矩阵f中随机采样m个样本，记为f
m
通过ρ
q
(
·
)，ρ
k
(
·
)得到q
m
，k
m
；将原始的通过以下公式映射到m维空间：步骤3，取任意样本对(f
i
，f

【专利技术属性】
技术研发人员：姜峰，周金明，
申请(专利权)人：南京视察者智能科技有限公司，
类型：发明
国别省市：