基于制造技术

本发明专利技术公开了基于

【技术实现步骤摘要】
基于Transformer的多类别多特征尺度行人重识别方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及基于
Transformer
的多类别多特征尺度行人重识别方法及系统
。

技术介绍

[0002]行人重识别
(Pedestrian Re
‑
Identification)
是计算机视觉领域的一个关键研究领域，其主要目标是从不同摄像头或时间点捕获的视频或图像中，准确地识别和跟踪同一行人的身份
。
[0003]行人重识别技术在多个领域具有广泛的应用潜力
。
随着城市化的不断发展，监控系统的普及程度越来越高，这使得对行人进行准确的识别和跟踪成为一项至关重要的任务
。
在传统监控系统中，行人的识别和跟踪通常依赖于人工干预，这既费时又容易出错
。
行人重识别技术迎合了这一需求，克服了传统监控系统中的局限性
。
行人重识别技术可以实现自动化
、
高效率和高精度的行人识别，为安全监控
、
智能交通
、
城市规划等领域提供了巨大的潜力
。
在安全监控中，它可以用于追踪和识别犯罪嫌疑人，提高监控系统的效率
。
在智能交通领域，行人重识别有助于改善交通流量管理，提高交通安全性
。
在商场和零售领域，它可以用于优化商场布局，改善购物体验
。
在城市规划中，行人重识别可用于人流分析，有助于改善城市交通和基础设施规划
。
行人重识别技术的发展为解决现实生活中的安全和管理问题提供了有力工具
。
[0004]目前行人重识别面临着多个技术挑战
。
首先，不同摄像头之间的视角
、
光照和分辨率差异导致了行人图像的外观变化，这增加了识别的难度
。
其次，同一行人在不同时间和场景下可能穿着不同的服装，这也会引入干扰
。
此外，大规模的行人重识别数据集和有效的训练方法是实现高性能模型的关键因素
。
[0005]随着深度学习技术的快速发展，行人重识别取得了显著的进展
。
深度卷积神经网络
(CNN)
在图像特征提取方面表现出色，
Siamese
网络和
Triplet
网络等架构被广泛用于学习行人图像的特征表示
。
度量学习方法也得到了应用，通过学习如何在特征空间中度量行人之间的相似度来提高识别性能
。
此外，多摄像头联合跟踪和多尺度特征融合等技术也推动了行人重识别的发展
。
随着深度学习技术和硬件计算能力的不断提高，行人重识别技术将继续取得进展，并在各个领域发挥越来越重要的作用
。
这一技术背景为行人重识别的专利技术专利提供了坚实的基础和动机
。
[0006]目前市面上基于
Transformer
的行人重识别还较少，例如公开号
CN115631513A(
基于
Transformer
的多尺度行人重识别方法
)
也是通过挖掘行人图像的不同尺度信息来学习特征，但只是将多尺度信息通过插值与卷积进行融合，没有动态地将不同尺度的特征融合，此外也没有在
Transformer
中引入多类别标签；公开号
CN116012771A(
一种基于关系注意力
transformer
的行人重识别方法
)
通过通道注意力模块和近邻关系注意力模块来关联特征信息；公开号
CN115909408A(
一种基于
Transformer
网络的行人重识别方法及装置
)
将原始
图像通过线性映射分为两个分支，再经由一二分支加入参数得到三四分支，分别放入
Transformer
模型中获取全局与局部特征信息；公开号
CN114677646A(
一种基于
Vision Transformer
的跨域行人重识别方法
)
使用基于密度空间的聚类方法给数据赋予了伪标签，将
Vision Transformer
特征提取架构与聚类模块融合，通过聚合信息存储模块对学习到聚合信息进行存储以学习全局特征
。
但上述方法都不涉及多类别标签与特征动态融合
。
[0007]本专利技术提出一种基于
Transformer
的多类别多特征尺度行人重识别方法及系统，从而解决当前行人重识别准确度不高的问题
。

技术实现思路

[0008]本专利技术的目的在于提供一种基于
Transformer
的多类别多特征尺度行人重识别方法及系统，以解决上述
技术介绍
中提出的现有技术中基于
Transformer
的行人重识别技术不涉及多类别标签与特征动态融合，且行人重识别准确度不高等问题
。
[0009]为实现上述目的，本专利技术采用以下技术方案实现：
[0010]本专利技术提供了基于
Transformer
的多类别多特征尺度行人重识别方法，包括以下步骤：
[0011]S1、
将行人图像进行大小不同的分割；行人图像分别分割为大分块图像块与小分块图像块，并分别送入两个线性投射层，得到每个行人两种不同的图像特征序列；
[0012]S2、
加入多个类别标签；在得到的两个图像特征序列中分别加入相同个数的类别标签
CLS_TOKEN
，并添加相应个数的位置编码
POS_TOKEN
；
[0013]S3、
两个图像特征序列各自通过
Transformer
网络，提取行人特征，分别获得相对应的行人图像特征和类别标签权重；
[0014]S4、
将通过
Transformer
网络的两个图像特征序列进行动态融合，得到合并后的一组包含分类标签与图像特征的向量；
[0015]S5、
将融合后的分类标签输入至全连接层分类器获取行人重识别结果
。
[0016]优选地，所述
S1
中使用对输入图像特征的多尺度提取，对行人图像进行大小不同的分割
。
[0017]优选地，所述
S2
中加入多个类别标签，具体包括如下步骤：
[0018]S201、
将图像块经过线性投影层得到相应的图像特征序列；
[0019]S202、
在图像特征序列前，加入多个类别标签
CLS_TOKFN
；
[0020]S203、
图像特征序列通过
Transfo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
Transformer
的多类别多特征尺度行人重识别方法，其特征在于，包括以下步骤：
S1、
将行人图像进行大小不同的分割；行人图像分别分割为大分块图像块与小分块图像块，并分别送入两个线性投射层，得到每个行人两种不同的图像特征序列；
S2、
加入多个类别标签；在得到的两个图像特征序列中分别加入相同个数的类别标签
CLS_TOKEN
，并添加相应个数的位置编码
POS_TOKEN
；
S3、
两个图像特征序列各自通过
Transformer
网络，提取行人特征，分别获得相对应的行人图像特征和类别标签权重；
S4、
将通过
Transformer
网络的两个图像特征序列进行动态融合，得到合并后的一组包含分类标签与图像特征的向量；
S5、
将融合后的分类标签输入至全连接层分类器获取行人重识别结果
。2.
根据权利要求1所述的基于
Transformer
的多类别多特征尺度行人重识别方法，其特征在于，所述
S1
中使用对输入图像特征的多尺度提取，对行人图像进行大小不同的分割
。3.
根据权利要求1所述的基于
Transformer
的多类别多特征尺度行人重识别方法，其特征在于，所述
S2
中加入多个类别标签，具体包括如下步骤：
S201、
将图像块经过线性投影层得到相应的图像特征序列；
S202、
在图像特征序列前，加入多个类别标签
CLS_TOKEN
；
S203、
图像特征序列通过
Transformer
网络时，逐渐调整注意力机制中的查询值相互正交，使得
|cos(f1,f2)|
→0，以让不同的类别标签学习到不同的特征；其中，
f1，
f2为同一特征的不同表示
。4.
根据权利要求1所述的基于
Transformer
的多类别多特征尺度行人重识别方法，其特征在于，所述
S3
中
Transformer
网络的构建，具体如下：
Transformer
网络主要由多层堆叠的
Transformer
模块构成，单个
Transformer
层由多头注意力机制
MSA、
层归一化
LN
和多层感知器
MLP
构成，如下述公式所示：
F
l
′
＝
MSA(LN(F
l
‑1))+F
l
...

【专利技术属性】
技术研发人员：熊继平，李正浩，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：