一种基于Transformer的遮挡行人重识别方法技术

技术编号:41301812 阅读:27 留言:0更新日期:2024-05-13 14:48
本发明专利技术公开一种基于Transformer的遮挡行人重识别方法,涉及图像监控识别技术领域。获取待识别图像并对待识别图像进行预处理;定义可学习的语义视图;构建基于Transformer的行人重识别模型;利用得到的图像序列及定义的可学习的语义视图,对基于Transformer的行人重识别模型进行训练,得到训练完成的基于Transformer的行人重识别模型;获取一张行人图片并利用训练完成的基于Transformer的行人重识别模型进行识别得到识别结果。本发明专利技术通过Transformer做特征提取可以使模型更关注显著性特征,一定程度上降低了背景信息的干扰,通过引入Transformer的Decoder分支来辅助Encoder分支局部特征的筛选,Decoder分支关注于更有判别力行人特征,结合Encoder输出的局部特征集,将被遮挡的局部特征过滤掉,只保留显著行人特征,从而降低遮挡的干扰。

【技术实现步骤摘要】

本专利技术涉及图像监控识别,尤其涉及一种基于transformer的遮挡行人重识别方法。


技术介绍

1、行人重识别(person re-identification,简称re-id),其利用计算机视觉相关技术,在不同摄像头下对同一行人进行检索,属于图像检索的子问题。随着摄像头所处环境的不同,摄像头所采集的图片也受着许多因素的影响,如视角、光照、遮挡、尺度、姿态等。但从技术角度来说,光照、尺度以及姿态等物理因素造成的影响并不会导致采集的行人特征缺失,只有在遮挡的情况下,采集的行人特征才不完整,从而影响识别的效果。现有的针对行人重识别的工作只要可以分为三个部分,分别是手工分割、基于额外的语义信息或姿态信息以及基于transformer的方法。

2、手工分割一般是将图像或特征图分割为块状或条状,然后对分割出的图片进一步提取特征进行图像的匹配。pcb(part-based convolutional baseline)将特征图进行水平切块,按照水平方向均匀的切成6块,然后每个局部特征分别进行平均池化、降维、全连接等操作,最后通过softmax进行分类。本文档来自技高网...

【技术保护点】

1.一种基于Transformer的遮挡行人重识别方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于Transformer的遮挡行人重识别方法,其特征在于,S1具体包括:

3.根据权利要求1所述的一种基于Transformer的遮挡行人重识别方法,其特征在于,S2中可学习的语义视图表示为:

4.根据权利要求1所述的一种基于Transformer的遮挡行人重识别方法,其特征在于,S3中所述基于Transformer的行人重识别模型包括Transformer编码器、Transformer解码器和局部特征匹配模块;

5.根据权利要...

【技术特征摘要】

1.一种基于transformer的遮挡行人重识别方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于transformer的遮挡行人重识别方法,其特征在于,s1具体包括:

3.根据权利要求1所述的一种基于transformer的遮挡行人重识别方法,其特征在于,s2中可学习的语义视图表示为:

4.根据权利要求1所述的一种基于transformer的遮挡行人重识别方法,其特征在于,s3中所述基于transformer的行人重识别模型包括transformer编码器、transformer解码器和局部特征匹配模块;

5.根据权利要求4所述的一种基于transformer的遮挡行人重识别方法,其特征在于,在第一个transformer decoder layer中,所述多头自注意力机制模块接收输入的可学习的语义视图,对语义视图进行自注意力计算,得到一组视图特征并发送给归一化层;所述归一化层将多头自注意力机制模块输入的一组视图特征进行归一化处理,并发送给多头交叉注意力模块;所述多头交叉注意力机制模块...

【专利技术属性】
技术研发人员:顾德英张帅刘昊
申请(专利权)人:东北大学秦皇岛分校
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1