【技术实现步骤摘要】
用于遮挡行人重识别空间局部特征增强姿态引导特征方法
[0001]本专利技术涉及计算机视觉
，具体而言是一种用于遮挡行人重识别的空间局部特征增强姿态引导特征方法。
技术介绍
[0002]行人重识别是一项计算机视觉任务，旨在检索具有不同视点、光照条件和位置的不同摄像机来捕获目标人物，具有广泛的应用背景，例如视频监控，安防等领域。简单来说就是希望在给定的一堆图像中，通过模型来学习到一个空间分界面，能将那些相似但又不相同的图片在特征空间中进行分开。近年来，人们提出了大量解决行人重识别问题的方法。这些方法大多是基于卷积神经网络提取人体特征，在主流数据集上取得了令人满意的效果。但是，在现实生活中，我们经常会遇到目标人物身体存在不完整或者遮挡、背景杂乱等情况。比如在商场、车站、游乐园等真是场景中，目标人物很容易被树木、汽车、其他行人等障碍物遮挡，这时候就很难去匹配身体部分不完整或者不可见的行人，因此遮挡的ReID具有重要的实际意义，值得进一步研究。
[0003]遮挡的行人重识别主要面临两大挑战，第一个挑战是丰富的遮挡变化引入...
【技术保护点】
【技术特征摘要】
1.用于遮挡行人重识别空间局部特征增强姿态引导特征方法，其特征在于，按如下步骤进行：步骤1、对分辨率为H
×
W的行人图像进行处理：步骤2、构建局部特征增强模块，包含局部特征提取和空间特征增强；步骤3构建姿态特征提取器，所述姿态特征提取器为HRNet,在COCO数据集上进行预训练；步骤4、构建SAPT网络架构，SAPT网络架构主要由姿态引导特征和局部特征提取增强组成。2.根据权利要求1中所述的用于遮挡行人重识别空间局部特征增强姿态引导特征方法，其特征在于，所述步骤1具体为：步骤1.1、使用卷积神经网络的滑动窗口将图像拆分为固定大小的patches，步长表示为S，每个图像的patches大小表示为P，展平后的大小描述为式(1)式(1)中，我们一般设置S等于P，即划分的patches是不重叠的；当然也可以使划分不得patches是重叠的，来减轻空间领域的损失，只需要让S小于P便可以，这样虽然会对模型的性能有所提升，但计算量也随之增长；在这里可以根据自身的硬件等情况来判断是否需要使划分的patches重叠；步骤1.2、对划分好的patches进行线性映射，并添加cls_token、位置编码、相机等信息；patches在线性投影之后，会映射到D维，得到patches嵌入之后，会映射到D维，得到patches嵌入嵌入之前附加了一个可学习的class token以聚合来自图像patches的信息,输出的用作编码器的全局特征表示在送Transformer block之前；为了保留位置信息，应用了可学习的位置编码P,由于相机的变化，这些特征非常容易受到影响，为了学习相机视角的信息，最终的输入序列可以描述为式(2)：在这里E
input
是Transformer blocks的输入，超参数λ是用来平衡相机嵌入的权重；输入嵌入E
input
将由多个Transformer blocks处理，最终的输出为将f
out
分为全局特征和局部特征：和在我们的设置下N和D分别是128和768。3.根据权利要求1中所述的用于遮挡行人重识别空间局部特征增强姿态引导特征方法，其特征在于，所述步骤2具体为：步骤2.1构建局部特征提取为Transformer编码器；所述Transformer编码器由一个多头自注意层和一个前馈层以残差方式链接而成；将所述的E
input
输入到特征编码器中处理，得输出将局部特征将所述的按顺序分成K组，每组的大小为(N//K)
【专利技术属性】
技术研发人员：檀明，谢东旭，吴志泽，邹乐，褚济卿，孙斐，张贯红，何立新，杨静，
申请(专利权)人：合肥学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。