【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种动态特征修剪与合并的遮挡行人重识别方法。
技术介绍
1、行人重识别是指在跨多个非重合摄像头的场景下对行人图像匹配，这项技术在智能安防、智慧城市等领域具有广泛应用，因此受到了广泛关注。近年来，随着深度学习技术的不断发展，一般场景下的行人重识别算法性能有了显著提高。然而，在现实场景中，行人经常被不同的障碍物或其他行人遮挡，导致了图像中可视区域减少和特征信息丢失，并引入遮挡物噪声。遮挡会对整体的行人图片特征造成干扰，导致一般场景下的行人重识别方法难以学习到鲁棒的特征表示，使得算法性能大幅度下降。因此，一方面如何有效的学习对遮挡鲁棒的行人特征，另一方面如何对遮挡行人的图片进行恢复，对现实场景下的行人重识别任务具有重要实际价值。
2、目前，主流的遮挡行人重识别方法主要分为：基于cnn的重识别、基于视觉transformer的重识别、基于cnn与transformer混合的重识别、基于3d数据的重识别、基于多模态图片的重识别共5种:
3、(1)基于cnn的重识别。
4、作为遮挡行人重识别最常使用的方法之一，cnn具备局部感知、权值共享和层次化特征提取的优点。卷积层通过使用卷积核对图像进行卷积操作，实现了对局部特征的提取，使网络能够更好地捕捉图像中的局部模式。权值共享则减少了模型的参数数量，降低了过拟合的风险，同时提高了模型的训练效率。而cnn结构的层次化设计则使其能够逐渐学习抽象的特征表示，卷积层和池化层交替堆叠，逐渐减小特征图的尺寸，同时增加通道数，使网络能够从
5、(2)基于视觉transformer的重识别
6、提取鲁棒性是行人重识别的关键之一，尽管基于cnn的方法取得了巨大的成功，但他们一次只处理一个局部区域，并且在池化过程中会丢失大量的信息。具体来说，在全局范围内利用丰富的信息对行人识别至关重要，而cnn的方法主要关注于小的判别区域，注意力模块被引入来探索长距离依赖，但它们大多嵌入在深层，并不能解决cnn的原理问题，而transformer更擅长捕捉长距离依赖并使模型关注图片不同位置。另一方面，细粒度特征也很重要，cnn的池化与跨步卷积策略大大降低了图片分辨率，影响了模型对相似图片的辨别能力，而transformer不会降低图片的分辨率，可以更好地用于行人重识别问题。
7、(3)基于cnn与transformer混合的重识别
8、cnn擅长处理局部特征、具有平移不变性和参数共享等特点，可以利用很少的参数在较小的数据集中获得很好的效果。而transformer擅长处理全局特征，对全局的上下文有更好的处理，但是需要大量的数据进行预训练，通过引入不同的网络结构，发挥cnn获取局部特征的优点与transformer处理全局特征的优点，使两者以交互或融合的方式一起处理行人重识别问题。
9、(4)基于3d数据的重识别
10、与2d数据的行人重识别相比，使用3d数据进行行人重识别是一种较新的方法。3d数据所代表的形状和空间深度特征对纹理信息具有鲁棒性，通常通过三维特征去噪、三位特征互补和多视图构建来减少遮挡引起的干扰。
11、(5)基于多模态图片的重识别
12、大部分行人重识别工作主要研究白天自然光图片，但晚上也是行人生活的重要场景，摄像头白天产生普通图片，晚上摄像头切换到红外模式产生红外图片，那么将普通图片与红外图片的特征进行融合并对行人进行识别也是重要的研究方向。也有少部分学者对普通图片和激光图片特征进行融合来获取行人特征。
13、在现实场景中，行人经常被不同的障碍物或其他行人遮挡，导致了图像中可视区域减少和特征信息丢失，但是摄像头行人的重新识别，对人民的生活又是十分有意义的。这些问题促使我们去解决遮挡行人重识别问题，利用技术去忽略遮挡的影响，更好的专注于非遮挡区域的识别。
技术实现思路
1、针对现有视觉tranformer对遮挡行人重识别研究的不足，本专利技术提出一种动态特征修剪与合并的遮挡行人重识别方法，对遮挡行人图片进行识别与遮挡去除操作，利用遮挡行人的其他图片对遮挡行人的遮挡区域进行合并。
2、一种动态特征修剪与合并的遮挡行人重识别方法，包括以下步骤：
3、步骤1：获取遮挡行人重识别数据集与对应的标签构成原始数据集，所述的原始数据集划分为用于模型预训练的训练集、包括遮挡图片的测试库以及未遮挡图片的测试搜索库。
4、步骤2：对原始数据集进行预处理，将预处理后的图片切割成块并添加额外的信息作为后续编码器的输入。
5、步骤3：利用稀疏编码器对步骤2处理后的测试库中的数据进行处理，利用普通编码器对测试搜索库中的数据进行处理。
6、步骤4：设计图片级距离计算公式与图片块级距离计算公式，得到测试搜索库中与测试库中某一遮挡图片最相近的多张未遮挡图片。
7、步骤5：利用transformer解码器进行多张图片特征合并操作，将多张未遮挡图片中的特征合并到修剪后的遮挡图片中，以恢复遮挡图片被遮挡的查询特征。
8、步骤6：设计损失函数，损失函数包括稀疏编码器动态特征修剪过程中的损失与解码器将遮挡图片与未遮挡图片进行合并时产生的损失。
9、步骤7：输出遮挡图片识别结果。
10、进一步地，所述步骤2的具体方法为：
11、对原始数据集进行预处理，给定输入预处理后的图片其中w、h、c分别表示图片的宽度、高度和通道，p表示切割的每个块的大小，n被描述为：其中是底函数，p越小，图像将被分割成越多的块。
12、将整张图片切分为n个块{p1,p2,···,pn}并对每个块进行f(·)线性操作后，将表示为xcls的可学习的[cls]块预先添加进切割好的图片块序列中用于学习全局特征，并在{p1,p2,···,pn}中每个每个块展平后粘贴上表示在整张图片中的位置信息和图片所用相机的视角信息，，最终将后续编码器的输入表示为：
13、
14、其中z0为后续编码器的输入，是学习的全局特征[cls]块，是第i个图片块的线性操作，i＝1～n，是位置信息，是相机索引信息，id表示相机的编号。
15、进一步地，所述步骤3的具体方法为：
16、所述的测试库的数据是指识别目标少部分被遮挡的图片数据，所述的测试搜索库的数据是指包含识别目标的未遮挡的图片数据；
17、多层的多头自注意力与前馈神经网络组成编码器，一部分层的多头自注意力与前馈神经网络之间设计稀疏模块，另一部分保持原来多头自注意力与前馈神经网络的结构；带有稀疏模块和不带稀疏模块的网络层共同构成了稀疏编码器，通过稀疏编码器修剪图片中背景和遮挡。
18、带有稀疏模块和不带稀疏模块的网络层中，多头自注意力的单个头计算公式如下：
19、
2本文档来自技高网...
【技术保护点】
1.一种动态特征修剪与合并的遮挡行人重识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤2的具体方法为：
3.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤3的具体方法为：
4.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤4的具体方法为：
5.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤5的具体方法为：
6.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤6的具体方法为：
7.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤7的具体方法为：
【技术特征摘要】
1.一种动态特征修剪与合并的遮挡行人重识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤2的具体方法为：
3.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，其特征在于：所述步骤3的具体方法为：
4.根据权利要求1所述的动态特征修剪与合并的遮挡行人重识别方法，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。