一种融合分割信息的全局局部感知行人重识别方法技术

本发明专利技术提供一种融合分割信息的全局局部感知行人重识别方法，包括训练阶段和测试阶段，在训练阶段，通过公开的分割模型获取行人训练集每个行人的分割掩码，将所述分割掩码输入到掩码松弛模块获得松弛掩码，将行人图像分块与所述松弛掩码分块融合后输入至Transformer网络模型，得到全局特征和分块局部特征后进行损失计算，调整网络模型参数，训练并保存最优网络模型；所述测试阶段，输入待检索行人和底库行人图像至分割模型获取分割掩码，将所述分割掩码输入到掩码松弛模块获得松弛掩码，将行人图像分块与所述松弛掩码分块融合后输入至训练好的网络模型，获得全局特征和分块局部特征并归一化处理，后通过计算待检索行人和底库行人的相似度来识别行人。索行人和底库行人的相似度来识别行人。索行人和底库行人的相似度来识别行人。

【技术实现步骤摘要】
一种融合分割信息的全局局部感知行人重识别方法


[0001]本专利技术涉及图像识别
，尤其涉及一种融合分割信息的全局局部感知行人重识别方法。

技术介绍

[0002]行人重识别就是在跨摄像头下对行人进行识别，检索出与当前行人最相似的行人，广泛用于刑侦以及公共安全领域。当前行人重识别方法主要利用卷积神经网络提取行人特征，通常提取的特征为全局特征，也有一些方法利用特征分块或者分割关键点等辅助信息提取局部特征，但未考虑到局部特征之间的关系，由于实际应用场景中存在各种遮挡，行人重叠等情况，导致提取的特征不具有鲁棒性，使得识别效果很低；Vision Transformer由Alexey Dosovitskiy首次提出用于图像识别，它基于谷歌提出的Transformer做进一步改进，Transformer最初用于自然语言处理,基于Attention机制，可以做到并行处理；Vision Transformer将其用于计算机视觉领域，并取得很好的效果，得益于多头的自注意力模块可以捕获长时的依赖关系，因此可以注意到不同的人体区域，获取比CNN更加有区别性的局部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合分割信息的全局局部感知行人重识别方法，包括训练阶段和测试阶段，其特征在于，在训练阶段，通过公开的分割模型获取行人训练集每个行人的分割掩码，将所述分割掩码输入到掩码松弛模块获得松弛掩码，将行人图像分块与所述松弛掩码分块融合后输入至Transformer网络模型，得到全局特征和分块局部特征后进行损失计算，调整网络模型参数，训练并保存最优网络模型及参数；在测试阶段，输入待检索行人和底库行人图像至分割模型获取分割掩码，将所述分割掩码输入到掩码松弛模块获得松弛掩码，将行人图像分块与所述松弛掩码分块融合后输入至训练好的网络模型，获得全局特征和分块局部特征并归一化处理，后通过计算待检索行人和底库行人的相似度来识别行人。2.如权利要求1所述的一种融合分割信息的全局局部感知行人重识别方法，其特征在于，所述训练阶段，具体包以下步骤：步骤1：采集的行人训练集利用公开的分割模型获取每个行人的分割掩码，经过分割掩码松弛模块处理后，将每块行人图像与对应的松弛掩码融合作为图像块序列；步骤2：将图像块序列经过线性映射得到每块的特征编码，然后输入到Transformer encoder中，得到全局特征和每块局部特征，然后经两个分支即分支一和分支二进行损失计算；步骤3：分支一将全局特征输入到损失模块计算全局损失；步骤4：分支二利用松弛掩码选出K个局部特征分别与全局特征拼接后输入到损失模块计算融合特征的损失；步骤5：根据步骤3和步骤4的损失进行反向传播，调整整个网络的参数；步骤6：重复步骤1到步骤5直到达到网络训练设置的次数；步骤7：保存效果最好的模型参数。3.如权利要求2所述的一种融合分割信息的全局局部感知行人重识别方法，其特征在于，所述步骤1，具体包括以下子步骤：（1.1）利用公开的分割模型获取每张行人图像的分割结果，获取的分割掩码的值为0或1，0表示背景，1表示行人身体区域，再对掩码进行松弛处理，为1的值标记为0.8，为0的值标记为0.2，其中分割结果的尺寸和输入到网络的行人图像尺寸一样；（1.2）将行人图像与...

【专利技术属性】
技术研发人员：吴翠玲，徐晓刚，王军，贺菁菁，朱亚光，曹卫强，
申请(专利权)人：之江实验室，
类型：发明
国别省市：