一种基于特征去噪的行人再识别非局部防御方法技术

本发明专利技术属于计算机视觉技术领域，具体涉及一种基于特征去噪的行人再识别非局部防御方法。本发明专利技术包括以下步骤：步骤1、输入P

【技术实现步骤摘要】
一种基于特征去噪的行人再识别非局部防御方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于特征去噪的行人再识别非局部防御方法。

技术介绍

[0002]行人再识别任务(Pedestrian re
‑
identification，Re
‑
ID)是从非重叠视域的拍摄设备所捕获的行人图片库中识别出指定的某个行人图像，它在视频安全监控、传染病排查等领域中具有广泛的运用。随着深度学习研究的蓬勃兴起，基于深度学习的行人再识别逐渐取得了一系列显著的成果，但是神经网络的脆弱性在各种应用中也随之引起了越来越多的关注。在深度神经网络的输入中添加人类无法察觉的细微扰动，输出可能产生极大的影响。
[0003]在行人再识别领域中，基于深度学习的Re
‑
ID模型同样沿袭了神经网络的脆弱性，一个人戴着包、帽子或眼镜也可能会误导系统预测，使同一行人在不同摄像机下的匹配相似度明显降低。图1所示为行人再识别任务中的一个对抗攻击(Adversarial attack)示例，可以看到行人匹配排序在受到对抗攻击后，错误匹配结果的排序都靠前了。若公安部门在视频监控中部署Re
‑
ID系统时受到此漏洞攻击，安全风险将大大增加。假如犯罪分子恶意利用这种对抗攻击来逃跑或欺骗监控系统的搜查，将会对社会构成重大威胁。
[0004]因此，研究行人再识别系统中对抗防御方法，进而改进Re
‑
ID模型提高其鲁棒性的任务应运而生。
[0005]近年来，为解决对抗攻击在网络的特征图中产生巨大噪声的问题，《Adversarial logit pairing》提出了对抗性逻辑分析(Adversarial Logit Pairing，ALP)，在同一样本的干净样本和对抗性样本中嵌入更多的相似信息来帮助模型更准确地表达出有益特征，相当于使用干净图像的逻辑作为“无噪声”参考，为对抗图像进行“去噪”。论文《Defense against adversarial attacks using high
‑
level representation guided denoiser》提出了高层表征引导去噪器(High
‑
Level Representation Guided Denoiser，HGD)，使用目标模型输出的重建损失替换像素级损失函数，计算干净图像与去噪图像特征图中激活的语义信息之间的差异，帮助减少噪声并保留图像的语义信息。
[0006]然而，这些防御方法都没有考虑直接去除特征图上的噪声，未除净的噪声扰动会随着网络传递逐渐扩大，最终仍会导致错误预测。
[0007]近年来，许多行人再识别的防御方法被提出。如2022年的论文《Person Re
‑
identification Method Based on Color Attack and Joint Defence》中Gong等人提出了一种联合防御方法JAD(Joint Adversarial Defense)，采用对抗训练、像素掩蔽和颜色反转等多种防御策略提高系统鲁棒性。然而，基于对抗训练的防御方法会降低行人再识别模型的识别率，并且可能会被优化的对抗攻击方法规避。模型结构如图2所示。现有的行人再识别防御方法虽然提出了一些对抗攻击的解决方案，但大多未直接处理特征图上的噪声，导致噪声扩散并最终影响模型识别的准确率。

技术实现思路

[0008]针对现有技术的不足，本专利技术的目的在于抑制特征图上的多余噪声，并使Re
‑
ID模型更加关注行人区域，提高对噪声攻击的鲁棒性，从而提高模型识别的准确率。本专利技术提出了一种基于特征去噪的行人再识别非局部防御方法。
[0009]本专利技术为实现上述专利技术目的，采取的技术方案如下：
[0010]一种基于特征去噪的行人再识别非局部防御方法，包括以下步骤：步骤1、输入P
×
K张彩色图像至行人再识别非局部防御网络；步骤2、通过对输入的图像进行通道级图像擦除处理；步骤3、利用Resnet50网络和基于非局部特征去噪块，捕获特征之间的相似性；步骤4、通过联合损失函数，训练出性能良好的防御网络；步骤5、利用步骤3获得的对齐的深层特征对浅层特征进行解耦知识蒸馏；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。
[0011]进一步的作为本专利技术的优选技术方案，所述步骤S2包括以下步骤：步骤2
‑
1：将输入的图像简单地转换为三个复制的单通道图像，丰富通道信息；步骤2
‑
2：对图像的每一个通道进行随机擦除操作；步骤2
‑
3：输出处理后的图像。
[0012]进一步的作为本专利技术的优选技术方案，所述步骤2中，利用通道级随机擦除方法对输入的特征图进行数据增强，增加训练样本的多样性，增强模型的泛化能力以及鲁棒性；通道级随机擦除方法，具体为给定一个预定义的擦除概率，但与普通随机擦除不同，训练过程中在不同通道(R、G、B)图像的任意位置上选择一个随机大小的矩形区域，然后用所有三个通道的随机值替换该矩形区域内的像素值，从而模拟不确定性遮挡带来的对抗噪声，使训练更接近实际场景中的复杂情况。
[0013]进一步的作为本专利技术的优选技术方案，所述步骤3包括以下步骤：步骤3
‑
1：将图片特征进行经过1
×
1卷积层处理，然后进行点积计算得到相似性特征矩阵；步骤3
‑
2：相似性特征矩阵经过softmax函数得到相似性权值，再通过计算得出特征图中的自相关性来去除噪声；步骤3
‑
3：将经过去噪的特征表示送入1
×
1卷积层进一步处理，最后通过残差连接将该卷积层的输出添加到块的输入中。
[0014]进一步的作为本专利技术的优选技术方案，所述步骤3中，以非局部特征去噪块的形式，内嵌在ResNet50网络中，捕获特征之间的相似性，从而抑制特征图中的噪声传递，提高防御能力。非局部特征去噪块具有相似性特征学习的特点，可以抑制特征图中的大部分噪声，并使反应集中在有视觉意义的内容上。
[0015]进一步的作为本专利技术的优选技术方案，所述步骤4中，采用难样本三元组损失函数和标签平滑正则化的交叉熵损失函数联合训练网络。
[0016]进一步的作为本专利技术的优选技术方案，所述采用难样本三元组损失函数具体为：假设在包含P个不同行人的批次样本中，每个行人选取K张图像，然后将它们组成一个大小为P
×
K的数据集；接着，对于每次训练，从这个数据集中选择类内距离最远和类间距离最近的三张图像组成三元组，并使用其中最困难的样本对来计算损失函数，难样本三元组损失函数表达式如式(1)所示：
[0017][0018]其中，A为锚点样本，P为正样本，N为负样本，α为阈值参数。
[0019]进一步的作为本专利技术的优选技术方案，交叉熵损失函数，具体如式(2)、式(3)所示：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征去噪的行人再识别非局部防御方法，其特征在于，包括以下步骤：步骤1、输入P
×
K张彩色图像至行人再识别非局部防御网络；步骤2、通过对输入的图像进行通道级图像擦除处理；步骤3、利用Resnet50网络和基于非局部特征去噪块，捕获特征之间的相似性；步骤4、通过联合损失函数，训练出性能良好的防御网络；步骤5、利用步骤3获得的对齐的深层特征对浅层特征进行解耦知识蒸馏；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。2.根据权利要求1所述的一种基于特征去噪的行人再识别非局部防御方法，其特征在于，所述步骤S2包括以下步骤：步骤2
‑
1：将输入的图像简单地转换为三个复制的单通道图像，丰富通道信息；步骤2
‑
2：对图像的每一个通道进行随机擦除操作；步骤2
‑
3：输出处理后的图像。3.根据权利要求2所述的一种基于特征去噪的行人再识别非局部防御方法，其特征在于，所述步骤2中，利用通道级随机擦除方法对输入的特征图进行数据增强。4.根据权利要求3所述的一种基于特征去噪的行人再识别非局部防御方法，其特征在于，所述步骤3包括以下步骤：步骤3
‑
1：将图片特征进行经过1
×
1卷积层处理，然后进行点积计算得到相似性特征矩阵；步骤3
‑
2：相似性特征矩阵经过softmax函数得到相似性权值，再通过计算得出特征图中的自相关性来去除噪声；步骤3
‑
3：将经过去噪的特征表示送入1
×
1卷积层进一步处理，最后通过残差连接将该卷积层的输出添加到块的输入中。5.根据权利要求4所述的一种基...

【专利技术属性】
技术研发人员：董彦斌，张琳钰，王进，吕泽，
申请(专利权)人：南通大学，
类型：发明
国别省市：