一种行人重识别系统对抗样本生成方法及系统技术方案

本发明专利技术公开了一种行人重识别系统对抗样本生成方法及系统，该方法包括：S1，将原始图片输入至基于残差网络的生成器中，生成对抗扰动；S2，将对抗扰动按位加至原始图片，生成粗对抗样本I′，并将其与原始图片作特征连接，输入多阶段判别器以生成可控制对抗扰动点数量的二元掩模图；S3，将二元掩模图与对抗扰动按位乘法，并添加到原始图片中，生成扰动点数量可控的对抗样本

A method and system of counter sample generation for pedestrian recognition system

【技术实现步骤摘要】
一种行人重识别系统对抗样本生成方法及系统
本专利技术涉及基于深度学习的计算机视觉领域，特别是涉及一种基于特征混淆及多阶段对抗生成网络的行人重识别系统对抗样本生成方法及系统。
技术介绍
近年来，深度神经网络在计算机视觉任务中取得了广泛的成功。作为最重要的计算机视觉任务之一，行人重识别是通过从成对的图像中提取和测量可区分的特征来实现对摄像机中的各个个体的匹配。由于近年来先进方法的优异性能(如Sun等人于2018年的研究工作“Beyondpartmodels:Personretrievalwithrefinedpartpoolingandastrongconvolutionalbaseline(ECCV)”)，行人重识别在公安视频监控或刑事鉴定中开始广泛应用开来。然而，尽管深度学习在各种应用中取得了巨大成功和广泛应用，但最近的研究发现神经网络是极其脆弱的(如Su等人于2019年的研究工作“Onepixelattackforfoolingdeepneuralnetworks(TEVC)”)。具体来说，网络的分类能力会因为对图像产生较小但具有欺骗性噪声的对抗样本而被破坏。近两年来，对抗样本在欺骗视觉分类系统方面取得了显著的成功。不难想象，目前的行人重识别模型也容易受到对抗样本的影响，因为这些方法大多数都是基于深层神经网络。但将欺骗视觉分类系统的方法简单地移植到行人重识别是不可行的，因为严格来说行人重识别是一个匹配的任务而非分类任务。在视觉分类中，对象类别是固定的。因此，攻击视觉分类系统的对抗样本仅需在一组紧密的类别中对象进行错误分类即可，然而视觉匹配系统里的对象是处于类别可看作无穷多的开放集合中的。因此，对象类别数的爆发增长是欺骗视觉分类系统类方法无法有效迁移的根本挑战。为了将攻击者推广到未知类别，必须考虑测量任意两个给定图像之间的视觉相似性，这就需要提出一种新的基于视觉相似性的攻击范式。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种行人重识别系统对抗样本生成方法及系统，通过利用多阶段对抗生成网络中生成器与多阶段判别器之间的交互，通过多阶段判别器逐步提升分辨对抗样本与普通样本的能力，而生成器也因此能逐步生成更好欺骗判别器的对抗扰动，同时多阶段判别器可发掘图像的重要区域，使得能最小化扰动点的数量。为达上述及其它目的，本专利技术提出一种行人重识别系统对抗样本生成方法，包括如下步骤：步骤S1，将原始输入图片I输入至基于残差网络的生成器中，生成对抗扰动步骤S2，将步骤S1中生成的对抗扰动按位加至原始输入图片I，生成粗对抗样本I′，并将其与原始输入作特征连接，输入至多阶段判别器以生成可控制对抗扰动点数量的二元掩模图步骤S3，将所述二元掩模图与所述对抗扰动施以按位乘法，并添加到原始输入图片I中，生成扰动点数量可控的对抗样本步骤S4，将步骤S3中生成的对抗样本输入至待攻击的行人重识别模型将模型的返回值作为特征混淆损失函数对抗学习损失函数经平滑的分类混淆函数及多尺度结构相似损失函数的输入；步骤S5，多次迭代式地进行步骤S1-S4的训练过程，更新所述生成器与多阶段判别器的参数，步骤S3中最后生成的对抗样本即为经过优化的可欺骗行人重识别系统的对抗样本。优选地，步骤S1进一步包括：步骤S100，选择含有类别标注的数据集作为模型监督学习的训练样本；步骤S101，将原始输入图片I输入由六个基本残差单元构建的残差网络生成对抗扰动每个基本残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元之间间隔两次降采样，后三个单元之间间隔两次升采样。优选地，于步骤S2中，所述多阶段判别器由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集在阶段金字塔阶段，根据图像金字塔阶段的特征图集生成可控制对抗扰动点数量的二元掩模图优选地，步骤S2进一步包括：步骤S200,在图像金字塔阶段，采用并列、结构相同但互不共享参数的三个卷积神经网络将步骤S1中生成的对抗扰动拷贝三份，每一个子网络接收不同尺度的图像输入，经过五次卷积及三次降采样后，分别输出三张具有不同感受野的高维特征图每个特征特图再以均方误差作为损失函数监督；步骤S201，在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图步骤S202，以所述预掩模图作为Gumbelsoftmax的输入，使得所述预掩模图二值化，并通过一个超参数τ控制掩模图中置1的数量，从而生成最终的掩模图优选地，于步骤S200中，将步骤S1中生成的对抗扰动拷贝三份，分别将其降采样为倍于原图的大小得到将其按位加到经过同样处理的原图{I1,I2,I3}上，得到三份分辨率大小不同的对抗样本{I′1,I′2,I′3}，将其与原图做特征连接后，每一个并列子网络分别接收对应分辨率的图像，经过五次卷积和三次降采样后，分别输出三张具有不同感受野的高维特征图每个特征特图再以均方误差作为损失函数监督。优选地，于步骤S3中，将步骤S1中生成的对抗扰动与步骤S2中生成的二元掩模图作按位乘积，得到新的对抗扰动将新的对抗扰动加到原始输入图片I上，得到扰动点数量可控的对抗样本优选地，于步骤S5中，每一轮经迭代生成的对抗样本都不作为下一轮迭代的输入，而是重新根据当前多阶段对抗生成网络的参数生成。优选地，于步骤S5后，还包括如下步骤：在每个训练样本迭代完成后，根据最后对抗样本生成的优劣，对训练样本进行带权的重采样，其权值由估计值与行人重识别模型的返回值成正比。为达到上述目的，本专利技术还提供一种行人重识别系统对抗样本生成系统，包括：对抗扰动生成单元，利用基于深度卷积网络的生成器将原始的输入图片I输入至基于深度卷积网络的生成器中，生成对抗扰动多阶段判别单元，用于将所述对抗扰动生成单元产生的对抗扰动按位加至原始输入图片I，生成粗对抗样本I′，将其与原始输入作特征连接，输入至多阶段判别器生成可控制对抗扰动点数量的二元掩模图掩模整合单元，将所述多阶段判别单元生成的二元掩模图与所述对抗扰动生成单元生成的对抗扰动施以按位乘法，将其按位添加到原始输入图片I中，生成扰动点数量可控的对抗样本混淆监督单元，用于江所述掩模整合单元生成的对抗样本输入至待攻击的行人重识别模型模型的返回值作为特征混淆损失函数对抗学习损失函数经平滑的分类混淆函数及多尺度结构相似损失函数的输入；迭代训练单元，多次迭代式地进行对抗扰动生成单元、多阶段判别单元、掩模整合单元以及混淆监督单元的训练过程，更新生成器与多阶段判别器的参数，所述掩模整合单元最后生成的对抗样本即为经过优化的可欺骗行人重识别系统的对抗样本。优选地，于所述多阶段判别单元中，所述多阶段判别器由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集在阶本文档来自技高网...

【技术保护点】
1.一种行人重识别系统对抗样本生成方法，包括如下步骤：/n步骤S1，将原始输入图片I输入至基于残差网络的生成器

【技术特征摘要】
1.一种行人重识别系统对抗样本生成方法，包括如下步骤：
步骤S1，将原始输入图片I输入至基于残差网络的生成器中，生成对抗扰动
步骤S2，将步骤S1中生成的对抗扰动按位加至原始输入图片I，生成粗对抗样本I′，并将其与原始输入作特征连接，输入至多阶段判别器以生成可控制对抗扰动点数量的二元掩模图
步骤S3，将所述二元掩模图与所述对抗扰动施以按位乘法，并添加到原始输入图片I中，生成扰动点数量可控的对抗样本
步骤S4，将步骤S3中生成的对抗样本输入至待攻击的行人重识别模型将模型的返回值作为特征混淆损失函数对抗学习损失函数经平滑的分类混淆函数及多尺度结构相似损失函数的输入；
步骤S5，多次迭代式地进行步骤S1-S4的训练过程，更新所述生成器与多阶段判别器的参数，步骤S3中最后生成的对抗样本即为经过优化的可欺骗行人重识别系统的对抗样本。


2.如权利要求1所述的一种行人重识别系统对抗样本生成方法，其特征在于，步骤S1进一步包括：
步骤S100，选择含有类别标注的数据集作为模型监督学习的训练样本；
步骤S101，将原始输入图片I输入由六个基本残差单元构建的残差网络生成对抗扰动每个基本残差单元由一个3×3的卷积层、批归一化层、修正的线性激活单元组成，前三个单元之间间隔两次降采样，后三个单元之间间隔两次升采样。


3.如权利要求1所述的一种行人重识别系统对抗样本生成方法，其特征在于：于步骤S2中，所述多阶段判别器由图像金字塔阶段及阶段金字塔阶段构成，在图像金字塔阶段生成多种分辨率的特征图集在阶段金字塔阶段，根据图像金字塔阶段的特征图集生成可控制对抗扰动点数量的二元掩模图


4.如权利要求3所述的一种行人重识别系统对抗样本生成方法，其特征在于，步骤S2进一步包括：
步骤S200,在图像金字塔阶段，采用并列、结构相同但互不共享参数的三个卷积神经网络将步骤S1中生成的对抗扰动拷贝三份，每一个子网络接收不同尺度的图像输入，经过五次卷积及三次降采样后，分别输出三张具有不同感受野的高维特征图每个特征特图再以均方误差作为损失函数监督；
步骤S201，在阶段金字塔阶段挑选出所有同分辨率的特征图，将其作按位加法，然后不断将低分辨率的特征图进行上采样，逐步按位加到后一层更大分辨率的特征图上，最后通过一次反卷积操作生成与原图大小一致的预掩模图
步骤S202，以所述预掩模图作为Gumbelsoftmax的输入，使得所述预掩模图二值化，并通过一个超参数τ控制掩模图中置1的数量，从而生成最终的掩模图


5.如权利要求4所述的一种行人重识别系统对抗样本生成方法，其特征在于：于步骤S200中，将步骤S1中生成的对抗扰动拷贝三份，分...

【专利技术属性】
技术研发人员：林倞，王弘焌，王广润，张冬雨，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44