一种基于动态遮挡样本的行人再识别方法技术

本发明专利技术实施例公开了一种基于动态遮挡样本的行人再识别方法，该方法包括：构建原始图像特征学习网络框架；将训练集的行人图像输入，得到n个局部特征，对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为训练行人图像的原始图像特征；构建生成器；产生遮挡的行人图像；将遮挡的行人图像输入所述生成器，得到n个局部特征，对于所述局部特征学习优化，将得到的n个局部特征串联起来作为遮挡图像特征；利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。本发明专利技术充分利用卷积神经网络的优势，学习行人的原始图像特征和遮挡图像特征，最终融合两种特征来表示行人图像，进一步提高了行人再识别的匹配正确率。

【技术实现步骤摘要】
一种基于动态遮挡样本的行人再识别方法
本专利技术属于模式识别、人工智能领域，具体涉及一种基于动态遮挡样本的行人再识别方法。
技术介绍
行人再识别(PersonRe-Identification)主要研究在不同摄像机下搜索相同行人的方法。该技术能够快速准确的定位目标行人，因此在安全防卫等领域得到了广泛的应用。然而由于真实场景中行人姿势、衣着、光照以及摄像机角度变化较大，而且行人经常被障碍物遮挡，这些都使得行人再识别技术面临着巨大的挑战。近几年，研究者将深度学习方法应用到行人再识别领域后取得了较大发展，使得行人再识别的正确搜索率得到大幅提高。为了训练性能较好的深度学习模型，通常需要大量的训练样本。然而现有数据集中训练样本数量较少，另一方面采集真实样本的花费较高，因此很多研究者提出利用不同的数据增强方法解决样本不足的难题。目前，常用的数据增强方法是随机裁剪和随机翻转。之后，Zhong等人提出随机擦除的数据增强方法，该方法首先随机产生一个遮挡区域，之后用随机像素值替代遮挡区域的像素值，产生的遮挡样本能够达到扩充训练样本的目的。Huang等人提出遮挡判别性区域方法来产生对抗遮挡样本，然后联合原始图像训练深度学习模型来提高行人再识别的正确搜索率。Zheng等人利用生成对抗网络产生虚拟行人图像，并联合真实行人图像训练深度学习模型。此外，很多研究者又将对抗学习的思想应用到行人再识别领域，进一步提高了行人再识别的性能，Liu等人提出基于对抗二值编码的行人再识别方法，该方法利用产生的二进制特征来表示行人图像。Deng等人利用孪生神经网络和生成对抗网络共同组成对抗模型来学习判别性的特征。Yin等人利用对抗学习设计了基于图像属性的行人再识别模型。然而，以上数据增强的方法并没有匹配动态的模型状态，对抗学习方法没有与数据增强的方法进行有效的结合。
技术实现思路
本专利技术的目的是要解决遮挡的行人图像不能匹配动态的模型状态，并且没有提高遮挡样本性能的技术问题，为此，本专利技术提供一种基于动态遮挡样本的行人再识别方法。为了实现所述目的，本专利技术提出的一种基于动态遮挡样本的行人再识别方法包括以下步骤：步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个局部特征串联起来作为遮挡图像特征；步骤S9，利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。可选地，所述步骤S1包括以下步骤：步骤S11，获取预训练的深度学习模型，选择所述深度学习模型中的模型成分并对其进行参数初始化，得到初始深度学习模型；步骤S12，在所述初始深度学习模型后增加池化层、卷积层和全连接层，得到用于学习原始图像特征的深度学习模型网络框架。可选地，所述步骤S2包括以下步骤：步骤S21，对训练集的行人图像进行预处理；步骤S22，将预处理后得到的行人图像输入所述网络框架中，得到所述训练行人图像的预设数量的卷积激活图；步骤S23，基于得到的卷积激活图，利用所述网络框架中的池化层执行局部水平平均池化得到所述训练行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述训练行人图像的原始图像特征。可选地，所述步骤S4包括以下步骤：步骤S41，把与输入至学习原始图像特征的网络框架的行人图像相同的行人图像进行预处理并输入所述生成器；步骤S42，在所述生成器的第l个卷积层输出处提取卷积激活图，并获取相应的卷积注意力图；步骤S43，利用滑动窗口在所述卷积注意力图上移动，累加滑动窗口内的值，并将最大值所在区域作为卷积注意力图中最显著的区域R。可选地，所述步骤S5包括以下步骤：步骤S51，将所述卷积注意力图中最显著的区域R按比例映射到所述训练行人图像中；步骤S52，随机选取一个像素值对映射之后所述训练行人图像中与所述最显著区域对应的区域进行遮挡，形成遮挡的行人图像。可选地，所述步骤S6包括以下步骤：步骤S61，将遮挡的行人图像输入所述生成器，在所述生成器输出处得到所述遮挡行人图像的预设数量的卷积激活图；步骤S62，基于得到的卷积激活图，执行局部水平平均池化得到所述遮挡行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述遮挡行人图像的遮挡图像特征。可选地，所述步骤S9之前还包括：对于遮挡图像特征进行优化。可选地，所述对于遮挡图像特征进行优化，包括：步骤S7，设置判别器来区分所述原始图像特征和遮挡图像特征；步骤S8，利用所述判别器对所述遮挡图像特征进行类别预测，以优化所述生成器，使所述生成器学习的遮挡图像特征能够混淆判别器，并进而得到优化后的遮挡图像特征。可选地，所述步骤S7包括以下步骤：步骤S71，设置判别器；步骤S72，将所述原始图像特征和遮挡图像特征输入所述判别器执行二分类操作，以区分所述原始图像特征和遮挡图像特征。可选地，所述步骤S8包括以下步骤：步骤S81，将所述遮挡图像特征输入所述判别器进行类别预测；步骤S82，利用对抗损失函数优化所述生成器，得到优化后的遮挡图像特征。本专利技术的有益效果为：本专利技术通过卷积神经网络学习了行人的原始图像特征，同时通过产生有意义的动态遮挡样本来学习行人的遮挡图像特征，将原始图像特征与遮挡图像特征融合于一个网络结构中，不仅充分地提取了两种特征，而且利用对抗学习方法又提高了遮挡图像特征的泛化性能，提取的原始图像特征与遮挡图像特征进行组合来表示行人图像，提高了行人再识别搜索的正确率。需要说明的是，本专利技术得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.201708120039和天津市高等教育创新团队基金项目的资助。附图说明图1是根据本专利技术一实施例的一种基于动态遮挡样本的行人再识别方法的流程图；图2是根据本专利技术一实施例的学习动态遮挡样本的结构框架示意图；图3是根据本专利技术一实本文档来自技高网...

【技术保护点】
1.一种基于动态遮挡样本的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为遮挡图像特征；步骤S9，利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。

【技术特征摘要】
1.一种基于动态遮挡样本的行人再识别方法，其特征在于，所述方法包括以下步骤：步骤S1，利用预训练深度学习模型构建原始图像特征学习网络框架；步骤S2，将训练集的行人图像输入构建的网络框架，得到训练行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为所述训练行人图像的原始图像特征；步骤S3，利用所述预训练深度学习模型构建生成器来学习遮挡图像特征；步骤S4，将与学习原始图像特征相同的训练行人图像输入到所述生成器中，在第l个卷积层后提取卷积注意力图，并计算所述卷积注意力图中最显著的区域；步骤S5，将所述卷积注意力图中最显著的区域映射到所述训练行人图像中，并利用一个随机常数进行遮挡，产生遮挡的行人图像；步骤S6，将遮挡的行人图像输入所述生成器，得到遮挡行人图像的n个局部特征，利用交叉熵函数对于所述局部特征学习优化，将得到的n个优化局部特征串联起来作为遮挡图像特征；步骤S9，利用所述原始图像特征和遮挡图像特征得到所述训练行人图像的最终特征，并利用所述训练行人图像的最终特征进行行人再识别。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：步骤S11，获取预训练的深度学习模型，选择所述深度学习模型中的模型成分并对其进行参数初始化，得到初始深度学习模型；步骤S12，在所述初始深度学习模型后增加池化层、卷积层和全连接层，得到用于学习原始图像特征的深度学习模型网络框架。3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：步骤S21，对训练集的行人图像进行预处理；步骤S22，将预处理后得到的行人图像输入所述网络框架中，得到所述训练行人图像的预设数量的卷积激活图；步骤S23，基于得到的卷积激活图，利用所述网络框架中的池化层执行局部水平平均池化得到所述训练行人图像的n个初始局部特征，利用卷积层中的卷积核降低所述初始局部特征的维度得到局部特征，然后利用分类器对每一个局部特征进行分类，最后利用交叉熵损失函数对局部特征学习优化，将得到的n个优化后的局部特征的串联作为所述训练行人图像的原始图像特征。4.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下...

【专利技术属性】
技术研发人员：张重，司统振，刘爽，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：天津,12