本发明专利技术公开了一种基于对比学习和对抗训练的行人重识别方法及装置，所述方法不仅设计了一基础模块，还利用对比学习和对抗训练的思想设计了视角混淆模块和身份原型模块。视角混淆模块利用对比学习的思想进行训练，并可借助视角判别器的梯度反转层，使基础模块的特征提取器获得混淆视角差异的能力。身份原型模块根据置信度取加权平均值作为身份原型，从而聚拢相同身份的样本特征的在特征空间中的分布。在视角混淆模块和身份原型模块的促进下，本发明专利技术提升了行人重识别性能。提升了行人重识别性能。提升了行人重识别性能。
【技术实现步骤摘要】
基于对比学习和对抗训练的行人重识别方法及装置
[0001]本专利技术属于机器视觉的行为领域，也属于智能视频监控领域。本专利技术具体涉及一种基于对比学习和对抗训练的行人重识别方法及装置，旨在缓解视角差异降低行人重识别算法性能的问题。
技术介绍
[0002]行人重识别是机器视觉领域的重要课题，同时也是近年来备受关注的前沿研究方向之一。它在智能监控、人机交互、虚拟现实等领域具有重要的理论研究意义和应用前景。其主要内容就是在多个摄像头中检索行人图像，它涵盖了图像处理、计算机视觉、模式识别与人工智能等多个学科。
[0003]视角差异是行人重识别中的一项挑战。由于视角差异，行人样本的类内差异增大，而类间差异可能减小，从而对识别性能造成不良影响。现有的针对视角差异的行人重识别算法大致可以分为两类：(1)基于数据的方法。这类方法使用生成对抗网络、图像合成和基于网络的视角生成器等手段扩充数据集，使数据集中包含更多来自不同视角的图像，以供特征提取器学习。(2)基于特征的方法。这类方法的主要思想即在特征空间中拉近相同身份类别特征的分布。
技术实现思路
[0004]本专利技术具体涉及一种基于对比学习和对抗训练的行人重识别方法及装置，旨在缓解视角差异降低行人重识别算法性能的问题。
[0005]本专利技术的
技术实现思路
包括：
[0006]一种基于对比学习和对抗训练的行人重识别方法，其特征在于，将待检测图像输入基础模块，得到行人识别结果，其中，
[0007]所述基础模块包括：特征提取器、身份分类器和Softmax层，所述特征提取器用于获取待检测图像的图像特征，所述身份分类器用于计算所述图像特征的分类概率校正值，所述Softmax层用于对分类概率校正值进行分类，得到行人识别结果；
[0008]所述基础模块的训练过程，包括：
[0009]根据训练所述基础模块的三元组损失与身份分类损失，得到基础损失，其中三元组包括：锚样本、正样本和负样本；
[0010]利用所述基础模块获取样本的样本多标签，并基于所述样本多标签，构建视角正/负样本对集合；
[0011]通过设有梯度反转层的视角判别器，对样本的图像特征进行降维，并基于视角正/负样本对集合与低维图像特征，获取指导特征提取器与视角判别器进行参数更新的视角混淆损失；
[0012]将所述样本多标签的第k个元素作为属于第k个身份类别的样本图像的分类置信度，并根据所述分类置信度对属于同一身份类别的图像特征求加权平均值，以得到所述身
份类别的身份原型；
[0013]基于所述身份原型构建身份原型三元组，并获取训练时的身份原型三元组损失，其中，所述身份原型三元组包括：锚样本特征、正样本身份原型和负样本身份原型；
[0014]基于所述基础损失、视角混淆损失与身份原型三元组损失进行训练。
[0015]进一步地，所述身份分类器包括：批标准化层和全连接层。
[0016]进一步地，所述于所述样本多标签，构建视角正/负样本对集合，包括：
[0017]计算任两个样本多标签的一致性其中y
i
与y
j
分表示样本i与样本j的多标签，k表示数据集中第k个身份类别，表示样本i多标签的第k个元素；
[0018]计算视角正样本对集合的采样阈值与视角负样本对集合的采样阈值
[0019]根据所述一致性A、采样阈值与采样阈值构建视角正/负样本对集合。
[0020]进一步地，视角混淆损失其中，样本i对应的视角损失函数其中，样本i对应的视角损失函数bsz表示批次处理大小，表示样本i对应的视角正样本对集合，表示样本i对应的视角负样本对集合，z
i
表示样本i对应的低维特征，τ表示对比学习温度参数。
[0021]进一步地，所述指导特征提取器与视角判别器进行参数更新，包括：
[0022]对于所述视角判别器的参数其中，μ表示学习率；
[0023]对于所述特征提取器的参数其中，λ表示所述梯度反转层的超参数。
[0024]进一步地，所述身份原型其中，N表示身边类别k的样本数，表示样本i多标签的第k个元素，feat
i
表示样本i的图像特征。
[0025]进一步地，身份原型三元组损失进一步地，身份原型三元组损失其中feat
A
表示锚样本特征，IDP
P
表示正样本身份原型，IDP
N
表示负样本身份原型，m表示身份原型三元组损失边界。
[0026]一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法。
[0027]一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一方法。
[0028]与现有技术相比，本专利技术至少具有以下优点：
[0029]1.本专利技术针对行人重识别任务中普遍存在的跨视角问题提出了CLATNet，并在多个通用数据集上实验验证了方法的有效性。
[0030]2.本专利技术基于对比学习和对抗训练的思路设计了视角混淆模块和身份原型模块，无需额外数据标记即可对基础模块进行性能提升。
[0031]3.本专利技术提出的CLATNet在训练阶段利用视角混淆模块和身份原型模块促使特征提取器提取到对视角变化更加鲁棒的特征，而在测试阶段只保留基础模块进行识别，整体网络规模轻量级，并保持较快的测试速度。
[0032]4.本专利技术提出的CLATNet有较强的可移植性，其中的基础模块可以替换为任意现有网络模型，由视角混淆模块和身份原型模块对其进行性能提升。
附图说明
[0033]图1是本专利技术的整体网络框架图
[0034]图2是本专利技术的视角混淆模块示意图
[0035]图3是本专利技术的身份原型模块示意图
[0036]图4是本专利技术对特征分布改进的可视化结果
具体实施方式
[0037]下面通过具体实施例和附图，对本专利技术做进一步说明。
[0038]本专利技术以残差神经网络ResNet50作为基础特征提取器，利用对比学习和对抗训练的思想设计了视角混淆模块和身份原型模块，针对视角差异问题促进性能。视角混淆模块中提出一个类似多层感知机结构的视角判别器，并利用对比学习的思想进行训练，不需额外视角标签。视角判别器中还包含一个梯度反转层，使视角判别器和特征提取器进行对抗训练，从而在使视角判别器在训练过程中获得识别视角差异的能力的过程中，特征提取器与之相对地获得混淆视角差异的能力。此外，本专利技术提出一个身份原型模块，模块中相同身份的样本特征根据置信度取加权平均值作为身份原型，再在身份原型的基础上进行身份原型三元组损失的计算，聚拢相同身份的样本特征的在特征空间中的分布。在视角混淆模块和身份原型模块的促进下，整体提出的网络CLATNet(Constrative Learning and Adversarial Training Network)相较基础的特征提取器有明本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于对比学习和对抗训练的行人重识别方法，其特征在于，将待检测图像输入基础模块，得到行人识别结果，其中，所述基础模块包括：特征提取器、身份分类器和Softmax层，所述特征提取器用于获取待检测图像的图像特征，所述身份分类器用于计算所述图像特征的分类概率校正值，所述Softmax层用于对分类概率校正值进行分类，得到行人识别结果；所述基础模块的训练过程，包括：根据训练所述基础模块的三元组损失与身份分类损失，得到基础损失，其中三元组包括：锚样本、正样本和负样本；利用所述基础模块获取样本的样本多标签，并基于所述样本多标签，构建视角正/负样本对集合；通过设有梯度反转层的视角判别器，对样本的图像特征进行降维，并基于视角正/负样本对集合与低维图像特征，获取指导特征提取器与视角判别器进行参数更新的视角混淆损失；将所述样本多标签的第k个元素作为属于第k个身份类别的样本图像的分类置信度，并根据所述分类置信度对属于同一身份类别的图像特征求加权平均值，以得到所述身份类别的身份原型；基于所述身份原型构建身份原型三元组，并获取训练时的身份原型三元组损失，其中，所述身份原型三元组包括：锚样本特征、正样本身份原型和负样本身份原型；基于所述基础损失、视角混淆损失与身份原型三元组损失进行训练。2.如权利要求1所述的方法，其特征在于，所述身份分类器包括：批标准化层和全连接层。3.如权利要求1所述的方法，其特征在于，所述于所述样本多标签，构建视角正/负样本对集合，包括：计算任两个样本多标签的一致性其中y
i
与y
j
分表示样本i与样本j的多标签，k表示数据集中第k个身份类别，表示样本i多标签的第k个元素；计算视角正样本对集合的采样阈值与视角负样本对集合的采样阈值根据所述一致性A、采样阈值与采样阈值构建视角正/负样本对集合。4.如权利要求1所述的方法，其特征在于，视角混淆损失其中，样本i对应的视角损失函数bsz表示批次处理大小，表示样本i对应的视角正样本对集合，表示样本i对应的视角负样本对集合，z
i
表示样本i对应的低维特征，τ表示对比学习温度参数。5.如权利要求4所述的方法，其特征在于，所述指导特征提取器与视...
【专利技术属性】
技术研发人员：刘宏，石邢越，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。