基于标记分布学习的多源域领域泛化行人重识别系统及方法技术方案

本发明专利技术提供一种基于标记分布学习的多源域领域泛化行人重识别系统及方法，至少包括训练模块、类别间关系挖掘模块、领域分布对齐模块和训练方式模块，所述系统通过类别间关系挖掘模块挖掘不同类别间的关系信息并标记，再根据标记分布反映的领域间关系对类别标记分布进行修改，通过领域分布对齐模块使模型对类别所处领域以外的领域更多且同等关注，缓解源域和目标域之间的域差，从标记分布学习的角度解决了领域泛化行人重识别问题，一方面挖掘了不同类别之间的关系提升了模型的判别性，另一方面消除了不同领域之间的数据分布差异提升了模型的泛化性，进一步推动行人重识别应用的实际落地。际落地。际落地。

【技术实现步骤摘要】
基于标记分布学习的多源域领域泛化行人重识别系统及方法


[0001]本专利技术属于计算机视觉、行人重识别
，涉及一种基于标记分布学习的多源域领域泛化行人重识别系统及方法。

技术介绍

[0002]行人重识别是计算机视觉领域近年来非常热的一个研究课题，其目标是给定一个监控行人图像去检索跨摄像头下的该行人图像。由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图像，行人重识别技术有效弥补了人脸识别技术的局限，可以在没有清晰完整人脸的条件下，通过特定人物的形态特征进行识别和追踪。但是该课题通常要处理的数据量较大，场景复杂，且数据量不像人脸数据库那样充足，所以依赖手工特征的传统的人工识别和图像处理技术难以取得理想的效果。
[0003]近年来随着深度学习的发展，大量基于深度学习的行人重识别方法被提出，行人重识别领域才取得了一定的突破。目前单域行人重识别已经取得巨大成功，但是由于不同领域下行人图像在光照条件、拍摄视角、成像背景与风格等方面的特征差异，使得不同领域具有不同的数据特征分布，而源域数据集和目标域数据集之间存在的数据偏差和场景差异，导致跨域行人重识别方法将源域训练出的行人重识别模型用于目标域会产生显著的性能下降，即泛化性能不够。若将监督学习算法直接应用到实际场景中，需要对该场景下的数据进行收集并标注，然后使用它们来训练模型，该过程需要耗费大量的人力和物力。
[0004]目前一些无监督的领域自适应(Unsupervised Domain Adaptation,UDA)方法被提出来缓解领域分布差异，其利用未标记的目标数据对源域训练的模型进行微调，使其适应目标域。然而，现有的无监督的领域自适应行人重识别方法通常不足以处理实际应用场景，因为有时很难收集目标域训练数据，并且在这些未标记样本上对模型进行微调很耗时。虽然该算法相较于有监督的学习算法而言，不需要对收集的目标领域中的数据进行标注，但是其仍然需要对每一个特定的应用场景收集数据，并用它们来训练模型，这仍然需要耗费一定的人力和物力并且不利于针对一些应用任务所设计的算法的落地。
[0005]所以领域泛化(DomainGeneration，DG)方法被提出来解决上述问题，它的目的是使模型在没有接触目标域的情况下，仅利用已有的源域数据集进行训练，然后直接应用到目标域上进行测试，实现在目标域上好的泛化性能。现有的领域泛化行人重识别方法主要分为网络归一化、元学习和领域对齐。其中网络归一化方法是研究如何有效结合批归一化(BatchNormalization，BN)和样本归一化(InstanceNormalization，BN)以去除风格差异同时增强判别性来更好地学习域不变特征。一些方法在特定层的残差连接之后插入IN，但是这样不仅会导致判别信息的丢失，而且还需要仔细选择应用IN的位置。基于In和特征蒸馏的方法仅从给定的源域中消除样式差异，因此它缺乏对不可见域削弱新风格的能力。元学习的核心是把多个源领域随机分成伪源域和伪目标域，然后利用元学习的算法去优化伪源领域上的目标函数，使得模型在伪目标领域上的性能有所提升，以此来激发模型学习泛化性强的特征。但是这些方法通常需要更大的运算资源，训练时间较长。领域对齐的主要思想
是将不同领域的所有样本映射到相同的空间以缓解数据分布的差异，虽然在领域自适应上已有理论证明最小化源和目标之间的分布差异对降低目标误差的上限有巨大影响，但是在领域泛化问题中，我们训练模型时无法接触目标域，所以如何让在源域中学习到域不变特征的模型较好地泛化到目标域上仍是个值得研究的问题。
[0006]以上这些方法性能都还没有达到最优，且没有从标记分布学习出发的设计，领域泛化行人重识别作为一个开集任务，还存在巨大的挑战。

技术实现思路

[0007]本专利技术解决了现有方法性能有待加强的问题，提供一种基于标记分布学习的多源域领域泛化行人重识别系统及方法，至少包括训练模块、类别间关系挖掘模块、领域分布对齐模块和训练方式模块，所述系统通过类别间关系挖掘模块挖掘不同类别间的关系信息并标记，再根据标记分布反映的领域间关系对类别标记分布进行修改，通过领域分布对齐模块使模型对类别所处领域以外的领域更多且同等关注，缓解源域和目标域之间的域差，从标记分布学习的角度解决了领域泛化行人重识别问题，一方面挖掘了不同类别之间的关系提升了模型的判别性，另一方面消除了不同领域之间的数据分布差异提升了模型的泛化性，进一步推动行人重识别应用的实际落地。
[0008]为了实现上述目的，本专利技术采取的技术方案是：基于标记分布学习的多源域领域泛化行人重识别系统，至少包括训练模块、类别间关系挖掘模块、领域分布对齐模块和训练方式模块；
[0009]所述训练模块用于多个源域对行人重识别网络进行训练，对多个源域数据集提取图像特征进行网络训练，并获取每个样本在网络中分类器的预测输出；
[0010]所述类别间关系挖掘模块通过引入标记分布学习为每个行人类别生成一个标记分布，所述标记分布通过计算神经网络的分类器输出得到，并采用在线更新的形式累加更新；
[0011]所述领域分布对齐模块用于忽略类别所在领域的其他类别的标记，使模型更加关注类别所处领域以外的领域，再给其他领域赋予同等程度的关注，从而对齐数据特征分布、拉近领域距离；
[0012]所述训练方式模块用于计算系统中的损失函数，用损失函数进行模型训练，使得模型收敛，领域分布差异被消除；
[0013]所述系统通过类别间关系挖掘模块挖掘不同类别间的关系信息并标记，再根据标记分布反映的领域间关系对类别标记分布进行修改，通过领域分布对齐模块使模型对类别所处领域以外的领域更多且同等关注，缓解源域和目标域之间的域差。
[0014]为了实现上述目的，本专利技术还采取的技术方案是：基于标记分布学习的多源域领域泛化行人重识别方法，包括如下步骤：
[0015]S1，图像特征提取：利用卷积神经网络，通过训练模块，提取各个训练集特征，形成特征空间；所述卷积神经网络选定为加载ImageNet预训练的ResNet
‑
50和IBN
‑
Net50，softmax层会输出样本的分类预测概率；
[0016]S2，类别间相似度获取：利用网络分类器输出生成标记分布挖掘类别间关系，初始
化两个相似度矩阵M
T
和为其中C表示总的类别数，相似度矩阵中的每个元素表示两个对应类别的相似性，对每一训练图像获取其softmax层的预测输出，用P
i
表示分类器对第i类样本的预测，更新M
T
的对应行，具体公式如下，其中m为超参数，控制M
T
被更新的程度：
[0017]M
T
[i，：]←
(1
‑
m)M
T
[i，：]+mP
i
[0018]每一个epoch结束后，将M
T
赋值给M
L
更新M
L
，M
L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于标记分布学习的多源域领域泛化行人重识别系统，其特征在于：至少包括训练模块、类别间关系挖掘模块、领域分布对齐模块和训练方式模块；所述训练模块用于多个源域对行人重识别网络进行训练，对多个源域数据集提取图像特征进行网络训练，并获取每个样本在网络中分类器的预测输出；所述类别间关系挖掘模块通过引入标记分布学习为每个行人类别生成一个标记分布，所述标记分布通过计算神经网络的分类器输出得到，并采用在线更新的形式累加更新；所述领域分布对齐模块用于忽略类别所在领域的其他类别的标记，使模型更加关注类别所处领域以外的领域，再给其他领域赋予同等程度的关注，从而对齐数据特征分布、拉近领域距离；所述训练方式模块用于计算系统中的损失函数，用损失函数进行模型训练，使得模型收敛，领域分布差异被消除；所述系统通过类别间关系挖掘模块挖掘不同类别间的关系信息并标记，再根据标记分布反映的领域间关系对类别标记分布进行修改，通过领域分布对齐模块使模型对类别所处领域以外的领域更多且同等关注，缓解源域和目标域之间的域差。2.使用如权利要求1所述系统的基于标记分布学习的多源域领域泛化行人重识别方法，其特征在于，包括如下步骤：S1，图像特征提取：利用卷积神经网络，通过训练模块，提取各个训练集特征，形成特征空间；所述卷积神经网络选定为加载ImageNet预训练的ResNet
‑
50和IBN
‑
Net50，softmax层会输出样本的分类预测概率；S2,类别间相似度获取：利用网络分类器输出生成标记分布挖掘类别间关系，初始化两个相似度矩阵M
T
和为其中C表示总的类别数，相似度矩阵中的每个元素表示两个对应类别的相似性，对每一训练图像获取其softmax层的预测输出，用P
i
表示分类器对第i类样本的预测，更新M
T
的对应行，具体公式如下，其中m为超参数，控制M
T
被更新的程度：M
T
[i,:]
←
(1
‑
m)M
T
[i,:]+mP
i
每一个epoch结束后，将M
T
赋值给M
L
更新M
L
，M
L
中的第i行则代表第i类的标记分布；S3，更新标记分布以对齐领域分布：对M
L
中同领域的类别标记分布归零处理，将更多注意力给予类别所处领域以外的领域以削弱领域差距，并对不同差距的领域赋予相等程度的关注，更新M
L
，得到对齐领域分布的标记分布；S4，标记分布损失和基础损失，监督模型训练：用标记分布损失和基础损失之和进行模型训练，使得模型收敛，领域分布差异被消除；所述标记分布损失L
ld...

【专利技术属性】
技术研发人员：祁磊，沈珈莹，刘家奇，耿新，
申请(专利权)人：东南大学，
类型：发明
国别省市：