自适应建模域特征的域泛化行人重识别方法技术

本发明专利技术公开了一种自适应建模域特征的域泛化行人重识别方法，用于在给定多个不同域数据训练的情况下，消除不同域的冲突，对行人建模良好的特征表达，用于检索和匹配任务。该方法具体包括如下步骤：建立用于提取彩色图像的主干深度神经网络；建立子特征嵌入网络；建立域样本自适应的子特征组合模块；建立静态域通用特征提取模块；建立域样本自适应特征与域通用特征融合模块；基于前述模型结构进行预测模型训练，并得到最终的训练好的神经网络模型。本发明专利技术适用于多域数据训练测试下的行人重识别，面对各类复杂情况具有较佳的效果和鲁棒性。性。性。

【技术实现步骤摘要】
自适应建模域特征的域泛化行人重识别方法


[0001]本专利技术涉及计算机视觉领域，特别地涉及一种自适应建模域特征的域泛化行人重识别方法。

技术介绍

[0002]行人重识别是一个频繁面临跨域识别的问题，为了解决跨域问题，传统机器学习方法会联合多个域的数据进行联合训练，然而不同域内包含许多特有的特征，这类特征对于自己域内样本的建模有很大帮助，但是对于其他域样本的建模是无用甚至有害的。针对这类域冲突问题，传统方法会选择直接丢弃或为每个域的特征单独维护，这会导致较差的特征建模能力或极高的计算存储成本开销，无法适应不同场景下部署的行人重识别模型的要求。

技术实现思路

[0003]针对以上问题，本专利技术提供了一种自适应建模域特征的域泛化行人重识别方法。
[0004]本专利技术具体采用的技术方案如下：
[0005]一种自适应域特征建模的域泛化行人重识别方法，其包括以下步骤：
[0006]S1、获取用于训练行人重识别网络的多源域数据集；
[0007]S2、构建行人重识别网络，所述行人重识别网络包括主干深度神经网络、若干嵌入于主干深度神经网络中的跨域嵌入块以及连接于主干深度神经网络后的分类网络；
[0008]所述主干深度神经网络采用ResNet
‑
50
‑
IBN模型，用于从输入的域样本中提取基础特征进而用于后续的跨域特征表达；ResNet
‑
50
‑
IBN模型中除第一个阶段(Stage)之外的每个阶段中最后一个特征表达瓶颈块被替换为一个跨域嵌入块；
[0009]所述跨域嵌入块包含子特征嵌入网络、域样本自适应的子特征组合模块、静态域通用特征提取模块以及动静特征融合模块，跨域嵌入块的块输入为当前跨域嵌入块前端级联的特征表达瓶颈块的输出；所述子特征嵌入网络有多个，分别用于从所述块输入中提取出域无关子特征，将所有子特征嵌入网络提取的域无关子特征构建为公共子特征嵌入空间；所述域样本自适应的子特征组合模块中，先利用域感知适配器根据当前域样本自适应的生成公共子特征嵌入空间中每个域无关子特征的权重，然后再对公共子特征嵌入空间中所有域无关子特征进行加权聚合，获得动态域样本自适应特征；所述静态域通用特征提取模块，用于从所述块输入中提取静态域通用特征；所述动静特征融合模块，用于融合静态域通用特征与动态域样本自适应特征并进行精调，最终得到的特征作为跨域嵌入块的块输出；
[0010]所述分类网络用于根据所述主干深度神经网络的最终输出进行分类；
[0011]S3、基于所述多源域数据集对构建的行人重识别网络进行模型训练，并利用最终训练好的行人重识别网络对未知的目标域图像数据进行行人重识别。
[0012]作为优选，所述S1中，多源域数据集中包含不同源域的域样本数据，每个域样本为
一张RGB彩色图像I
train
。
[0013]作为优选，所述S2中，以在ImageNet上预训练过的ResNet
‑
50
‑
IBN模型作为主干深度神经网络，ResNet
‑
50
‑
IBN模型中除第一个阶段之外的每个阶段中最后一个特征表达瓶颈块被去除；对于每一帧彩色图像I
train
，将其输入主干深度神经网络中获取网络中插有跨域嵌入块的每个阶段输出的特征，第l个阶段输出的特征被输入第l个阶段末尾连接的跨域嵌入块中，经过跨域嵌入块处理后再输入下一个级联的模块。
[0014]作为优选，所述S2中，所述跨域嵌入块内的处理步骤包括：
[0015]S21、基于当前第l个跨域嵌入块的前端模块输出的特征通过N个子特征嵌入网络分别得到N个域无关子特征，构成当前域样本的公共子特征嵌入空间；其中第n个子特征嵌入网络提取到的域无关子特征为
[0016][0017]式中：表示第l个跨域嵌入块中的第n个子特征嵌入网络，采用一个特征表达瓶颈块实现；
[0018]S22、根据域样本自适应的子特征组合模块，预测S21中公共子特征嵌入空间内所有域无关子特征的组合权重w
l
：
[0019][0020]式中：w
l
为N维向量，MLP()表示用于预测权重的多层感知机；
[0021]基于所述组合权重w
l
对S21所述中公共子特征嵌入空间内所有域无关子特征进行加权聚合，获得样本自适应的动态组合特征表达：
[0022][0023]式中：表示第l个跨域嵌入块中的动态域样本自适应特征，w
l,n
表示组合权重w
l
中的第n维权重值，n＝1,2,
…
,N；
[0024]S23、根据静态域通用特征提取模块，额外从特征中提取静态域通用特征：
[0025][0026]式中：MLP
S
()表示静态域通用特征提取模块中的特征表达瓶颈块；
[0027]S24、利用动静特征融合模块对动态域样本自适应特征和静态域通用特征进行特征融合，动静特征融合模块中包含数值归一化模块、特征加权融合模块、及特征重组精调模块，最终得到用于匹配的特征
[0028][0029][0030]式中：Norm
S
()和Norm
D
()分别为数值归一化模块中的归一化函数；a
l
为特征加权融合模块中的融合权重，为可学习参数；Sigmoid()和MLP()分别表示特征重组精调模块中的激活函数和多层感知机。
[0031]作为优选，所述S3中，对构建的行人重识别网络进行模型训练的具体方法如下：
[0032]S31、针对多源域数据集中的每一个训练样本，将S24中预测得到的彩色图像I
train
的特征输入池化层，池化结果再输入分类网络获得预测的分类结果并使用和人工标注的域内类别结果Y计算交叉熵损失函数L
ce
、三元组损失函数L
triplet
、中心聚类损失函数L
center
和域感知聚类损失函数L
cluster
四项指标；
[0033]S33、针对每一个训练样本，计算最终的损失函数为：
[0034]L
total
＝L
ce
+L
triplet
+L
center
+L
cluster
[0035]并使用SGD优化方法和反向传播算法在损失函数L
total
下训练整个行人重识别网络，直到网络收敛。
[0036]作为优选，所述域感知聚类损失函数L
cluster
基于S22中预测得到的组合权重进行计算，首先获得全局的组合权重W＝[w1,w2,
…
,w
L
]，基于组合权重计算域内聚类损失L
intra
和域间聚类损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应域特征建模的域泛化行人重识别方法，其特征在于包括以下步骤：S1、获取用于训练行人重识别网络的多源域数据集；S2、构建行人重识别网络，所述行人重识别网络包括主干深度神经网络、若干嵌入于主干深度神经网络中的跨域嵌入块以及连接于主干深度神经网络后的分类网络；所述主干深度神经网络采用ResNet
‑
50
‑
IBN模型，用于从输入的域样本中提取基础特征进而用于后续的跨域特征表达；ResNet
‑
50
‑
IBN模型中除第一个阶段(Stage)之外的每个阶段中最后一个特征表达瓶颈块被替换为一个跨域嵌入块；所述跨域嵌入块包含子特征嵌入网络、域样本自适应的子特征组合模块、静态域通用特征提取模块以及动静特征融合模块，跨域嵌入块的块输入为当前跨域嵌入块前端级联的特征表达瓶颈块的输出；所述子特征嵌入网络有多个，分别用于从所述块输入中提取出域无关子特征，将所有子特征嵌入网络提取的域无关子特征构建为公共子特征嵌入空间；所述域样本自适应的子特征组合模块中，先利用域感知适配器根据当前域样本自适应的生成公共子特征嵌入空间中每个域无关子特征的权重，然后再对公共子特征嵌入空间中所有域无关子特征进行加权聚合，获得动态域样本自适应特征；所述静态域通用特征提取模块，用于从所述块输入中提取静态域通用特征；所述动静特征融合模块，用于融合静态域通用特征与动态域样本自适应特征并进行精调，最终得到的特征作为跨域嵌入块的块输出；所述分类网络用于根据所述主干深度神经网络的最终输出进行分类；S3、基于所述多源域数据集对构建的行人重识别网络进行模型训练，并将最终训练好的行人重识别网络去除分类网络后，用于对未知的目标域图像数据进行行人重识别。2.根据权利要求1所述的自适应域特征建模的域泛化行人重识别方法，其特征在于，所述S1中，多源域数据集中包含不同源域的域样本数据，每个域样本为一张RGB彩色图像I
train
。3.根据权利要求1所述的自适应域特征建模的域泛化行人重识别方法，其特征在于，所述S2中，以在ImageNet上预训练过的ResNet
‑
50
‑
IBN模型作为主干深度神经网络，ResNet
‑
50
‑
IBN模型中除第一个阶段之外的每个阶段中最后一个特征表达瓶颈块被去除；对于每一帧彩色图像I
train
，将其输入主干深度神经网络中获取网络中插有跨域嵌入块的每个阶段输出的特征，第l个阶段输出的特征被输入第l个阶段末尾连接的跨域嵌入块中，经过跨域嵌入块处理后再输入下一个级联的模块。4.根据权利要求3所述的自适应域特征建模的域泛化行人重识别方法，其特征在于，所述S2中，所述跨域嵌入块内的处理步骤包括：S21、基于当前第l个跨域嵌入块的前端模块输出的特征通过N个子特征嵌入网络分别得到N个域无关子特征，构成当前域样本的公共子特征嵌入空间；其中第n个子特征嵌入网络提取到的域无关子特征为入网络提取到的域无关子特征为式中：表示第l个跨域嵌入块中的第n个子特征嵌入网络，采用一个特征表达瓶颈块实现；S22、根据域样本自适应的子特征组合模块，预测S21中公共子特征嵌入空间内所有域
无关子特征的组合权重w
l
：式中：w
l
为N维向量，MLP()表示用于预测权重的多层感知机；基于所述组合权重w
l
对S21所述中公共子特征嵌入空间内所有域无关子特征进行加权聚合，获得样本自适应的动态组合特征表达：式中：表示第l个跨域嵌入块中的动态域样本自适应特征，w
l,n
表示组合权重w
l
...

【专利技术属性】
技术研发人员：李玺，张芃怡，窦洹彰，于云龙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：